Находим координаты вектора, равного векторному произведению векторов а и в: ахв=(9;-12;7). Похоже это Вы делать умеете, так как такие координаты в Вашем решении фигурировали. Известно, что вектор, равный векторному произведению, перпендикулярен каждому сомножителю, т.е. вектор ахв перпендикулярен векторам а и в (а потому и плоскости, натянутой на эти вектора). Искомый вектор С тоже по условию должен быть перпендикулярен а и в (а потому и плоскости, натянутой на эти вектора). Отсюда следует, что векторы ахв и с перпендикулярны одной и той же плоскости. Отсюда следует, что векторы с и ахв параллельны между собой. Известно, что если векторы параллельны, то один из них равен другому, умноженному на некоторое число. Поэтому существует число к такое, что вектор с=к(ахв). Найдем это число к. Число к как раз и находится из второго условия. Поскольку |a|=5, то 3*|a|=15, а потому |c|=15.
Поэтому

15=|c|=|k*(axb)|=|k|*|axb|=|k|*sqrt(9^2+(-12)^2+7^2)=sqrt(274)*|k|
Отсюда
|k|=15/sqrt(274)

Отсюда получаем 2 возможных значения:
к1=15/sqrt(274)
к2=-15/sqrt(274)

Поэтому получаем 2 возможных вектора с:

с1=к1*(ахв), с2=к2*(ахв).

При умножении числа на вектор - на это число умножается каждая его координата. Поэтому координаты векторов с1 и с2:

с1=( 15/sqrt(274)*9, 15/sqrt(274)*(-12), 15/sqrt(274)*7)=( 135/sqrt(274), -180/sqrt(274), 105/sqrt(274)).

с1=( -15/sqrt(274)*9, -15/sqrt(274)*(-12), -15/sqrt(274)*7)=(- 135/sqrt(274), 180/sqrt(274), -105/sqrt(274)).