Раскладываем по первому столбцу: каждый элемент первого столбца поочередно со знаками + и - домножаем на определитель матрицы, которая получится из данной вычеркиванием первого столбца и той строки, где этот элемент находится.
В данном случае получим:
_________-lambda__1__0_______________1___0_____0
-lambda *__0_-lambda___1________+ 6 *_-lambda__1___0
_________ 1__7__-1-lambda___________0__-lambda__1

Получаем два определителя матриц размера 3 на 3. Они высчитываются аналогично разложением по первому столбцу.
Ещё надо учесть, что определитель матрицы
a b
c d равен a * d - b * c.