Составить уравнение прямой проходящей через точку К(1;2) и образующий угол в 30 градусов с прямой
Х+У=0

Решение не лишено смысла. Но есть ошибки: k1= -1. И не надо возводить ничего в квадрат, выражайте k2 как есть.
Затем в уравнение y=k2*x+b подставьте найденное k2 и координаты заданной точки вместо x и y. Получите линейное уравнение относительно b. И решайте его как линейное БЕЗ возведения в квадрат.

Возможно.
Я увидел только, каким образом ТС возводит в квадрат, и сразу потерял интерес к его решению.