А так как векторы ортогональны, то их скалярное произведение равно...
Это первое уравнение.

Как вычисляется длина вектора? Второе уравнение почти правильно, только где-то чего-то не хватает.

Составляйте систему относительно х и у.