Типичная ошибка:
если b/a=5/3, то сразу делается вывод, что b=5, a a=3.

А может b=10, a a=6?

Пишите каноническое уравнение гиперболы x^2/a^2-y^2/b^2=1,
тогда условие b/a=5/3 вместе с принадлежностью точки гиперболе даст вам систему двух уравнений с двумя неизвестными.