Вы не то подставили.Угловой коэффициент первой прямой равен 1 - это мы нашли из условия про гиперболу,а второй - то самое k, которое Вы ищете из системы, т.е. -2,5. Их и нужно подставлять в тангенс разности.