1) Похоже, что первое уравнение не решается аналитически. Может, опечатка?

2) Пусть m - масса пока ещё не растворённой соли, M - общая масса соли, V - общий объём воды, C0 - концентрация насыщенного раствора, С = (M-m)/V - текущая концентрация раствора. Тогда, судя по условию,
dm/dt = a*[C - C0]*m = a*[(M-m)/V - C0]*m,
причём множитель в квадратных скобках отрицательный, т.е. масса уменьшается, как и положено. Дальше, думаю, всё очевидно.