Как математически сформулировать я не очень то и помню, если можно, своими словами =)
Если функция принимает значения от меньшего к большему, то функция возрастает и наоборот, если от большего к меньшему - то убывает =)
Простите что так неграмотно >_<
А с использованием понятия первой производной?!