Можно попробовать гиперболические функции выразить через действительные экспоненты,а тригонометрические - через комплексные. Потом, правда, нужно будет 2 раза по частям брать интеграл от x^2*exp((a+ib)x).