Пределы по х надо поменять.
s = int (0;a) dy int ((y^2-2ay)/a;-y) dx = int (0;a) (-y - y^2/a + 2y) dy = int (0;a) (-y^2/a + y) dy = (-y^3/(3a) + y^2/2) |(0;a) = a^2/2 - a^2/3 = a^2/6

Для a < 0 правильно, только в конце не a^3/3, а a^2/3.