Т.к. 3 является корнем характеристическоо уравнения, то частное решение надо домножить на x^s, где s - кратность 3. В данном случае s = 1.
y1 = A * x * e^(3x)
y1' = A * e^(3x) + 3A * x * e^(3x)
y1'' = 6A * e^(3x) + 9A * x * e^(3x)
Подставляем в исходное уравнение:
6A * e^(3x) + 9A * x * e^(3x) - 7A * e^(3x) - 21A * x * e^(3x) + 12A * x * e^(3x) = e^(3x)
-A * e^(3x) = e^(3x) => A = -1

Получаем ответ:
y = C1 * e^(4x) + C2 * e^(3x) - x * e^(3x)