Сначала находим общее решение, оно будет иметь вид
y_общ = C1 * e^(-2x) + C2 * x * e^(-2x)
А затем ищем частное в виде:
у_частн = A * cos 2x + B * sin 2x