а) Скорее всего либо методом Гаусса, либо методом Крамера, либо матричным методом. А скорее всего всеми тремя указанными методами
б) метод Гаусса