Вам нужно воспользоваться формулой вероятности отклонения нормально распределенной случайной величины Х от своего математического ожидания а не более, чем на дельта:

Р(|X-a|< дельта)=2*Ф(дельта/сигма).

В этой формуле:
Х - ошибка прибора, а=0 (систематических ошибок нет), дельта=5 (т.к. не выходит за 5 градусов...), сигма - среднее квадратическое отклонение для Х (это и есть искомая средняя квадратичная оценка), Ф(х) - функция Лапласа - ее значения есть в таблицах в конце всех учебников.

По условию Р(|X-a|< дельта)=0.8 (т.к. 80 процентов). Поэтому

Ф(дельта/сигма) =0.4 . Теперь из таблицы для функции Лапласа находите соответствующее значение для дельта/сигма. Отсюда находите сигма.