Модуль обозначает длину векора. Модуль "в квадрате" - это есть скалярное произведение вектора на себя. (a,b ) - это обозначение скалярного произведения.
По свойствам скалярного произведения получаем:
(3a + 2b, 3a + 2b)=(3a,3a)+(3a,2b)+(2b,3a)+(2b,2b)=9( a,a )+6( a,b )+6(b,a)+4( b,a )=9|a|^2+12( a,b )+4|b|^2
Скалярное произведение ( a,b ) найдете по определению.