|3a + 2b|^2=(3a + 2b, 3a + 2b)
Дальше по свойствам и определению скалярного произведения.