а) нулю, так как случайные величины (Х1+Х2) и (Х3+Х4+Х5) тоже будут независимы.
б) Надо считать: выписать формулу

r=[M((X1+X2+X3)(X3+X4+X5))-M(X1+X2+X3)M(X3+X4+X5)]/
[sigma(X1+X2+X3)sigma(X3+X4+X5)]

Затем в числителе внутри первого матожидания перемножить скобки и расписать матожидание суммы как сумму матожиданий, потом учесть, что матожидание произведения независимых с.в. равно произведению их матожиданий. Подобное сделать с произведением матожиданий в числителе.
Далее расписывать знаменатель, используя свойства дисперсии.

Это общее направление.
Реализовывать его не буду.