Я не совсем понимаю *(0.4+0.6^2)
*(0.6+0.4^2) как это получили

А получили так: тут учитывается что текущий бросок может оказаться последним, т.к. в задаче требуется найти вероятности точного количества бросков. То есть либо он сейчас попадает, либо мажет но при условии попадания второго игрока. Вот и получается P(1)=p1+q1*p2 и Р(2)=q1+q2*p1