здесь 3 варианта действий.
1. решать по классическому определению- как Вы сейчас пытаетесь. Почему нет? Путь не из лёгких, но по пути со многим разберетесь...
Да, N=2^9=512.
M - как уже указано Вам malkolmом - совсем не размещения, т.к. как Вам только важно, в каких 4 из 9 испытаний выпал герб, а переставлять местами эти испытания смысла нет. Просто выбрать из 9 испытаний какие-то 4. Поэтому нужно искать число сочетаний.

2. использовать теоремы сложения-умножения и перебрать все возможные варианты выпадения 4 гербов в 9 испытаниях. Путь ещё более тернистый, чем 1-й, но зато практически сами придёте к варианту 3:

3. использовать формулу Бернулли, т.к. у нас повторные независимые испытания. и эта формула включает в себя и вариант 1, и вариант 2 (если все понять и подумать).