Если вы признаете, что религиозные правила в общественном месте действуют на неверующего меня, то логично признавать, что в другом религиозном месте они действовать на иноверующего вас.
Можно не делить на М и Ж без мусульман на горе. Именно этот вариант мне представляется желательным.