laskern,
you said it is muttar,
then you brought the Ramo:
ויש מחמירין
ונהגו להחמיר
מיהו במקום צורך יש לסמוך אסברא ראשונה.
That means the Ramo holds it IS ossur and that is the custom of frum Yidden (to prohibit it), except when there is necessity one can be lenient (meikil) to allow it.