אבל לא מסתבר כל כך דכיון שהקרא אסר להרהר מצד ספק זה הרי נמצא שהרהור הוא כבר איסור בעצם וממילא כיון שיודע שא”א לו בלא הרהור איך יהיה מותר לו לעבור על איסור שבתורה בשביל פרנסתו וצורכו בלא פיקוח נפש, אך אולי כיון שבקרא נאמר הטעם דשמירה משום שיבוא מזה לדבר רע הוא כנאמר שאינו איסור ברור ולכן צ”ע לדינא במי שלא בטוח שלא יבא להרהר.
— אגרות משה, אה”ע ח”א סי’ נ”ו
He does seem to say that the היתר is only in a case where it will not involve איסורים ודאים. I am not sure why he asks only about הרהור but doesn’t ask about the איסור הסתקלות (which is אסור even without הרהור, at least to an ערוה)