The Halacha is brought in שו”ע יו”ד סי’ רע”ז by the ש”ך, who brings the source from either a Yerushalmi Megilla or the Gemara Eiruvin 98a.
The source that contravening this Halacha causes forgetfulness in learning is from “חכמי האמת”, that a Malach called שומר דפין is appointed to cause those who leave a sefer open to forget their learning.
This is the לשון of the ש”ך:
כתב הב״ח דמירושלמי דמגילה יש ללמוד שלא ילך אדס לחוץ ויניח הספר פתוח אס אין עליו מפה דלאו דוקא ס״ת דה״ה שאר ספריס עכ״ל ולא היה צריך ללמוד כן מהירושלמי דהכי מוכח נמי מש״ס דילן בעירובין במשנה וש״ס שס )דף צ״ח ע״א( ע״ש וידוע לחכמי האמת שיש מלאך א׳ נקרא ש״ד והוא ״שומר דפין״ על מי שמניח ספר פתוח ויוצא שמשכח תלמודו: