Ahavas Yisroel goes hand in hand with Sinas Rashuyim, those who are not part of klal yisroel.
like the holy Chofetz Chaim wrote in his eponymous sefer:
ה. וכל זה האיסור של לשון הרע הוא דוקא על איש שעל פי דין תורה הוא
עדיין בכלל עמיתך דהיינו עם שאתך בתורה ובמצות, אבל אותן האנשים שמכירם
שיש בהם אפיקורסות (ח) מצוה לגנותם ולבזותם בין בפניהם ובין שלא בפניהם
בכל מה שהוא רואה עליהם (ט) או ששומע עליהם דכתיב לא תונו איש א ת עמיתו
ולא תלך רכיל בעמיך והם אינם בכלל זה שאינם עושים מעשה עמך, ונאמר הלא
משנאיך ה׳ ס אשנא ובתקוממיך אתקוטנז וכר, ואפיקורס <יא) נקרא הכופר כתורה
ובנבואה מישראל בין בתורה שבכתב ובין בתורה שבעל פה ואפילו הוא אומר כל
התורה מן השמים חוץ מפסוק אחד או קל וחומר אחד או גזירה שוה אחת או
דקדוק אחד גם הוא ככלל הזה.
a person who thinks he is being “machmir” in “ahavas chinam” by loving those he is obligated to hate is really destroying the world with his “ahavas rashoyim”