Gadolha, check out the lashon of the chinuch (brought in the mishnah berurah lehalacha) ובכלל זה שלא לרדוף אחר תאוות העולם הזה כי אחריתם רעה וכדי בזיון וקצף mitzvah 387.
Biur halacha, siman 1, on the 6 mitzvos temidios –
והקובע את מחשבתו בעניינים הגשמיים ובהבלי העולם שלא לש”ש רק להתענג ולהשיג כבוד ביטל עשה זו ועונשו גדול
Neither source seems to indicate that the issur is only when one loves the other thing more than Hashem.
The chinuchs second piece in the same mitzvah – , כלומר שהוא רודף אחר תאוות העולם כגון שהוא משים לבו תמיד להרבות תענוגים גדולים לנפשו מבלי שיכון בהן כלל לכוונה טובה, כלומר שלא יעשה כדי שיעמוד בריא ויוכל להשתדל בעבודת בוראו, רק להשלים נפשו בתענוגים, כל מי שהוא הולך בדרך זה עובר על לאו זה תמיד בכל עת עסקו במה שאמרנו.
This seems to say that the issur is when one is תמיד, which is relative – an argument can be made to say he means like you, but I’m not convinced of it. Tamid sometimes means once a day; here it can mean the same thing – the main thing is the kavanah; if someone natural enjoys food; gezunterheit, just don’t make a huge deal over it and make big plans as to how to enjoy the most that you can.