He explains that they wanted to stay in the Midbor was because their Avodas Hashem would be better there, but the Chidushei Horim explains that it is not their business to make a cheshbon like that.
Interesting. The Alter Rebbe asked the same question, and gave a slightly different answer (Likkutei Torah 37b – 38b)
יש להקדים שרש ענין המעשה דמרגלים למעלה במה שלא רצו ליכנס לארץ ישראל וגינו אותה כו’. הנה מבואר בע”ח דשרש המרגלים הוא מבחי’ עולם המחשב’ הנק’ לאה כי הם היו מדור המדבר שנקראו דור דעה ועל כן לא רצו להשפיל א”ע ליכנס לארץ ישראל שהוא מבחי’ עולם הדבור הנק’ רחל. ולהבין ביאור הדברים הללו בהיות ידוע שעיקר המצוה בכניסת א”י הוא כמ”ש לעשות בארץ כו’. דהיינו לקיים שם התורה והמצות כי יש כמה מצות שתלוי’ בארץ דוקא כמו בנין בית המקדש ודומיהן כו’. והענין הוא כי הנה עיקר התורה והמצות הוא להבדיל בין הטהור ובין הטמא דהיינו בחי’ ברורים לברר הטוב מן הרע שעל ידי השבירה דמלכין קדמאין דתהו נפלו רפ”ח ניצוצין דתהו ונתלבשו בנוגה להיות מעורבי’ טו”ר כידוע והם צריכים עלייה והיינו ע”י שיתבררו ויופרדו תחלה מן הרע הקשור בהם ואז יהיו יכולים אחר כך להתעלות למעלה למקור שרשן והוא ענין המצות מעשיות מ”ע ומל”ת שע”י הל”ת נפרד הטוב מן הרע וע”י העשיה הוא בחי’ עליית הטוב למעלה כו’
ד ואחר כל הנ”ל יובן ג”כ ענין המעשה דמרגלים שלא רצו ליכנס לא”י מפני ששרשם הוא מבחי’ לאה עולם המחשבה כו’ (כמ”ש בע”ח שער הארת המוחין פ”א) וטענו למה צריכים לירד בבחי’ עולם הדבור שהוא בחי’ מל’ דאצילות סוף כל דרגין כו’ בכדי לקיים שם התורה ומצות בדבור ובמעשה שעי”ז יהיה בחי’ גילוי אור א”ס שיבקעו האורות כו’ הלא זה אפשר לקיים גם ע”י התורה ומצות ברוחניות ולא בעשייה גשמיות דהיינו כי גם בעולם המחשבה יש כל פרטים הנמצאים בדבור ובמעשה מאחר שהדבור נמשך מן המחשבה. וא”כ כל מצוה ומצוה שמקיים בדבור או במעשה גשמיות יכול הוא לקיימה ברוחניות בבחינת מחשבה. ועי”ז יהיה ג”כ למעלה בחי’ גילוי אור א”ס כו’.
אך באמת היו מוטעים שהעיקר הוא לעשותם בארץ דוקא וכמארז”ל כמה תפלות התפלל משה ליכנס לא”י ושאלו וכי לאכול מפירותיה היה צריך אלא לקיים את המצות התלוים בה והיינו שצריך להמשיך את האורות העליונים שיבקעו את הכלים כו’ שאי אפשר לגרום המשכה זו אם לא ע”י מעשה דוקא ולא במחשבה כו’.
In short, the Alter Rebbe holds that the meraglim’s issue is that they didn’t want to make the דירה בתחתונים.