Eliezer, proper attire depends on the time and place. For that matter, in Western countries one removes one’s hat as a sign of respect. See Aruch haShulchan OC 91:2:
אמר רב אשי: חזינא ליה לרב כהנא כי איכא צערא בעלמא – שדי גלימיה. כלומר: השליך אדרתו מעליו, שלא יראה כחשוב (רש”י). כי איכא שלמא בעלמא – לביש ומתכסי ומתעטף ומצלי. אמר: “הכון לקראת אלהיך ישראל”. ובשעת הצער השליך אדרתו, וחובק ידיו באצבעותיו כאדם המצטער מאימת רבו (שם). [Shabbat 10a]
ולכן יש שמדקדקים עתה דאיכא צערא בעלמא, לבלי להתפלל מנחה ומעריב בחול בבגד עליון. ובשבת ויום טוב מתפללין בבגד עליון, דאין להזכיר צער בשבת ויום טוב. והשליח ציבור גם בחול לובש בגד עליון, או שלובש הטלית. וכן המנהג הפשוט במדינות אלו. וגם בעלייה לתורה לובשים בגד עליון מפני כבוד התורה, וכן בהגבהת התורה.
See also seif 6:
ולענין בגדים: כללו של דבר שצריך להתפלל בבגדים שיוצא בהם לרחוב.