It’s a big question that has been brought up many times to poskim.
Many women didn’t want to remarry because they were worried that they would be stuck with their second husband in techias hameisim.
I think there are varying teshuvos on the topic without one single answer. It is a matter of debate.
Rabbi Avrohom Gerlitzky wrote about his at length in his sefer ימות המשיח בהלכה.
Here is a section:
אבל עי’ בשו”ת מצב הישר סי’ ז (ווילנא תרמ”א) אודות אשה שהיתה נשואה לבעל מופלג בתורה ויר”ש ושבק חיים ומונעת א”ע להנשא עוד הפעם מפני שמתפחדת שכשנזכה לתחיית המתים שלא תחזור אז לבעלה הראשון, והשיב שמצינו בזוה”ק בראשית (כא, ב) מכאן [אוליפנא] נוקבא דאתנסיבת בתרין בההוא עלמא אהדרת לקדמאה וכו’, ופי’ באמרי בינה בהגליון שם: פי’ שנשאת לב’ אנשים זה אחר זה חוזרת לעתיד לבעלה הראשון עכ”ל, וכן הבין גדול קדמון בספרו מפתחות הזהר (בענין זיווג וחבור חלק א’) שכתב אשה שנשאת לשנים חוזרת לראשון לעוה”ב.
והקשה שם שהרי יש לאו לחזור לאשתו הראשונה אחר שנשאת לשני? והאריך שם לתרץ דמצוה זו אכן לא תתקיים לע”ל, אבל קשה לתרץ כן.
ובשו”ת רב פעלים ח”ב סוד ישרים סי’ ב כתב להמחבר אודות תשובה זו ושקו”ט בכ”ז בארוכה, ובנוגע לקושייתו שהרי יש איסור לחזור לבעל הראשון אחר שנשאת לאחר? תירץ דכיון שהגוף שיעמוד אחר תחיית המתים הוא גוף חדש, לכן כל קשר וזיקה שהי’ בין הגופים קודם מותם הרי הוא בטל והוה כנישואים ראשונים. וזהו רק בדברים שהם מצד הגוף אבל החיבור מצד הנפש אינו מתבטל אחר המיתה כי בנפש אין שום שינוי בין קודם מיתה ללאחר מיתה, ומצד הנפש ראוי שתתחבר עם בעלה הראשון, עיי”ש (וכתב דכ”ז לא איירי אלא כשמת, אבל אם נתגרשה מבעלה הראשון ודאי נתבטל הקשר). וראה לעיל סי’ נט שהובא זה, עיי”ש בארוכה.
דאי נימא כדבריו דבתחיית המתים אמרינן דפנים חדשות באו לכאן בודאי לכו”ע יצטרכו לקידושין, כיון דמצד הגוף אין זו אותה האשה, וכמו שכתב שם [אף דאכתי י”ל כאופן הא’ שההיתר של האשה בא בדרך ממילא], ומ”מ סב”ל להזהר שחוזרת לבעלה הראשון מצד נשמתם.
וראה לעיל סי’ נט-ס שמצינו דעות בזה אם בתחיית המתים אכן אמרינן פנים חדשות באו לכאן או לא. ובכללות נתבאר די”ל שזה תלוי בהמבואר בלקוטי שיחות חי”ח פ’ חוקת (ב) סעי’ י שכותב דבאופן התחי’ של תחיית המתים אפשר לומר בב’ אופנים: א) יישאר משהו בגוף ממציאותו הראשונה בעוה”ז, רק שיתוסף לכך תוספת והתחדשות בבנין הגוף. ב) תחה”מ תהיה באופן של התחדשות הגוף בכל הפרטים, ולא יישאר מאומה ממציאותו הראשונה של הגוף בעוה”ז, ומבאר שם שזהו פלוגתת המד”ר והזהר עם הפרקי דר”א פל”ד, עיי”ש בארוכה, דאי נימא כהדיעה דלא הוה פנים חדשות י”ל דאי”צ לקידושין.
ובענף יוסף (בעין יעקב) סנהדרין ר”פ חלק הביא מספר הנצחון דסב”ל שתשוב לבעלה השני כי מיתת בעל הראשון הוה כגירושין וכמו שבגירושין יש איסור לחזור לבעל הראשון אחרי שנשאת לשני כן הוא באלמנה שנשאת,[10] דלפי דעה זו הי’ אפ”ל ג”כ שאי”צ קידושין מהאחרון, כיון דלדיעה זו משמע דלא סב”ל דפנים חדשות באו לכאן, אבל לאידך גיסא הרי דיעה זו סב”ל דמיתה כגירושין כנ”ל. וי”ל דאין זה משום דסב”ל דמעשה המיתה הוה כגירושין ולכן יש איסור להחזירה, אלא דמעשה הקידושין והנישואין להשני הוה כגירושין, וכפי שנת’ לעיל דזה בודאי מפקיע אישות של הראשון, וא”כ י”ל דגם דיעה זו סב”ל כאופן הא’, וא”כ שפיר י”ל דאי”צ קידושין מהאחרון. וראה שו”ת גנזי יוסף סי’ ק”כ ונחלת בנימין ע’ פב.