see this from Sefer Bayis Ne’eman:
ונציין עוד, שאף מנהג [הספרדים] אנשי ירושלים, לנהוג במנהג זה (ראה שולחן העזר, פ”ח, סעי’ ח, סק”ג). ובפרי האדמה (לרבי רפאל מיוחס, ח”ג, הלכ’ שבת, פרק ל) מביא בטעמו של דבר, על פי שיטת הטו”ז הנזכר, שאף באופנים שאין חופה מועילה, מועיל ההולכה לביתו, ולדעתו ההולכה היינו דוקא כשמוליכה בידו. ומאידך בספר שער המפקד (מנהגי ירושלים, לרבי רפאל אהרן בן שמעון, אב”ד קהיר. הלכ’ קידושין אות יב), חולק עליו, ולדעתו אין בזה משום קנין חופה, מכמה טעמים – עיי”ש. ולדעתו טעם המנהג לאחוז ביד, מקורו במנהג שנאמר אצל האבות, “ויביאה יצחק האהלה שרה אמו…”. עיי”ש רמזים נוספים.
ובשלחן העזר (שם), מביא טעם נוסף, בכדי להרוויח את קושית ‘המקנה’ (קו”א, סב, א. מובא פת”ש שם), שהקשה על הסוברין שברכות נישואין נאמרו ‘עובר לעשייתן’ לפני הייחוד, דאם זה עולה על הייחוד הלא הוה ההילוך בין מקום החופה לחדר הייחוד הפסק, כדעת הפוסקים (ראה או”ח ח) דהליכה הוה הפסק (ע”כ תוכן קושית המקנה). ולזה הנהיגו שיאחז החתן את הכלה תיכף ממקום החופה עד למקום הייחוד, שלא יהיה ההילוך הפסק.
from Hidabroot:
יש מביאים, שהמנהג הוא שאם הכלה טהורה, שהחתן והכלה הולכים שלובי ידיים מן החופה לחדר היחוד (ראה שו”ת פרי האדמה חלק ג’ סימן י, ושלחן העזר דף סז אות ג, ובמה שציין בזה בספר שרשי מנהג אשכנז חלק ד’ עמודים 502-515).
אולם יש שכתבו, שיש