בט' באלול שנת ה'כ"ז, הגיע הרמב"ן לירושלים, במטרה לחדש בה את הישוב היהודי, שהיה דל במיוחד. אחת מפעולותיו הכבירות אז היתה בניית "בית כנסת הרמב"ן" בעיר העתיקה.
הרמב"ן מצא את העיר שוממה מיושביה, והר הבית חרב וחרוש מכל סממנים יהודים, ועליו מבנים אליליים. בכתביו תאר את בואו למול חומות הר הבית: "ובבואי כנגד הבית הגדול והקדוש קראתי בבכיה רבה: 'בית קדשנו ותפארתנו וכו' וכל מחמדנו היה לחרבה', וקרענו קריעה שניה בתאניה ואניה" (ע"פ כתבי הרמב"ן, "תפילה על חורבות ירושלים"; מסעות א"י, יערי, עמ' 77).
מדברי הר"מ חאגיז ('אלה המצוות', וארשא תרמ"ז, סימן צה עשה לח) נראה שהבין ש"כנגד הבית הגדול והקדוש" היינו מול שריד משמעותי שמסמן את מקום המקדש במערב – הכותל המערבי. וכן נקטו כמה חוקרים.
כשעמד הרמב"ן בעיר החרבה, שממערב להר הבית, מה שראה כציון למקום המקדש יכול להיות רק הכותל המערבי, שהרי כבר בזמנו לא ניכר דבר עתיק בהר הבית וגבולותיו מלבד החומה המערבית, וכפי שבעצמו תאר בתפילתו הנ"ל: "וההיכל והר הבית, לשמיר ולשית, עלה כולו קמשונים, כסו פניו חרולים, ומרעה הוא לכפירים, ואויבנו פלילים, זה מחריב ועוקר את הגבולים, וזה מציב ומקים אלילים, ובאו בו פריצים ומחללים, ואל אל לא יושיע בתוכו [הפריצים] מתפללים".
עוד כתב הרמב"ן לבנו באותם ימים על היותו ממזרח למקום המקדש: "עליתי אל הר הזיתים המכוון כנגד הר הבית והסמוך לו… ושם, כנגד בית המקדש, קראתי חרוזותיו [של גיס הרמב"ן רבי משה ב"ר שלמה] בבכיה רבה" (נדפס בסוף 'שער הגמול' לרמב"ן). במכתבו תאר הרמב"ן את חורבן הארץ אשר "כל המקודש מחבירו חרב יותר מחבירו, וירושלים יותר חרבה מן הכל", ובהמשך כתב "כי רבים באים לירושלים תדיר, אנשים ונשים מדמשק וצובה, וכל גלילות הארץ, לראות בית־המקדש ולבכות עליו. ומי שזיכנו לראות ירושלים בחורבנה הוא יזכנו לראות בנינה ותיקונה בשוב אליה כבוד השכינה".