Die Freude der Christen nach der Rückeroberung Jerusalems ist nicht von Dauer. Von ihrem Machtkampf ausgehöhlt, schmelzen Byzanz und Persien vor der neuen Macht, dem aus der arabischen Halbinsel ausbrechenden Islam, dahin. Im Jahr 638 fällt Jerusalem in die Hände des Khalifen Omar. Anfängliche Hoffnungen der Juden, dass nun der Tempel errichtet werden kann, machen die Muslime bald zunichte. Sie errichten mit dem Felsendom im Jahr 692 das älteste islamische Sakralbauwerk der Welt. Die später vergoldete Kuppel, fortan das Wahrzeichen Jerusalems, befindet sich genau über dem „Even Haschtiyah“, dem heiligen „Schöpfungsstein“, über dem sich einst das Allerheiligste befand. Die Weichen für einen Zusammenstoß von Judentum und Islam sind gestellt.
Doch wenigstens gestatten es die Muslime den Juden wieder, in der Stadt zu wohnen. Omar richtet ein Judenviertel ein und bringt 70 jüdische Familien aus Tiberias in die Stadt. Rabbiner ermuntern ihre Gemeinden nach Jerusalem zu pilgern. Es gilt sogar als Scheidungsgrund, wenn der Ehepartner sich weigert, mit nach Jerusalem zu pilgern. Den Juden Jerusalems scheint es zu gut zu gehen. Der muslimische Geschichtsschreiber al-Muqadassi beschwert sich im Jahr 985 darüber, dass Juden überall in Jerusalem die Oberhand haben. Selbst die Kreuzzüge, die bei der Eroberung Jerusalems im Jahr 1099 Juden und Muslime niedermetzeln, unterbrechen die jüdische Präsenz nicht auf Dauer. Der Pilger Benjamin von Tudela beschreibt 70 Jahre nach dem Massaker der Kreuzritter wieder eine Gemeinde von 200 Juden in Jerusalem, die an der Klagemauer ihre Gebete verrichten.
Schon vor der spanischen Inquisition, die eine neue Einwandererwelle nach Jerusalem brachte, drängte es vereinzelte Juden immer wieder zu ihrer alten Hauptstadt. Der in Spanien lebende Poet Yehuda Halevi (1075-1141) fasste die Sehnsucht der Diaspora nach dem himmlischen Zion, ein biblischer Name Jerusalems, in Worte:„Wenn ich nur deinen Staub küssen könnte/dann könnte ich ruhig sterben/so süß wie Honig würden dann/meine Sehnsucht und Verlangen“. „So leicht es für mich ist die Annehmlichkeiten Spaniens zu verlassen, so teuer ist mir der Anblick der Asche des zerstörten Allerheiligsten“. Halevi steht zu seinem Wort. Als alter Mann reist er nach Ägypten und kommt wahrscheinlich in Palästina ums Leben. Tausend Jahr später wird 1966 der jüdische Nobelpreisträger Schmuel Josef Agnon bei seiner Dankesrede ähnliche Gefühle beschreiben:„Wegen einer historischen Katastrophe, der Zerstörung Jerusalems durch den römischen Kaiser … bin ich in einer der Städte der Diaspora geboren. Aber ich habe mich selbst immer als jemand betrachtet, der in Jerusalem geboren wurde.“
