Die Jerusalemer Elite, rund 5000 Menschen, werden ins babylonische Exil verschleppt und unter der Aufsicht des Exilarchen aus dem davidischen Königshaus, der den Status eines Prinzen innehat, auf verschiedene Städte verteilt. Eine davon heißt Tell Abib, deren Namen 2500 Jahre später Nachum Sokolov bei der Namensfindung für Tel Aviv inspirieren wird.

In Babylon wird Jerusalem zum Mittelpunkt einer aufblühenden Exilliteratur. Die Stadt und die Einhaltung des Sabbats sind die wichtigsten Komponenten einer jüdischen Identität. Nach der Katastrophe wird sie eine von Reue gekennzeichnete Wurzelsuche. Jerusalem ist nicht mehr nur politisches Zentrum, sondern wird zum heiligen Ort, Sitz der Schechina, dem Geist Gottes. Rabbiner erklären, dass Frauen dort keine Fehlgeburt haben, niemand von Schlangen oder Skorpionen gebissen wird, im Tempel die Flammen nie vom Regen gelöscht und der Rauch der Opferfeuer vom Wind nie über die Menge der Betenden geweht wird. Diese Idee des himmlischen Jerusalem wird später von Christentum und Islam übernommen. In der Ruine des Tempels ist in dieser Zeit eine Kultstätte für die Bewohner der Umgebung weiter in Betrieb, das geistige Zentrum des Judentums verlagert sich jedoch ins persische Reich. Hier formuliert man die Idee der Rückkehr, die die Juden auch in spätere Exile begleiten wird. Wenn Gott wieder mit Gnade auf Israel blickt, wird der Messias, der Gesalbte, sein Volk heimführen, heißt es. Erwartungsvoll hortet man in der Stadt Nehardea die Tempelsteuer, ein halber Schekel pro Kopf, für den Wiederaufbau des Heiligtums.