Nur 50 Jahre, nachdem die jüdische Elite von den Babyloniern ins Exil verschleppt worden ist, scheint der ersehnte Augenblick der Rückkehr gekommen. Die Perser zerschlagen das babylonische Reich. Der Schah Kyros gestattet den Juden 538 die Heimkehr:„ (all diesen Völkern) habe ich ihre eigenen Götter zurückerstattet. […] ich habe alle ihre [zerstreuten] Völker gesammelt und ihnen ihre Wohnsitze zurückgegeben“, rühmt er sich, und stellt Gelder aus seiner Staatsschatulle bereit. Juden betrachteten ihn als Messias, Hebräisch für „Gesalbten“, einen von Gott gesandten Boten.

Doch nur wenige folgen seiner Einladung. Die erste Auswanderungswelle soll 43360 Menschen umfasst haben, die Mehrheit bleibt zurück. Man hat sich ans Exil gewöhnt, viele sind bereits hier geboren. Man zieht das fruchtbare Zweistromland dem Bergdorf Jerusalem am Rande der Wüste vor. Die inzwischen „heilige Stadt Gottes“ scheint vom 6.-3. Jahrhundert v. Chr. nur dünn besiedelt gewesen zu sein. So verzögert sich der Tempelbau um 23 Jahre und wird erst 515 v. Chr. fertig gestellt. Die Feiern werden mit der Opferung „von hundert Farren, zweihundert Widdern, vierhundert Lämmern und zwölf Ziegenböcken“, auch im Namen des persischen Herrschers, weitaus bescheidener und realistischer, beschrieben als die des ersten Tempels.Erst als Artaxerxes I. den Westen seines Reiches gegen Ägypten sichern will, schickt er seinen Vertrauensmann Esra aus, um Jerusalem zu befestigen, Indiz für den hohen Status, den die Juden der persischen Diaspora inzwischen hier errungen haben. Eine entscheidende Besonderheit unterscheidet den zweiten vom ersten Tempel: das Allerheiligste, das selbst der Hohepriester nur einmal im Jahr nach akribisch beschriebenen Reinigunsgritualen betreten durfte, ist leer. Somit hat sich der Wandel zum abstrakten Glauben an den formlosen Gott, den Josia angestrebt hatte, vollzogen. Esra setzt harte Reformen durch, um die unbefestigte Kleinstadt mit rund 1000 Einwohnern wieder zu einem politischen Zentrum zu machen. Per Dekret siedelt er 10% der Landbevölkerung und die Führungsschicht des Umlands in die Stadt um, Dank Rückendeckung von Artaxerxes kann er sich durchsetzen. Die davidischen Exilarchen bleiben, wahrscheinlich gezwungenermaßen, im Exil, so bleibt Jerusalem nur ein geistiger Mittelpunkt. Jerusalem, so der Geschichtsschreiber Polybios, sei „ein Tempel mit einer Stadt“. Nachdem Alexander der Große das Perserreich zerschlägt, liegt der Tempelstaat Judäa im Grenzgebiet der Diadochen, die um Alexanders Erbe streiten, und wechselt mehrmals die Hände.