C'était au cours d'une autre guerre civile, vers 62 avant notre ère, lorsque le commandant romain Pompée vint en Juda et prit Jérusalem pour sienne. Le territoire conquis aux Syriens dut être restitué et un lourd impôt fut imposé. Les Romains laissaient les Juifs faire presque ce qu’ils voulaient pendant qu’ils occupaient leur pays. Hérode a été nommé roi de Jérusalem en 40 avant notre ère, et il est parti de là pour prendre tout le pays. Le poste de Cohanim fut pratiquement réduit à néant et le Sanhédrin fut privé d'une grande partie de son pouvoir antérieur. Le règne d'Hérode est normalement considéré comme prospère, bien qu'il soit connu pour accorder peu de valeur à la vie humaine.

Le Temple fut reconstruit dans un style plus hellénistique sous les ordres d'Hérode. Bien que juif, le poste d'Hérode était contrôlé par les Romains et il obéissait largement à ce qu'ils ordonnaient. À la mort d’Hérode, le royaume fut divisé en trois parties, une pour chacun de ses fils. Cela s'est avéré très infructueux et une guerre civile a éclaté au cours de laquelle le Grand Prêtre a été assassiné. La révolte a mis huit ans à se calmer à cause du suicide de Néron en 68, et à cause de la résistance obstinée des Juifs! En 74, le dernier avant-poste juif, Massada, est pris. Ici, de nombreux Juifs ont choisi de se suicider au lieu d'être emmenés par les Romains. On dit que le suicide étant contraire à la croyance juive, le chef de chaque famille ou groupe présent tuerait les autres, puis se suiciderait, réduisant ainsi le nombre de personnes qui se suicidaient.

Les Romains se montrèrent étonnamment tolérants et continuèrent à laisser les Juifs vivre comme avant, autorisant même la création d'un nouveau concile. Siméon bar Kosiba dirigea une autre révolte en 132 qui, bien qu'elle conduisit à de très lourdes pertes romaines, eut un effet drastique sur les Juifs, qui furent tués par centaines de milliers. Les Juifs furent alors bannis de Jérusalem et la province fut rebaptisée Syrie-Palestine. La Galilée fut inondée de réfugiés juifs, où le gouvernement tenta (en vain) d'interdire la pratique de la circoncision.

Ce n'est que vers 350 que les Romains adoptèrent la première loi anti-juive, ce qui conduisit naturellement à une autre révolte (infructueuse). Dès lors, la situation se détériore, même s'il y a de brèves périodes d'aisance (notamment une tentative infructueuse des Romains de reconstruire le Temple).

Pendant et après les nombreuses révoltes menées par les Juifs, la diaspora a continué de croître: quelques millions de Juifs vivaient dans les provinces environnantes. Un grand nombre de ces Juifs vivaient en Babylonie, même si, même ici, ils constituaient une minorité. D'autres endroits abritant des populations notables étaient certaines parties de la France, de l'est de l'Espagne, de l'Afrique du Nord, de l'Italie et de l'Égypte (principalement dans les régions sous domination chrétienne).