Fue durante otra guerra civil, alrededor del año 62 a. C., cuando el comandante romano Pompeyo llegó a Judá y tomó Jerusalén para sí. Hubo que devolver el territorio que había sido arrebatado a los sirios y se impuso un gran impuesto. Los romanos dejaron que los judíos hicieran casi lo que quisieran mientras ocupaban su país. Herodes fue nombrado rey de Jerusalén en el año 40 a. EC, y desde allí partió para apoderarse de toda la tierra. El puesto de Cohanim quedó prácticamente reducido a la nada y el Sanedrín fue privado de gran parte de su poder anterior. El reinado de Herodes normalmente se considera próspero, aunque se destaca por dar poco valor a la vida humana.

El templo fue reconstruido en un estilo más helenístico bajo las órdenes de Herodes. Aunque era judío, el puesto de Herodes estaba controlado por los romanos, y obedecía en gran medida sus órdenes. Cuando Herodes murió, el reino se dividió en tres secciones, una para cada uno de sus hijos. Esto resultó ser un gran fracaso y estalló una guerra civil en la que el Sumo Sacerdote fue asesinado. La revuelta tardó ocho años en calmarse debido al suicidio de Nerón en el 68 y a la tenaz resistencia de los judíos. En el año 74 fue tomada la última avanzada judía, Masada. Aquí, muchos judíos optaron por suicidarse en lugar de ser capturados por los romanos. Se dice que debido a que el suicidio es contrario a la creencia judía, el jefe de cada familia o grupo presente mataría a los demás y luego se suicidaría, reduciendo así el número de personas que se suicidaban.

Los romanos fueron sorprendentemente tolerantes y continuaron dejando que los judíos vivieran como antes, permitiendo incluso el establecimiento de un nuevo concilio. Simeón bar Kosiba encabezó otra revuelta en 132 que, aunque provocó grandes pérdidas romanas, tuvo un efecto drástico sobre los judíos, que fueron asesinados por cientos de miles. Luego, los judíos fueron desterrados de Jerusalén y la provincia pasó a llamarse Siria Palestina. Galilea se vio inundada de refugiados judíos, donde el gobierno intentó (en vano) prohibir la práctica de la circuncisión.

No fue hasta alrededor del año 350 cuando los romanos aprobaron la primera legislación antijudía, lo que comprensiblemente condujo a otra revuelta (fracasada). A partir de entonces, la situación se deterioró aunque hubo breves períodos de tranquilidad (incluido un intento fallido por parte de los romanos de reconstruir el Templo).

Durante y después de las numerosas revueltas lideradas por los judíos, la diáspora siguió creciendo: unos pocos millones de judíos vivían en las provincias circundantes. Un gran número de estos judíos vivían en Babilonia, aunque incluso allí eran minoría. Otros lugares de poblaciones notables fueron partes de Francia, el este de España, el norte de África, Italia y Egipto (principalmente en áreas de dominio cristiano).