Foi durante outra guerra civil, por volta de 62 AEC, quando o comandante romano Pompeu chegou a Judá e tomou Jerusalém para si. O território que havia sido capturado aos sírios teve de ser devolvido e foi cobrado um grande imposto. Os romanos deixaram os judeus fazerem quase o que queriam enquanto ocupavam o seu país. Herodes foi nomeado rei de Jerusalém em 40 AEC e partiu de lá para tomar toda a terra. O posto Cohanim foi virtualmente reduzido a nada e o Sinédrio foi privado de grande parte do seu poder anterior. O reinado de Herodes é normalmente visto como próspero, embora ele seja conhecido por dar pouco valor à vida humana.

O Templo foi reconstruído em estilo mais helenístico sob as ordens de Herodes. Embora judeu, o posto de Herodes era controlado pelos romanos, e ele obedeceu em grande parte ao que eles ordenaram. Quando Herodes morreu, o reino foi dividido em três seções, uma para cada um de seus filhos. Isto provou ser altamente mal sucedido, e uma guerra civil eclodiu onde o Sumo Sacerdote foi assassinado. A revolta demorou oito anos para se acalmar devido ao suicídio de Nero em 68 e devido à obstinada resistência dos judeus! No ano 74, o último posto avançado judeu, Massada, foi tomado. Aqui, muitos judeus optaram por se matar em vez de serem levados pelos romanos. Diz-se que, como o suicídio é contrário à crença judaica, o chefe de cada família ou grupo presente mataria os outros e depois se mataria, reduzindo assim o número de pessoas que cometeram suicídio.

Os romanos foram surpreendentemente tolerantes e continuaram a deixar os judeus viverem como antes, permitindo até mesmo o estabelecimento de um novo conselho. Simeon bar Kosiba liderou outra revolta em 132 que, embora tenha levado a pesadas perdas romanas, teve um efeito drástico sobre os judeus, que foram mortos às centenas de milhares. Os judeus foram então banidos de Jerusalém e a província foi renomeada como Síria Palestina. A Galiléia foi inundada por refugiados judeus, onde o governo tentou (em vão) proibir a prática da circuncisão.

Só por volta do ano 350 é que a primeira peça de legislação antijudaica foi aprovada pelos romanos, o que compreensivelmente levou a outra revolta (mal sucedida). A partir de então, a situação deteriorou-se, embora tenha havido breves períodos de tranquilidade (incluindo uma tentativa frustrada dos romanos de reconstruir o Templo).

Durante e após as muitas revoltas lideradas pelos judeus, a diáspora continuou a crescer - alguns milhões de judeus viviam nas províncias vizinhas. Um grande número desses judeus vivia na Babilônia, embora mesmo aqui fossem minoria. Outros locais de populações notáveis ​​foram partes da França, leste da Espanha, norte da África, Itália e Egito (principalmente em áreas de domínio cristão).