Fu durante un'altra guerra civile, intorno al 62 aEV, che il comandante romano Pompeo venne in Giuda e prese Gerusalemme per sua. Il territorio che era stato strappato ai Siriani doveva essere restituito e veniva imposta una grande tassa. I romani lasciarono che gli ebrei facessero quasi quello che volevano mentre occupavano il loro paese. Erode fu nominato re di Gerusalemme nel 40 aEV e da lì partì per conquistare l'intero paese. Il posto di Cohanim fu praticamente ridotto a nulla e il Sinedrio fu privato di gran parte del suo potere precedente. Il regno di Erode è normalmente considerato prospero, sebbene sia noto per dare poco valore alla vita umana.

Il Tempio fu ricostruito in uno stile più ellenistico per ordine di Erode. Sebbene ebreo, il posto di Erode era controllato dai romani ed egli obbedì in gran parte a ciò che ordinavano. Alla morte di Erode il regno venne diviso in tre parti, una per ciascuno dei suoi figli. Ciò si rivelò altamente infruttuoso e scoppiò una guerra civile in cui il Sommo Sacerdote fu assassinato. La rivolta impiegò otto anni per sedarsi a causa del suicidio di Nerone nel 68 e della caparbia resistenza degli ebrei! Nell'anno 74 fu preso l'ultimo avamposto ebraico, Masada. Qui molti ebrei scelsero di uccidersi invece di essere presi dai romani. Si dice che poiché il suicidio è contrario alla credenza ebraica, il capo di ogni famiglia o gruppo presente ucciderebbe gli altri, e poi si ucciderebbe, riducendo così il numero di persone che si sono suicidate.

I romani furono sorprendentemente tolleranti e continuarono a far vivere gli ebrei come prima, permettendo perfino l'istituzione di un nuovo concilio. Simeon bar Kosiba guidò un'altra rivolta nel 132 che, sebbene portò a perdite molto pesanti per i romani, ebbe un effetto drastico sugli ebrei, che furono uccisi a centinaia di migliaia. Gli ebrei furono poi banditi da Gerusalemme e la provincia fu ribattezzata Siria Palestina. La Galilea fu inondata di profughi ebrei, dove il governo tentò (invano) di vietare la pratica della circoncisione.

Fu solo intorno all'anno 350 che i romani approvarono la prima legislazione antiebraica, che comprensibilmente portò a un'altra rivolta (infruttuosa). Da quel momento in poi la situazione peggiorò anche se ci furono brevi periodi di tranquillità (compreso un tentativo fallito da parte dei romani di ricostruire il Tempio).

Durante e dopo le numerose rivolte guidate dagli ebrei, la diaspora continuò a crescere: alcuni milioni di ebrei vivevano nelle province circostanti. Un gran numero di questi ebrei viveva a Babilonia, sebbene anche qui fossero in minoranza. Altri luoghi con popolazioni notevoli erano parti della Francia, della Spagna orientale, del Nord Africa, dell'Italia e dell'Egitto (principalmente nelle aree di dominio cristiano).