La situació dels jueus amb l’arribada dels musulmans a la península Ibèrica va millorar clarament en relació amb la que havien patit al regne visigot, qüestió que cal tenir en compte a l’hora d’explicar el suport relatiu que van dispensar als invasors.

Els jueus van veure reconegut el dret al lliure exercici del seu culte i van conservar les seves comunitats als llocs on estaven assentats, destacant la seva presència a Còrdova, per exemple. Vivien en barris propis i separats de la població musulmana amb les seves sinagogues, encara que havien de sol·licitar un permís per aixecar-les, amb les seves pròpies lleis i autoritats, com el basi, que representava a la comunitat jueva d’un lloc davant les autoritats musulmanes. Els jueus, com els mossàrabs (cristians que van quedar als territoris musulmans), havien de pagar impostos territorials –jarach- i personals, la chizya.

Els jueus van fomentar el desenvolupament cultural i científic a Al-Àndalus, en les èpoques de tolerància. La medicina andalusina deu molt als jueus. D’altra banda, és indiscutible el floreciment de la cultura sefardita amb exemples com els del metge i rabí Maimònides o Bahya Paquda, que va escriure una obra fonamental de la mística jueva popular fins al segle XIX.

En general, la convivència a Al-Àndalus de les tres religions va ser tensa, amb èpoques d’intolerància i altres de major tolerància. L’època de les taifes va ser bastant favorable per als jueus, encara que també es van donar alguns episodis de persecució religiosa, com l’ocorregut a Granada el 1066. La situació de relativa tolerància va canviar a partir del segle XII amb l’arribada dels almoràvids i almohades, pobles del nord d’Àfrica que van intentar frenar l’avanç cristià sobre les taifes musulmanes, i que es caracteritzaven per una interpretació molt rigorosa de la religió islàmica enfront del que es venia fent a Al-Àndalus. Aquest rigorisme va afectar els mossàrabs i els jueus. Les alternatives per a aquests col·lectius passaven per la conversió a l’islam o l’emigració cap als regnes cristians. Això va ser el cas del mencionat Maimònides que va haver d’emigrar davant el fanatisme almohade.

Al regne nazarí de Granada els jueus estaven obligats a portar signes especials en la seva vestimenta per diferenciar-los dels musulmans, principalment un barret groc enfront del tradicional turbant de la resta de la població. Però els nazarís van haver de ser bastant tolerants amb els jueus. Quan va esclatar l’onada antijueva el 1391 a Castella molts jueus van emigrar a Granada, provocant un enriquiment demogràfic, professional i econòmic. Però tampoc cal exagerar el nombre de jueus al regne de Granada, ja que devia ser poc més d’un miler en vigílies de l’entrega de l’Alhambra als Reis Catòlics al gener de 1492.