Suite à la chute de Saba’, un autre état émerge : « Himyar ». Celui-ci – dont les habitants sont de confession juive – gouvernera de l’an 115 av. J-C jusqu’à l’an 525 après J-C.

Yûsuf Dhû Nuwâs, qui se fanatisa pour le judaïsme, fut l’un des rois les plus célèbres de cet état. Il fit la guerre aux chrétiens de Najrân, voulant les forcer à embrasser sa religion. Devant leur refus, il fit creuser un long fossé puis les y jeta. Ceci eut lieu en 534 ap. J-C et d’ailleurs, cet épisode est mentionné dans le Noble Coran, dans lequel Allah (I) a dit :

 قُتِلَ أَصۡحَٰبُ ٱلۡأُخۡدُودِ ٤ ٱلنَّارِ ذَاتِ ٱلۡوَقُودِ ٥ إِذۡ هُمۡ عَلَيۡهَا} قُعُودٞ ٦ وَهُمۡ عَلَىٰ مَا يَفۡعَلُونَ بِٱلۡمُؤۡمِنِينَ شُهُودٞ ٧ وَمَا نَقَمُواْ مِنۡهُمۡ {إِلَّآ أَن يُؤۡمِنُواْ بِٱللَّهِ ٱلۡعَزِيزِ ٱلۡحَمِيدِ ٨  

« Que périssent les gens du fossé (al-ukhdûd), le feu plein de combustible. Alors qu’ils étaient tout autour, ils furent ainsi témoins de ce qu’ils faisaient subir aux croyants, à qui ils ne reprochaient que d'avoir cru en Allah, le Puissant, le Digne de louanges ». [S. 85, v. 4-8]

Ce fanatisme ouvrit les portes du Yémen à une intervention Abyssine. En effet, lorsque Justin – l’empereur byzantin qui était chrétien – apprit ce qu’avait fait Dhû Nuwâs des chrétiens de Najran, il ordonna au Négus, empereur de l’Abyssinie, d’envahir le Yémen et de punir son roi pour les avoir tués. Le Négus s’exécuta en envoyant une armée combattre Dhû Nuwâs et envahit ainsi le Yémen.

Ensuite, les Abyssins s’employèrent à propager le christianisme chez les Arabes. Pour ce faire, Abrahah, leur chef, fit construire une gigantesque église qu’il baptisa « Al-Qullays » et qu’il orna d’or et d’argent afin de séduire les Arabes, les inciter à adopter le christianisme et les pousser à accomplir leur pèlerinage vers cette église au lieu de La Mecque. Les Arabes n’acceptèrent pas le christianisme mais se moquèrent de l’acte d’Abrahah. Un bédouin alla jusqu’à se rendre à cette église pour la souiller.

Abrahah fut furieux et décida en représailles de détruire la Ka^cbah. Pour ce faire, il apprêta une immense armée dotée d’un énorme éléphant. Mais il ne put réaliser son projet de destruction de la Ka^cbah car Allah la sauva en envoyant sur Abrahah et son armée des oiseaux par volées qui les inondèrent de pierres d’argile, ce qui fit périr la majorité de son armée.

Allah (I) mentionne cette histoire dans le Coran:

 أَلَمۡ تَرَ كَيۡفَ فَعَلَ رَبُّكَ بِأَصۡحَٰبِ ٱلۡفِيلِ ١ أَلَمۡ يَجۡعَلۡ كَيۡدَهُمۡ فِي} تَضۡلِيلٖ ٢ وَأَرۡسَلَ عَلَيۡهِمۡ طَيۡرًا أَبَابِيلَ ٣ تَرۡمِيهِم بِحِجَارَةٖ مِّن {سِجِّيلٖ ٤ فَجَعَلَهُمۡ كَعَصۡفٖ مَّأۡكُولِۢ ٥

« N’as-tu pas vu comment ton seigneur a agi envers les gens de l’Eléphant? N’a-t-Il pas rendu leur ruse complètement vaine? Et envoya sur eux des oiseaux par volées, qui leur lançaient des pierres d’argiles? Et les a rendus semblables à une paille mâchée » [S. 85, v. 1-5]

Par la suite, Sayf ibn Dhî Yazan, un des chefs de Himyar, parvient avec l’aide des perses à chasser les Abyssins du Yémen, mais il est tué. Le Yémen devient donc une province perse dont le gouverneur sera mandaté par le roi de Perse. Le Yémen demeurera dans cette situation jusqu’à l’avènement de l’Islam. Le dernier gouverneur perse du Yémen sera Bâdhân, dont Allah ouvrira le cœur et qui embrassera l’Islam.