Haut lieu du pouvoir Ecclésisatique en Périgord, et ceci de temps immémorial, Château l'Evêque eut un rayonnement égal à celui des quatre Baronies du Périgord: Beynac, Biron, Bourdeilles et Mareuil. Son Histoire se perd dans les brumes du Moyen-Age.
Au XIe siècle le premier Château l'Evêque est édifié par l'Evêque Frotaire afin de protéger Périgueux des Invasions Vickings, en subsiste la base du Donjon qui s'élevait à 25m environ.
En 1347, en pleine Guerre de Cent Ans, Adhémar de Neuville, Evêque de Périgueux, construit une forteresse afin de fermer l'entrée de Périgueux aux Anglais qui arrivaient d'Angoulème et de Limoges, Château l'Evêque étant situé au point de convergence de ces deux axes.
Détruit partiellement 19 ans plus tard par les Anglais il renaît la paix revenue dès la deuxième moitié du XVe et sa reconstruction sera achevée vers 1515/1520 par Guy de Castelnau, Evêque de Périgueux.
Son architecture est une harmonieuse composition Médiévale et Renaissance avec une nette influence du Gothique Flamboyant.
Aux alentours de 1900, Mr Boisserie de Masmontet, dans son Histoire des Châteaux de Guyenne, l'annonçait ainsi: "Ce Château passe à juste titre pour l'une des plus gracieuses manifestations de l'art militaire Gothique en Périgord."
Certains érudits considèrent qu'il fait partie des trente plus beaux Châteaux du Périgord.