Se halla situado en el cerro conocido como "Cabeza de Zorro". Por su aspecto debió ser una fortaleza militar de los siglos X y XI. Presenta torres cuadradas, dos de las cuales están adornadas con la imagen de la patrona de Trujillo. El castillo se realizó en mampostería y en su interior alberga la imagen de la Virgen de la Victoria, que se guarda en la capilla. Desde este castillo se obtienen unas inmejorables vistas de la ciudad y sus alrededores.