El castillo-alcazaba de la ciudad, que los musulmanes habían incorporado como torreón a su red de torreones de vigilancia del Valle del Henares, y que los godos habían construido siglos antes para el control visual de todo el Alto Henares y de paso controlar el tráfico de los valles colindantes, por su posición clave en el entronque entre los sistemas ibérico y central, es el edificio más antiguo de la ciudad. En torno a él se forma una primera ciudad medieval, amurallada, con entradas por el este (Puerta del Sol) y por el oeste (Puerta de Hierro). Con el lado oriental como muro infranqueable (Paseo de La Ronda), la ciudad se extiende hacia su parte más baja, hasta la Travesaña Alta, donde existió la muralla defensiva del flanco norte. La actividad mercantil tenía lugar en la plaza del castillo, cerca de ella se encontraba la sinagoga (actual Calle San Juan).

Fuera de estas murallas a medio camino entre el río Henares y el castillo, otra recia muralla flanqueada por torres, albergaba un templo donde el obispo y sus canónigos tenían su residencia (actual catedral). A Don Bernardo le llega la muerte en el campo de batalla de la larga reconquista y su sucesor el obispo Don Pedro Leucata, iniciador de estos amurallamientos muere en 1156, siendo realmente Don Cerebruno, tercer obispo de esta recién creada diócesis, quién dé el impulso expansivo a las construcciones iniciadas por sus antecesores.