La fachada consta de tres pisos, el bajo, llevado a cabo en sillar perfectamente escuadrado consta de zócalo y dos pisos de ventanas rectangulares. Las dos plantas superiores se llevaron a cabo en ladrillo, la planta noble se articula mediante la apertura de cinco balcones rectangulares volados entre los que se dispuso una serie de tres arcos ciegos resaltados rimados de tres en tres; el piso superior presenta una galería corrida de arcos de medio punto, doblados con óculos decorativos en los antepechos y las enjutas e impostas resaltadas. Este mirador está más desarrollado que los habituales al triplicar los arquillos. La imponente fachada principal flanqueada por las dos torres, es de grandes dimensiones lo que obligó a la introducción de elementos de articulación que proporcionaran un ritmo adecuado y un ligero movimiento a la fachada, como los arquillos resaltados rimados de la planta noble; recurso por otra parte basado en la seriación continua del mirador en el que la triplicación de los arquillos acentúa el juego de líneas de ladrillo y le confiere una mayor ligereza, lo mismo que las aplicaciones de cerámica de los óculos superiores.
La portada, de proporciones monumentales e ideada por Guillaume de Brimbez, se encuentra articulada mediante la disposición del acceso bajo un arco de medio que apea sobre pilastras sencillas y flanqueado por dos gigantes esculpidos colocados sobre elevados pedestales; sobre los gigantes dos capiteles soportan el entablamento de características muy sobrias cuyo mas importante atractivo se centra en la disposición del friso corrido decorado en relieve. Remata la composición un pequeño frontón triangular. Iconográficamente la portada es la más pura representación plástica del poder político, social y cultural. Uno de los gigantes se identifica con Hércules y el otro con Teseo. El friso corrido representa un triunfo de Cesar, mientras en el tímpano se representa a Helios, el Sol, con su corona de rayos, flanqueado por la Aurora que levanta el manto de la noche de rostro, y el Ocaso que se dispone a cubrirse con él. Las cabezas de las enjutas son personajes de la Antigüedad relacionados de algún modo con la Virtud y la Razón. Sobre las pilastras dos amorcillos son atraídos por el vaso de la Virtud, mientras que al otro lado dos faunos se apartan de él.
A través de la portada se accede a un pequeño zaguán que abre directamente al patio mediante una arquería de dos huecos que apoya en potentes columnas anilladas dotadas de capiteles jónicos. El patio consta de una planta cuadrada y dos pisos. El inferior presenta arquitectura arquitrabada sobre potentes columnas jónicas anilladas de proporciones inusuales en este tipo de estructuras. La elevación sobre un zócalo acentúa su grandiosidad y rigidez apartándose del concepto íntimo y jovial de este espacio de la arquitectura doméstica. Sólo el arrimadero de azulejos le confiere cierta animación. En la segunda planta se dispone una sobria galería de ventanas adinteladas separadas por columnas adosadas, del mismo tipo que las del piso inferior pero de dimensiones menores. Los óculos con bustos de personajes de los antepechos de esta planta superior son producto de una restauración. Al fondo del patio se dispone la escalera de comunicación entre los pisos del patio, en torno al cual se abren las estancias del palacio, que han sufrido a lo largo de la historia del edificio numerosas reformas y adaptaciones a nuevos usos, a pesar de los cual se han conservado en tres de ellas las techumbres de madera, las cuales se adscriben al modelo renacentista de casetones combinado con formas geométricas variadas que cargan sobre frisos decorativos con motivos de reminiscencias italianas.
En esta misma planta, en el espacio de la torre occidental, se encuentra la pequeña capilla de la vivienda con cubierta de madera con forma de bóveda de cañón.