Los patios laterales tienen planta cuadrada y su estructura es muy simple. La planta baja tiene una fila de huecos rectangulares a ras del suelo para permitir la ventilación e iluminación de los dos sótanos y sobre ella corre un orden de ventanas adinteladas con ligeros ensanches a manera de adorno en su parte lateral alta. Por encima de ellas y en el interior de arcos ciegos de medio punto se abren otros pequeños huecos rectangulares que, al modo de los "mezzanini" italianos, permiten iluminar unas entreplantas de escasa altura. Tras una línea de impostas, el piso principal, con huecos adintelados protegidos por medio de individuales balcones de hierro, ha visto desaparecer el pequeño adorno que, a manera de un segundo marco, tenía cada uno de ellos. En la segunda planta, de vanos adintelados pero sin balcones, también se ha suprimido el adorno de la parte superior de las ventanas, aunque se mantiene el de la inferior; no obstante, el patio derecho conserva todavía estas molduras al no haber sufrido las reformas más modernas.En el ático, por el contrario, subsiste la sencilla imposta original tras la que se alzaba la cubierta abuhardillada que, por necesidades de espacio, ha sido sustituida por una moderna edificación que se eleva a dos pisos.

Según presupuesto firmado por Sabatini el dos de abril de 1771, en el centro de ambos patios menores se proyectaron sendas fuentes cuyas aguas habrían de verter al desagüe de la fuente de la Puerta del Sol.

El patio principal ocupa la mitad posterior del edificio. Su forma es rectangular, salvo en el lado sur, en el que se advierte un resalte que coincide con la caja de la escalera, siendo esta parte la que ofrece mayor semejanza con el único patio realizado de entre los que el mismo Sabatini proyectara en el inacabado Hospital General de Madrid. La planta baja era porticada con sencillos pilares, pero hoy los huecos han sido tabicados para aprovechar mejor el espacio

La planta principal conserva la balaustrada corrida conteniendo diversas pilastras que separan arcos de medio punto, con su correspondiente galería a la que se abrían ventanas rectangulares y otros "mezzanini" hoy cegados.

El ático, también de menor altura, como en la fachada principal y en los dos patios menores, presenta huecos cuadrados sobre los que corre una bella cornisa con amplia serie de mútulos desornamentados que crean un gracioso ritmo de claroscuro.

Estos tres patios, así como otros más pequeños, auténticos patios de luces dispuestos en los lados y con los correspondientes pozos de desagüe, sirven de eje a la distribución de las numerosas dependencias de muy irregular trazado para cuyo servicio existen hasta catorce escaleras accesorias, de las que una de ellas, situada a la izquierda del edificio, es del tipo de caracol y recorre todas las plantas desde el segundo sótano al ático.

La irregularidad del solar sobre el que se levantó la Casa Aduana se salva en las diversas crujías mediante la diferente superficie de las dependencias con el fin de que los patios tengan una proporción regular y correcta.