La Casa Castellarnau es va construir a inicis del segle XV. A partir d'aquest moment i fins al segle XIX va ser la llar d'algunes de les famílies més influents de la ciutat. L'any 1542 hi va viure l'emperador Carles I durant la seva estada a Tarragona.