Spencer House er et palæ i St. James's i Londons West End.
Palæet blev bygget i 1756 – 1766 til John Spencer, 1. jarl Spencer. Gennem mere end 100 år var palæet familien Spencers bolig i London.
Siden 1948 har Spencer House været udlejet. Den første lejer var Christie's auktioner.
I 1986 blev palæet udlejet til bankier-familien Rothschild, der bruger det som hovedkvarter for investeringsselskabet RIT Capital Partners (Rothschild Investment Trust).
Spencer House ejes af Charles Spencer 9. jarl Spencer (bror til prinsesse Diana af Wales).