A Fehér Ház színe nem csupán esztétikai választás, hanem mélyebb történelmi és kulturális jelentőséggel bír. Az épület tiszta, fehér árnyalata a neoklasszikus építészet hagyományait követi, amely a stabilitás és a hatalom szimbóluma. A fehér szín emellett
Amikor John Adams, az Amerikai Egyesült Államok második elnöke (1797-1801) átlépte a Fehér Ház küszöbét, az akkor még Elnöki Palotaként ismert épület nem volt teljesen befejezve. Ekkor Washington városa, valamint Columbia szövetségi kerület is csupán egy évtizedes múltra tekinthetett vissza, így az újonnan kialakuló főváros még gyerekcipőben járt.
Az 1790-ben elfogadott székhelytörvény (Residence Act) értelmében a Potomac folyónál jelölték ki az új, modern metropolisz helyét, amelyet hálózatos rendszerben, grandiózus sugárutakkal és közterekkel terveztek meg. Az 1790-es években azonban még nem a legszebb arcát mutatta, hiszen egymást érték az állandó építkezések, és hideg erdők, lápos területek vették körül.
Az elnöki rezidencia helyszínét maga George Washington elnök választotta ki (1789-1797), és ennek keretében egy építészeti pályázatot is meghirdetett, melynek nyereménye 500 dollár volt. A pályázat egyik résztvevője Thomas Jefferson volt, aki a későbbiekben Adams alelnökeként, majd elnökként (1801-1809) is birtokba vehette az épületet. Jefferson az "AZ" monogram használatával nyújtotta be pályaművét. Végül azonban a pálmát az ír származású építész, James Hoban nyerte el, aki megvalósította Washington álmait az elnöki rezidenciáról.
A karrierjét a dél-karolinai Charlestonban megalapozó Hoban egy lenyűgöző neoklasszicista épületet álmodott meg, amely Andrea Palladio, a 16. századi velencei építész hatásait tükrözi. Az épület neopalladiánus stílusban készült, amely a szimmetria és az arányok kiemelésére helyezi a hangsúlyt, ezzel tisztelegve a klasszikus görög és római építészet előtt. Az alapkő 1792. október 13-án került elhelyezésre, ám Washington elnökként már nem élvezhette a palota kényelmét, hiszen 1797-ben visszavonult a politikai életből.
A nyolc évig tartó építkezés során rengeteg rabszolga dolgozott, akiket a helyi rabszolgatartók bocsátottak a kormány rendelkezésére. Az ő nevük sokszor ismeretlen maradt, mivel a bérlisták és a jelenléti ívek általában nem tartalmaztak részleteket a rabszolgák személyéről. Emellett szabad feketéket is foglalkoztattak, akikért jelképes összeget kértek, és képzett európai mesterek is részt vettek a munkálatokban. Ugyanebben az időszakban zajlott a Capitolium törvényhozási épület építése Washingtonban, amely szintén nagymértékben támaszkodott a rabszolgamunkára.
Az elnöki palota rövid időn belül, a befejezése után, a Fehér Ház néven vált közismertté. Ennek hátterében a homlokzat védelmét szolgáló fehér mészfesték állt. A következő húsz év során az épület különböző javításokon és bővítéseken esett át. Különösen jelentős volt az 1815 és 1817 közötti teljes rekonstrukció, amelyet James Hoban vezetett. Ez a felújítás elengedhetetlenné vált, miután az 1812-ben kitörő brit-amerikai háború során a brit csapatok súlyosan megrongálták Washingtont, felgyújtva több épületet, köztük a Fehér Házat is, amelyet kiraboltak és belülről is jelentős károkat szenvedett el.
