白宫由爱尔兰裔建筑师詹姆斯·霍本设计，工程期为1792年至1800年，建材利用白色的阿维亚溪砂岩，风格则是新古典主义模样形状。第三任总统托马斯·杰斐逊于1801年搬入白宫后，他和建筑师本杰明·亨利·拉特罗布为了暗藏白宫马厩与储藏室，而在白宫每侧增长少许列柱。到了1814年，英军在1812年战役中纵火摧毁华盛顿特区，白宫内部遭受火焚，外不雅观也被烧黑。待美军收复华盛顿后，美国政府便急速重修白宫，第五任总统詹姆斯·门罗于1817年10月搬进部分重修完成的白宫行政官邸。其后白宫建筑工事仍持续进行，美国政府分别于1824年和1829年完成增建白宫南、北面的门廊。
随着美国政府逐渐扩大，白宫作为办公场所显得越来越拥挤。第二十六任总统西奥多·罗斯福于1901年哀求白宫内所有办公室迁往新建成的白宫西厢办公室，八年后第二十七任总统威廉·霍华·塔虎脱扩建西厢办公室，并增建椭圆形办公室作为总统办公室之用。主建筑部分，三楼原来用作阁楼，也在1927年转为总统家庭的起居空间。至于与杰斐逊柱廊相连的白宫东厢办公室，落成后便一贯用作处理白宫的社交事务，接待访客、民众与外宾，并于1946年改建扩大办公空间。1948年，美国政府创造白宫的外部承重墙与内部木梁并无效用。第三十三任总统哈瑞·S·杜鲁门任内便拆除白宫所有房间，以钢梁作为白宫新建筑构造的承重修材；此工程落成后，白宫所有房间才再度重修。
今日的白宫建筑群包括行政官邸、西厢、东厢、艾森豪威尔行政大楼与布莱尔宫等建物。行政官邸共有五层，包括地下室、大厅层、国家层、第二层与第三层。而一样平常语境下所称的“白宫”，常日是对“美国总统行政办公室”或总统行政与顾问团队的转喻，如“白宫宣告……”。此外，由于白宫是美国国家遗产，其产权属于美国国家公园管理局，是“总统公园”的一部分。2007年，白宫获美国建筑师学会评比为美国最受喜好的建筑第二名。
1790年12月，在华盛顿哥伦比亚特区定址后，根据一项国会动议，建造白宫。乔治·华盛顿总统亲自帮忙城市方案师皮埃尔·查尔斯·朗方（Pierre Charles L'Enfant）选址。主持工程的建筑师通过比赛选出，共收到九个方案。来自南卡罗莱纳州的爱尔兰人詹姆斯·霍本（James Hoban）得到这项殊荣。工程于1792年10月13日奠基，它的设计模拟现为爱尔兰议会所在地，原为在爱尔兰都城都柏林的一所公爵官邸伦斯特府（Leinster House）的一、二层。华盛顿总统并不完备满意最初的设计，他认为原稿设计太小，不适宜做总统的住所。借鉴其故居的设计，将白宫的设计按比例放大了30%，并增加了东厅。工程于1800年11月1日竣工，耗时8年，花费232,371.83美元，考虑通货膨胀的成分，大约即是现在的二百四十万美元。
直到1825年前后柱廊还不是建筑的一部分。
这幢大楼最初称作“President's Palace”（总统府）、“Presidential Mansion”（总统官邸）或者“President's House”（总统宫）。多利·麦迪逊叫它做“总统的城堡”。直到1811年才首次涌现"大众年夜众由于它漆成白色的石制外墙而称之为“白宫”的记载。在西奥多·罗斯福总统于1901年以在信纸上印上“The White House”（白宫）确立正式名称之前，“Executive Mansion”（行政官邸）这一名称常常用于公函中。
1800年11月1日，约翰·亚当斯成为首位入住白宫的总统。1814年英美1812年战役中，华盛顿大部分地区被英军纵火，白宫内部被焚毁。只有外墙残余，但后来重修。外墙重新刷成白色，但须要解释的是，白宫早在1798年起就一贯被刷成白色，失火后的重新粉刷不是像"大众传闻所说是白宫名称的来由。1841年8月16日，当约翰·泰勒总统反对一项呼吁成立美国第二银行的法案时，白宫再遭打击。被激怒的辉格党党员在白宫外制造当时乃至本日美国历史上发生在白宫广场的最血腥的骚乱。
白宫北面
白宫专用书信标志
犹如英格兰及爱尔兰风格的房屋般无拘无束，白宫引人瞩目地对外开放直到二十世纪早期。1805年，托马斯·杰斐逊总统在他的第二次就职仪式时开放白宫，当时参加他在国会山庄举行的宣誓仪式的大多数人们跟随他回家，接管他在蓝厅的接见。
那些招待会有时会变得十分混乱：1829年，大约2000个市民聚拢在白宫祝贺安德鲁·杰克逊总统的就职仪式，他被迫躲进一家旅社。他的助手终极必须用装满用橘子汁和威士忌调制的强力鸡尾酒将这群乌合之众诱骗出来。虽然如此，这个习气一贯保留至1885年，新当选总统格罗弗·克利夫兰安排了一个在白宫正面看台的总统阅兵来代替传统的招待会。
杰斐逊还批准了一项白宫的公开游览，这项活动除了战时停滞外一贯延续至今。并开始了每年新年和独立日的招待会的传统。这个招待会在20世纪30年代早期停滞了。
白宫在1960年12月19日已确认为一处国家历史地标。
2015年7月1日，总统夫人蜜雪儿·奥巴马于Instagram宣广告宫废除过去40年禁止拍摄指令，其后白宫指出惟不包括相机镜头长过3吋、有闪光灯、自拍神器、平板电脑和脚架等器材以及拍摄短片。
