霍华德城堡是霍华德家族的家。霍华德家族是第四世诺福克公爵托马斯·霍华德最小的儿子威廉·霍华德爵士的后裔。第一代卡莱尔伯爵查尔斯·霍华德（1629-1685）世威廉·霍华德爵士（1563-1640）的曾孙。查尔斯·霍华德的曾孙，第三世卡莱尔伯爵，以霍华德城堡的建造者而闻名。

那以后，霍华德家族的八代人都居住在霍华德城堡：在几个世纪的挑战和机遇中，每一代人都为这座宏伟的宅邸和庄园的管理增添了不同的特色。

霍华德城堡的建造始于1699年，历时100多年才完成，跨越了前后三任伯爵的一生。

第三代卡莱尔伯爵请剧作家约翰·范布鲁建造这座房子。范布鲁以前从未建造过任何东西，于是，他把尼古拉·霍克斯穆尔招到麾下，协助他负责设计和施工的实际工作。这座建筑从东到西逐次建造，在不到十年的时间里初具规模。到1725年，当这座建筑的版画出现在《英国建筑》一书中时，她大部分的外部结构都是完整的，而内部装饰也非常华丽。

然而，在范布鲁于1726年去世时，这座豪宅尚不完整。她还缺少一个西翼，因为之前建造者的注意力转向了园林和绿化。当第三代卡莱尔伯爵于1738年去世时，她仍不完整。当第四代伯爵接管建造工作时，他更喜欢偏保守的风格，而不是华丽的巴洛克式设计，这就是现在的帕拉第奥式的西翼了。从外观来看，城堡明显的不对称获得了参差不一的评价，许多访客也注意到了这突兀的一点。

霍华德城堡的建造最终于1801-11年完成，最后一个施工项目是塔瑟姆装饰了长画廊。之后在1870-75年翻新礼拜堂的过程中拆除了城堡西翼两端的阁楼亭，旨在让城堡两翼更和谐。

霍华德城堡在1940年发生了一场灾难，当时发生了火灾。大火始于一处烟囱，并向西席卷了整个建筑。在强风的加持下，大火摧毁了地下室、主楼和上层的房间，并造成穹顶坍塌进了大厅。

得力于消防部队的努力，他们防止了更多损失并控制住了火势。玛格丽特王后学院的女学生们由于当时在霍华德城堡躲避空袭，也在撤离的时候从火场抢救了部分文物。

在1960-62年，穹顶被重建和重新装饰，1981年，借助与格拉纳达电视台合作和拍摄《故园风雨后》的契机，花园大厅得以重建。