Lầu Ngũ Phụng có tới 100 cột, trong đó 48 cột dài xuyên suốt cả hai tầng. Quanh các phía tầng dưới đều để trống chỉ trừ tòa nhà chính giữa là có hệ thống cửa gương ở mặt trước, dựng đố bản ở hai bên mặt sau nơi Vua thường ngồi dự lễ. Tầng trên thì mặt trước gian giữa dựng cửa lá sách, xung quanh nong ván nhưng trổ nhiều cửa sổ với nhiều hình như hình tròn, hình quạt, hình cái khánh...