Năm 1601, chúa Nguyễn Hoàng đã cho xây dựng chùa. Sau đó chùa được xây dựng lại quy mô hơn dưới thời chúa Nguyễn Phúc Chu (1691-1725). Đến năm 1714, chúa cho đại trùng tu chùa. Năm 1844, vua Thiệu Trị kiến trúc lại ngôi chùa một cách quy mô hơn: xây thêm tháp Từ Nhân (sau đổi là Phước Duyên), đình Hương Nguyện và dựng 2 tấm bia ghi chép thơ văn của nhà vua. Tháp Phước Duyên là một biểu tượng nổi tiếng gắn liền với chùa Thiên Mụ. Tháp cao 21m, gồm bảy tầng, được xây dựng ở phía trước chùa. Mỗi tầng tháp đều có thờ tượng Phật. Bên trong có cầu thang hình xoắn ốc dẫn lên tầng trên cùng.