Vua Gia Long là người can trường, táo bạo. Ông đã từng đánh đông dẹp bắc, nằm gai nếm mật suốt mấy mươi năm dài mới gây dựng lại được cơ nghiệp nhà Nguyễn, thu tóm quyền lực cả nước trong tay mình. Với một người như thế tưởng chừng như trên cõi trời Nam lúc ấy không thể có một mãnh lực nào dám đi ngược lại ý muốn của ông. Thế nhưng… ai có thể ngờ được trong chốn nội cung đã xảy ra những chuyện thật rối rắm. Chính vua Gia Long, ông chủ nhân đầy quyền lực của chốn thâm cung ấy đã lắc đầu tâm sự với một triều thần gốc người Pháp là J.B.Chaigneau (Se-nhô) như sau: “Trị nước thật dễ dàng, không khó nhọc bằng trị chốn nội cung của mình”. Trong một cuộc gặp gỡ riêng, nhà vua nói với Se-nhô: “Ông tưởng rằng sau khi bãi triều, và thanh toán xong mọi việc chính trị và hành chính trong ngày là công việc tôi đã xong và thế là tôi có thể nghỉ ngơi trong hậu cung sao? Ông lầm đó. Ông không thể tưởng cái gì đang chờ tôi ở đấy (vua chỉ về phía hậu cung) sau khi tôi ra khỏi nơi này. Ở đây, tôi thích thú vì được nói chuyện với những người hiểu biết, người biết nghe, hiểu tôi và nếu cần vâng lời tôi! Vào trong ấy, tôi gặp phải những con quỷ dữ. Chúng gây gổ, đánh đập nhau, cấu xé nhau… rồi sau cùng kéo nhau đến đòi tôi phân xử. Nếu làm đúng thì tôi phải trị tội cả bọn, vì không biết rõ trong cả bọn ấy có đứa nào không độc ác bằng mấy đứa nào!” Sau một hồi im lặng, Gia Long nói tiếp: “Này đây, một chốc nữa, tôi sẽ phải đứng giữa một bầy quỷ cái, chúng nó sẽ gào thét làm tôi điếc cả tai”. Nhà vua giả giọng một người đàn bà đang cơn giận giữ: “Xin Ngài xét cho, xin Ngài xét cho! Con ấy nó chửi tui, nó xài xể tui, xin Ngài xét cho!”. Một tá khác, lát nữa sẽ đến rỉ vào tai tôi: “Hoàng đế bỏ tui, con kia được lòng Hoàng đế, tui đòi xin phần tui!”. Bỗng nhà vua cười ha hả, rồi nhìn vào kẻ đối thoại với mình như để hỏi một ý kiến. Ông quan người Pháp, trước đó đã cười nôn ruột về cái điệu bộ đóng trò của vua và tiếng hét của nhà vua nhại lại sự lồng lộn của các bà vợ, liền nói: Tâu, Hoàng đế không phải khó nhọc để đỡ bớt sự phiền hà của mình bằng cách hạn chế số cung phi? Xuỵt! – Vua ngắt lời – Ông hãy nói nho nhỏ, hãy nói nho nhỏ. Rồi vua truyền cho bọn quân hầu và thị vệ lui ra, đoạn nói tiếp: “Này, ông S…(C…) ơi, nếu các quan đồng triều mà nghe được những lời ông vừa nói đó, thì họ sẽ trở thành kẻ thù của ông ngay. Thì ra ông không biết, vua nói tiếp, rằng các phi, tần hầu hết đều là con gái các quan sao? Đây này, cách nay không lâu, một ông đòi dâng con gái cho tôi, mặc dầu tuổi tác của tôi, tôi đã không thể từ chối, vì nếu làm như vậy thì tôi sẽ làm cho ông ta tức giận vô cùng. Ở đây, là một vinh dự khi một ông quan có được một cô con gái tiến vào nội cung và đối với tôi, đó là một bảo đảm về lòng trung thành của ông ta. Tôi muốn có sự êm thấm với mọi người, nhất là với đàn bà, vì họ đáng sợ hơn đàn ông! Nếu tôi bỏ bê một nàng, cô ta sẽ lập tức phàn nàn với cha mình, và ông này, nếu không nguyền rủa sự già yếu của tôi, thì cũng sẽ tìm cách gieo rắc một cách khéo léo giữa các bạn đồng liêu những tiếng xì xào làm cho tôi trở thành trò cười trước mắt dân chúng”. Ngoài hai bà hậu là Thừa Thiên (mẹ hoàng tử Cảnh) và Thuận Thiên (mẹ vua Minh Mạng), vua Gia Long còn sắc phong cho bà Lê Thị Ngọc Bình (con vua Hiển Tông và là em Ngọc Hân công chúa) làm đệ Tam cung. Vua Gia Long có tất cả 13 người con trai và 18 người con gái, không kể năm người con trai là Chiêu, Xương, Khải, Đại, Nhật đã chết sớm. Nếu so với các vua Minh Mạng và Thiệu Trị thì Gia Long là ông vua có số con ít nhất. (Viết theo Đức Chaigneau Souvenirs de Huế - 1864 và R.Orband, Les Tombeaux des Nguyễn, 1914)