Năm 1812, Lê Duy Thanh (con trai Lê Qúy Đôn) tìm được một cuộc đất tốt để xây lăng cho Hoàng hậu Hiếu Khương. Khi khai huyệt, thấy xuất hiện đất ngũ sắc được coi là một điềm lành. Đình thần ai cũng trầm trồ chúc mừng vua, chỉ có Nguyễn Văn Thành đứng im lặng. Gia Long hỏi:- Vì sao nhà ngươi lại im lặng?Thành đáp:- Việc nay không có gì lạ lắm. Trong huyệt mẹ tôi cũng có đất ngũ sắc mà màu còn tươi thắm hơn!Gia Long hơi ngượng, mặt đanh lại. Thành không hiểu điều đó lại nói tiếp: - Tại Châu Ê có một chỗ đất rất tốt.Phạm Văn Nhơn và các quan khác hỏi:- Tại sao biết thế mà không tâu lên.Thành đáp:- Cuộc đất thì tốt nhưng không nên táng vào đó e bị sét đánh!Gia Long lộ vẽ buồn, Hoàng Tử Đảm (sau này là vua Minh Mạng) mới lên tiếng rằng:Chỉ có mộ Tây Sơn mới bị sét đánh vì đó là quân triều nguỵ còn như nay là đời thánh minh được trời thương. Trước mặt đấng quân thượng sao ông lại dám thốt ra những lời nói ấy?(Hoàng Tử muốn nhắc đến mộ của Nguyễn Nhạc đã bị sét đánh ở Bình Định), Thành biết mình lỡ lời nên lui gót.Bốn năm sau Thành bị tội. Nguyên do một phần cũng vì câu chuyện cũ này.