Vua Tự Đức lúc còn nhỏ bị bệnh đậu mùa, mặt rổ nói ngọng. Tuy được bà Từ Dũ chăm sóc nuôi dưỡng tận tình, nhưng ông thường đau yếu, hay lẫn tránh những hoạt động mệt nhọc. Từ khi ông lên ngôi, những buổi thiết triều quan trọng thường bị bãi bỏ. Nhất là vào những ngày đông tháng giá. Công việc trị dân bị đình đốn phiến tấu không dâng lên được. Bọn quan lại cơ hội thì nhân đó tranh thủ thu vén cho mình, những người có một chút tình với dân với nước thì lo lắng cho xã taÜc không vui. Tình hình đó ai cũng thấy nhưng không ai dám khuyên can vua.Thấy tình hình kéo dài không ổn, trong đám quan lại bỗng có một người dám đứng ra làm việc đó. Người ấy là ông Phạm Phú Thứ người Quảng Nam, đỗ tiến sĩ giữ chức Thị Độc trong viện Tập Hiền. Phạm gửi cho Tự Đức một tờ sớ xin trích một đoạn như sau:"Kẻ hạ thần có nghe: sự siêng năng là đức của thánh nhân nết tốt của quân tử. Xưa vua Thuấn nối ngôi vua Nghiêu, thiên hạ đã thái bình mà vẫn chăm lo làm việc, không chút rỗi rảnh. Vua Văn Vương cũng là bậc thánh, đức tốt, đủ làm phép tắc muôn nước, dậy mà còn chăm lo việc dân đến nỗi không rỗi ăn uống cho no. Hai vua ấy siêng năng là dường nào... Các liệt thánh (của ta) cũng không kém gì vua Thuấn vua Văn. Bởi vì sự trị an trong nước không tới thì lui, cho nên đấng nhân quân phải siêng lo luôn, rỗi đâu mà chơi nhởi. Nay đức Hoàng Thượng lên giữ Thánh nghiệp bốn biển theo về. Vậy mà kẻ hạ thần trộm thấy công việc chốn triều đình còn bề trễ, thần dân trong nước đang ngóng cổ trông ơn vua. Lúc này chính là lúc Hoàng Thượng chăm lo mới phải. Thế mà Ngài lên ngôi ba năm nay, nhân khi tiết hậu đổi thay, thường hay se mình, qua tiết thu đông càng thêm đau yếu. Các quan ngự y điều trị đã ra công chữa chạy, các đìng thần đang sớ thỉnh an, muốn nói mà không dám cạn lời. Nay nhờ phúc trời, Thánh thể đã mạnh khỏe. Ngài nên tự cường đừng nên trể nhác, bắt chước theo đế vương theo liệt thánh, còn e không thỏa lòng mong của thiên hạ. Vả chăng về tiết mùa đông, mưa nắng là sự thường. Thế mà chốn đại đình vắng thấy nghi chầu, nơi hậu uyển thường nghe tiếng trống, trể nải như vậy, tôi e trị hoá càng lùi. Chốn kinh diên không nơi giảng sách thì điều được điều mất không biết xét vào đâu, mà lời nói lành càng ngày càng vắng vẻ. Bầy tôi ít thấy vào ra mắt, thì phận vua tôi xa cách, mà tình kẻ dưới một ngày một sơ. Các quan phủ huyện các nơi, chực dẫn kiến mãi mà không được, ắt sự lợi sự hại trong dân sao thấu tai Vua, mà dân chánh ngày một kém đi. Phương chi việc trong nước không phải chỉ mấy điều đó mà thôi. Vậy kẻ hạ thần cúi xin Hoàng Thượng hãy nghĩ đến tiền nhân vì siêng năng mà làm nên thịnh trị, rồi Ngài nhớ lấy mà đừng quên, hãy gắng lấy mà đừng trể, nước nhà được yên ổn dài lâu cũng bởi đó mà ra. Kẻ hạ thần ngồi thấp nói cao, mình biết mình chắc có tội, ngữa nhờ lượng thánh xét cho!" - Phạm Phú Thứ.Sớ ấy tâu lên vua Tự Đức đọc qua giận tái mặt. Nếu một người nào đó dám viết tờ sớ ấy chắc Tự Đức đã ra lệnh chém ngang lưng vì tôi phạm thượng. Nhưng với Phạm Phú Thứ thì Tự Đức không dám làm như thế. Lúc còn làm Thái Tử, nhiều lần Tự Đức đã đưa thơ nhờ Phạm duyệt và nhà vua đã biết tài của Phạm. Để cho khách quan, ông bảo đình thần hãy nghị tội Phạm. Bọn nịnh thần giá áo túi cơm đầu triều Tự Đức có dịp lập công lấy lòng vua đùng đùng kết tội ông, họ bảo ông là nói với vua mà dung nhiều lời quá đáng. Thế là Phạm bị tội đồ, phát phối vào làm lính ở trạm Thừa Nông (Nong bây giờ). Tưởng như thế là thoa? đáng rồi. Không ngờ cái tin đó đến tai bà Từ Dũ - mẹ vua Tự Đức. Bà Từ Dũ hỏi con:"Ông Phạm dâng sớ hặc cái tính lười biếng của con thì ổng được lợi gì?"Tự Đức đáp:- "Ông không được lợi gì nhưng sao bề tôi lai nói với vua quá đáng như thế?"- "Khi người ta thương thì người ta mới giận. Mà đã giận thì nói quá lời. Còn những người bẩm bẩm dạ dạ để được lòng vua chắc chi đã trung với vua?"Tự Đức cúi đầu làm thinh, Bà Từ hỏi tiếp:- "Ông Phạm vô Thừa Nông làm lính có buồn không?"- Không những không buồn mà trái lại ông rất vui. Con nghe nói chiều chiều rảnh việc ông hay thả thuyền trên sông Thừa Nông ngâm thơ với biệt hiệu là Nông Giang!".- "Thế thì người trượng phu không phải vui ở chức tước được người trên trọng hay khinh mà cốt ở việc làm chân chính!".Tự Đức sụp lạy mẹ.Sau đó Phạm Phú Thứ được triệu về Kinh khai phục chức Hàn lâm viện điển tích, biệt phái đến sở tu thư. Về sau, Phạm Phú Thứ trở thành một đại thần nổi tiếng thời Tự Đức.