Trần Khánh Dư là người huyện Chí Linh (Hải Hưng), con của Thượng tướng Trần Phó Duyệt. Ông là người trong họ nhà vua nên được phong tước Nhân Huệ vương.Ông đánh giặc có công, được vua yêu lập làm "Thiên tử nghĩa nam" (con nuôi vua). Sau lại phong chức Phiêu kỵ đại tướng quân. Rồi tử tước hầu tăng lên mãi đến Tử phục thượng vị hầu. Sau vì có lỗi với gia đình Trần Quốc Tuấn nên bị cách hết quan tước, tịch thu gia sản. Ông phải lui về sống ở Chí Linh.Một ngày tháng 10 năm Nhâm Ngọ (1282), Khánh Dư chở thuyền qua bến Bình Than, nhà vua trông thấy, trỏ vào thuyền bảo quan thị thần rằng: "Người kia có phải là Nhân Huệ vương không". Rồi lập tức sai người chở thuyền nhỏ đuổi theo. Người quân hiệu gọi: "Ông lái kia, vua sai đòi nhà ngươi". Khánh Dư nói: "Ông già là người buôn bán, có việc gì mà gọi đến". Quân hiệu về tâu thực như thế. Vua nói: "Đúng là Nhân Huệ vương rồi, nếu là người thường tất không dám nói thế". Vua lại sai đi gọi. Khánh Dư đến nơi, mặc áo ngắn, đội nón lá. Vua nói: "Nam nhi cực khổ đến thế là cùng". Vua xuống chiếu tha tội, ban cho áo ngự, vị thứ ngồi dưới các vương, trên các công hầu, cùng bàn việc đánh giặc. Ông có nhiều kế hay, đúng ý vua. Nhà vua cho phục chức cũ, lại phong làm Phó tướng quân.Trong cuộc kháng chiến chống Nguyên Mông lần thứ ba (1288), ông làm Phó tướng giữ Vân Đồn. Khi cánh quân thủy của bọn Ô Mã Nhi, Phàn Tiếp đến Vân Đồn, ông đem quân chặn đánh, không cản được giặc. Thượng hoàng nghe tin, sai bắt về kinh xử tội. Ông bảo với sứ rằng "lấy quân luật mà xử, tôi xin chịu tội, nhưng xin hoãn vài ngày để tôi lập công chuộc tội, rồi sẽ chịu búa rìu cũng chưa muộn". Theo dự đoán của ông, quả nhiên mấy ngày sau, Trương Văn Hổ dẫn hơn 100 thuyền chở lương kéo đến. Ông đánh bắt sống được nhiều tù binh và lương thực khí giới không kể xiết. Quân Nguyên nghe tin mất hết lương thực, chỉ lo việc rút về, không còn chí chiến đấu nữa.Trong số những quý tộc nhà Trần, Trần Khánh Dư là người không chỉ giỏi võ nghệ, lắm mưu lược, lập công lớn về quân sự mà ông còn có đầu óc thực tiễn, biết kinh doanh thương mại. Suốt thời gian bị bãi chức, ông về đất cũ của cha mình ở Chí Linh, làm nghề buôn than để sống. Tác giả các bộ sử cũ với quan điểm kinh tế truyền thống của phong kiến là trọng nghề gốc (nông nghiệp), khinh nghề ngọn (buôn bán) nên coi việc ông buôn than, bán nón là nghề "hèn mọn". Nhưng thực ra, ở thời Trần chưa hề có chính sách trọng nông ức thương, chưa hề có việc bao vây cấm đoán ngoại thương. Chính Trần Khánh Dư là người sớm thấy nguồn lợi lớn trong việc buôn bán.Ông là vị tướng giỏi và cũng là người biết làm kinh tế. Khi là dân thường cũng như lúc làm tướng, ông đều tham gia hoạt động kinh doanh lưu thông hàng hóa. Đấy là điểm tiến bộ ở ông, một biểu hiện mới trong tầng lớp quan liêu vốn chỉ quen sống bám vào đặc quyền đặc lợi của mình, khinh thường lao động sản xuất và kinh doanh buôn bán.