Sau khi vua Quang Trung mất, Cảnh Thịnh lên ngôi, tuổi còn nhỏ, quyền bính đều ở trong tay Bùi Đắc Tuyên. Bùi Đắc Tuyên người làng Xuân Hòa, huyện Tuy Viễn, cậu ruột của Cảnh Thịnh. Dưới triều vua Quang Trung, Tuyên nhờ thế em gái là Hoàng hậu Bùi Thị Nhạn nên được làm quan trong triều. Vì ít học, nên chỉ làm Thị Lang Bộ Lễ, nhưng lại được ghép vào nơi cung cấm. Tuyên thường bày nhiều trò chơi để mua lòng Thái Tử Nguyễn Quang Toản. Vì vậy, nên sau khi lên ngôi báu, Quang Toản liền sử dụng Tuyên và đưa lên làm thái sư, bất chấp cả quan chế đã đặt sẵn. Trong cung đã có Bùi Thái hậu, ngoài triều lại có lắm đại thần nghiêng theo chiều gió như Ngô Văn Sở, Phạm Công Hưng, nên thế lực của Tuyên rất vững. Tuyên mỗi ngày một thêm lộng hành. Các đại thần trung tín đều bất mãn. Một số quan văn kẻ thì tìm cớ già yếu xin về vườn. Kẻ thì bị Tuyên tìm cớ giáng chức hay cách chức. Một số quan võ không về cánh với Tuyên, người thì bị thảm hại, kẻ thì bị đưa đi trấn thủ nơi xa xôi. Ngay những người trước kia theo Tuyên như Ngô Văn Sở, Lê Văn Hưng cũng không chịu nổi hành vi gian ác của Tuyên, nhiều lúc cũng có thái độ bất bình. Tuyên muốn trừ khử khi có dịp. Nhân khi Lê Văn Hưng thắng trận ở Phú Yên, giao thành cho Nguyễn Quang Huy giữ, đem quân về Phú Xuân, Tuyên bắt tội là không thỉnh mệnh trước, có ý muốn làm phản, tâu xin vua chém đầu răn chúng. Vua Cảnh Thịnh y lời, Ngô Văn Sở can nhưng không được, Quan Phụ chánh Trần Văn Kỷ can thiệp, Tuyên nổi giận, giáng chức, đày ra coi trạm Hoàng Giang. Trần Văn Kỷ nguyên là một danh nhân đất Thuận Hóa, quy thuận nhà Tây Sơn khi Bắc Bình Vương ra Phú Xuân. Được vua Quang Trung trọng dụng, thường đem theo bên trướng, làm đến chức Trung Thư lệnh. Quang Toản lên ngôi, Kỷ được làm Phụ chánh. Sau khi đày Trần Văn Kỷ, Tuyên muốn dứt luôn cái nguy là Võ Văn Dũng, nên sai Ngô Văn Sở ra Bắc Hà thay chức Trấn thủ. Triệu hồi Võ Văn Dũng về Phú Xuân đợi lệnh. Dũng đem quân hộ vệ về đến Hoàng Giang thì gặp Kỷ, Kỷ nói: - Thái sư ngồi trùm cả quân thần, cho ai sống được sống, bắt ai chết phải chết, nếu không sớm trừ đi, e bất lợi cho xã tắc. Ông nên lo liệu trước đi kẻo nữa ăn năn không kịp. Võ Văn Dũng vốn tin trọng Văn Kỷ, liền nghe theo. Về đến Phú Xuân, không vào triều, lén cho mời Phạm Công Hưng và Nguyễn Văn Huấn đến bàn mưu giết Bùi Đắc Tuyên. Nhận thấy rõ ràng lòng tàn nhẫn và tính phản phúc của Tuyên, Hưng và Huấn cùng lo ngại đến thân phận của mình, bèn hưởng ứng ngay lời Dũng. Đêm ấy kéo quân đến vây dinh Thái sư. Chẳng ngờ đêm ấy Tuyên có việc ngủ lại trong cung. Bọn Dũng vây luôn cả cung và đòi Cảnh Thịnh giao Tuyên. Không tránh được, Cảnh Thịnh đành bắt Tuyên nạp. Dũng hạ ngục Tuyên, rồi một mặt cho Nguyễn Văn Huấn vào Quy Nhơn bắt con Tuyên là Bùi Đắc Trụ, một mặt giả chiếu ra Bắc Hà bắt Ngô Văn Sở giải về Phú Xuân. Dũng cho rằng ba người Tuyên, Trụ, Sở mưu phản, nên đóng cũi nhốt, đem dìm xuống sông Hương. Vua Cảnh Thịnh biết là oan nhưng không sao ngăn cản được đành gạt nước mắt khóc thầm. Trần Quang Diệu đang vây thành Diên Khánh nghe tin lập tức vượt biển về Phú Xuân. Võ Văn Dũng cùng Nội hầu Nguyễn Thế Tứ đem quân bản bộ ra đóng ở bờ phía bắc sông Hương, ỷ mệnh vua, chống nhau với quân Trần Quang Diệu đóng ở An Cựu bên bờ phía nam sông Hương. Võ Đình Tú lấy tình quen thân cả đôi bên xin vua Cảnh Thịnh được phép đứng ra hòa giải, nhờ vậy mà Võ Văn Dũng cùng Trần Quang Diệu nối lại tình xưa. Cả hai kéo binh vào thành bệ kiến Cảnh Thịnh. Vua phong Võ Văn Dũng làm Đại Tư Đồ. Trần Quang Diệu làm Thái Phó. Đầu tháng 5 năm Kỷ Mùi (1799), thành Quy Nhơn bị vây. Trấn thủ Lê Văn Thanh chống không nổi nên cầu cứu Phú Xuân. Võ Văn Dũng cùng Trần Quang Diệu kéo vào đến Quảng Nghĩa thì bị binh Viết Phước chận lại tại Thạch Tân. Thừa lúc tối Võ Văn Dũng đem quân theo đường Trung xá mưu đánh úp quân Tống Viết Phước. Chẳng ngờ khắp nơi đều có quân đóng giữ, canh phòng cẩn mật, nên binh Võ Văn Dũng thua to. May nhờ Trần Quang Diệu cứu ứng kịp thời, Võ Văn Dũng mới thoát nạn. Vì vậy Quy Nhơn thất thủ và thành được đổi tên là thành Bình Định. Võ Văn Dũng và Trần Quang Diệu được lệnh lui về giữ Quảng Nam. Nhân việc mất Quy Nhơn, bọn Trần Viết Kiết, Hồ Công Diệu sàm tấu với Cảnh Thịnh là tại Trần Quang Diệu không chịu cứu ứng, nên Quy Nhơn mới mất và xin sai người mang mật thư vào Quảng Nam bảo Võ Văn Dũng bắt Diệu giết đi. Dũng được thư tự nghĩ: - Tội là tội của mình. Trần huynh đã có lòng tốt không cáo giác, sao mình lại nỡ lòng hại ân nhân thà đắc tội cùng vua còn hơn phạm tội vong ân bội nghĩa. Bèn đưa thư cho Diệu xem. Diệu kéo quân về kinh trị tội bọn gian tà, rồi trở lại Quảng Nam. Tháng giêng năm Canh Thìn (1800), Võ Văn Dũng hợp cùng Trần Quang Diệu vào được Quy Nhơn. Võ Văn Dũng cầm thủy binh đứng giữ cửa biển Thị Nại để Trần Quang Diệu công thành. Võ Văn Dũng đem chiến thuyền Đinh Quốc và hơn trăm chiến thuyền nhỏ ra đóng giăng ngang cửa biển. Hai pháo đài Ghềng Ráng và Phương Mai bấy lâu bỏ hoang được Dũng cho sửa sang lại và đặt súng đại bác để canh phòng. Năm Tân Dậu (1801) Nguyễn Phúc Ánh kéo binh ra đánh mạnh, tấn công hai mặt thủy và bộ. Về mặt thủy, quân nhà Nguyễn tấn công hai mặt: - Nguyễn Văn Lương và Tống Phúc Lương đem thuyền nhỏ vượt ra phía bắc Thị Nại vào cửa Cách Thử, lẻn vào đầm Thị Nại, dùng hỏa công đốt thủy trại Tây Sơn. - Lê Văn Duyệt và Võ Di Nguy ở ngoài cửa Thị Nại khi thấy lửa cháy thì kéo chiến thuyền đánh ập vào. Ở Thị Nại, Võ Văn Dũng canh phòng nghiêm ngặt, súng đại bác sẵn sàng nhả đạn. Nhưng đang đêm, thình lình thấy thủy trại cháy, vội cho quân đi chữa lửa. Võ Di Nguy trông thấy ánh lửa liền xua quân tiến vào. Súng trên pháo đài bắn xuống, đánh chìm hết đoàn thuyền tiên phong. Võ Di Nguy bị trúng đạn chết. Lê Văn Duyệt đốc binh tiếp theo, liều chết vượt khỏi tầm súng. Lê Văn Duyệt dùng hỏa công, lửa cháy rần rần theo gió tạt vào thuyền Tây Sơn. Gió thổi càng mạnh, lửa cất càng cao. Ánh sáng rực cả mặt biển, ngất cả nghìn dặm mây. Và tiếng súng nổ, tiếng quân la hét vang trời dậy đất, quân nhà Nguyễn bị chết vô số. Thuyền Tây Sơn bị đốt cháy không còn một chiếc. Võ Văn Dũng đại bại, kéo tàn quân lên hợp cùng Trần Quang Diệu giữ những nơi hiểm yếu khác. Nguyễn Phúc Ánh thấy đánh không nổi quân Tây Sơn để cứu thành Quy Nhơn, tuy đã chiếm được cửa Thị Nại, bèn kéo đại quân ra đánh Phú Xuân. Ngày 27 tháng 5, Trần Quang Diệu hạ được thành Quy Nhơn và thành Phú Xuân trước đó cũng lọt vào tay Nguyễn Phúc Ánh (ngày 3 tháng 5 năm Tân Dậu). Nghe tin quân Tây Sơn bị thua ở Nhật Lệ, Trấn Ninh Nguyễn Phúc Ánh hoàn toàn làm chủ đất Thuận Hóa, Võ Văn Dũng cùng Trần Quang Diệu đem 3 ngàn quân cùng 80 thớt voi, theo đường sạn đạo sang Lào để ra Nghệ An vào thượng tuần tháng 3 năm Nhâm Tuất (1802). Đường đi khó khăn, Lam Sơn chướng khí đầy dẫy, khiến cho đoàn quân càng ngày càng hao hụt. Lớp bị bệnh, lớp bị bọn thổ ty theo nhà Nguyễn tập kích, nên khi đến Nghệ An thì mười phần chỉ còn ba bốn. Đoàn tượng binh chỉ còn mươi thớt. Quân tướng hầu hết đều bị sốt rét rừng. Tại Hương Sơn, Võ Văn Dũng cùng Trần Quang Diệu và các tướng bị tướng nhà Nguyễn là Võ Doãn Văn, Lê Đức Định bắt sống. Ở Diễn Châu, Bùi Thị Xuân hay tin đem nữ binh đi giải cứu. Đến Giáp Sơn thì giải cứu được, nhưng chạy đến sông Thành Chương thì hai vợ chồng Trần, Bùi bị bắt trở lại. Một mình Võ Văn Dũng mở đường máu thoát chạy. Nhưng chạy đến Nông Cống, thuộc Thanh Hóa thì Võ Văn Dũng bị bọn Lê Văn Pháp, Phạm Ngọc Thụy kéo dân địa phương ra bao vây. Với một thanh đoản đao, Võ Văn Dũng đã đánh thắng hai tướng Lê, Phạm xong quá yếu sức vì gian lao đói khát, nên không chống lại đám đông, đành buông đao chịu trói. Bộ ba Dũng, Diệu, Xuân bị đóng cũi giải về Nghệ An. Dọc đường, Võ Văn Dũng phá cũi, thoát ra ngoài, ông giải cứu luôn cả hai vợ chồng Trần, Bùi song hai chân của Trần tướng quân bị sưng phù, không thể chạy trốn được. Bùi nữ tướng đành ở lại chịu chết cùng chồng. Một mình Võ Văn Dũng lặn lội suối đèo, ngày nghỉ đêm đi, sau nhiều tháng mới về đến quê hương. Trong đêm tối, ông ghé thăm nhà tại Phú Phong, đốt hương lên bàn thờ tổ tiên, rồi âm thầm ra đi. Ông lên sống tại các làng người dân tộc vùng cao trước kia đã từng một thời hợp tác với nhà Tây Sơn, mong có ngày gầy dựng lại cơ đồ. Các vùng núi Tây Sơn thượng đều lưu vết chân ông. Các thôn Đồng Phó, Hà Nhung thường là nơi ông lưu trú lâu nhất. Tại An Khê ông chiêu mộ được một số người dân tộc thiểu số, lấy hòn Hội Sơn ở Trinh Tường làm căn cứ quân sự. Do đó nhân dân địa phương cũng gọi hòn Hội Sơn là hòn Ông Dũng và gọi tắt là Hòn Dũng. Khi hợp tác cùng các sắc tộc vùng núi, Võ Văn Dũng ban đầu được sùng bái, sau lần lần vì thế lực của ông không có mà thế quyền Gia Long càng ngày càng vững mạnh, nên các sắc tộc vùng núi tỏ ý lơ là không muốn hợp tác nữa. Vì vậy, ông bỏ hẳn vùng Tây Sơn thượng trở về hoạt động ở vùng cận quê hương. Các vùng ven sông Côn như Tiên Thuận, Vĩnh Thạnh, Kiên Mỹ đều nằm trong phạm vi hoạt động của ông. Việc ông đứt đoạn với các sắc tộc vùng Tây Sơn thượng được nhân dân địa phương đưa vào ca dao: Củ lang Đồng Phó Đậu phụng Hà Nhung Chàng bòn thiếp mót bỏ chung một gùi Chẳng qua duyên nợ sụt sùi Chàng giận chàng đá cái gùi, chàng đi Chim kêu dưới suối Từ Bi. Nghĩa nhơn còn bỏ huống chi cái gùi. Đó là câu ca dao đã dùng thể tỷ nói về việc chung lưng đấu cật, về việc bất hòa giữa Võ Công và người dân tộc thiểu số. Để chuẩn bị cho một cứ điểm ẩn náu cuối cùng, Võ Công đã đi sâu vào vùng Lộc Đổng, Hầm Hô, tìm những hang động rộng rãi, kín đáo để chuẩn bị cho việc ẩn náu lâu dài. Trong khi hoạt động ở vùng Tây Sơn thượng, Võ Công đã có một thời đến sống trong rừng mộ điểu, nhưng sau thấy Cô Hầu không thiết tha đến việc phục hưng nhà Tây Sơn, nên ông đã đón hai con của vua Thái Đức là Văn Đức, Văn Lương và cháu nội là Văn Đẩu về ở trong binh trướng. Sau khi người dân tộc không còn hợp tác với ông và có âm mưu phản bội, ông đã đem ba chú cháu Văn Đức lên hòn núi Xanh ẩn náu. Năm Minh Mạng thứ 12 (1882), tưởng thời gian đã xóa đi các liên hệ tranh chấp, ba chú cháu Văn Đức về thăm quê hương ở Kiên Mỹ thì bị quan lại địa phương bắt giải về Phú Xuân, giết chết. Còn lại trơ trọi một mình, Võ Công sống một cuộc đời tiêu diêu tự tại, phiêu định nay đây mai đó. Võ Công mất ngày nào, tại đâu, không ai biết rõ. Chỉ biết là Võ Công sống được 90 năm, nhờ vào bài thơ Vịnh Võ Đô đốc của cụ Vân Sơn Nguyễn Trọng Trì, thì sau khi thoát nạn, Võ Công còn sống được 40 năm nữa. Bài thơ ấy như sau: VỊNH VÕ ĐÔ ĐỐC.Tạo vật khốn hào kiệt. Ý tưởng sử hữu vi. Công danh vị túc ngôn. Hoặc tác xuất thế ty. Võ công dũng quán quân. Bách chiến khởi Tây thùy. Thiên phương yểm trung nguyên. Đãi phi nhất mộc chi. Thoát thân tứ thập niên. Thế nhân thức công thùy. Đản kinh sơn thạch gian. Hữu thử hùng báo ty. Ngã diệc chí phương ngoại. Bạch đầu vị phùng sư. Niên niên hạnh phế phóng. Thảng toại giữ thế từ. Tùng công du Ngũ Nhạc. Khể thủ thốn linh chi. Kim cốt hoán lục tủy. Khiêm nhiên tùng đào phi. Nghĩa là: Tạo hóa làm khốn đốn kẻ hào kiệt. Ý muốn cho họ làm việc gì. Công danh không đủ nói. Hoặc giả bày ra cơ hội để họ thoát đời. Tài đánh dẹp của ông thật quán quân. Từ biên giới phía Tây nổi lên, trăm trận trăm thắng. Nhưng trời muốn dứt nửa chừng. Thì một cây không chống nổi. Thoát mình khỏi nạn ngót bốn mươi năm. Người đời ai biết ông?. Sống lâu ngày trong nơi núi chồng đá chất. Ông có tư thế mạnh như gấu như hùm. Tôi cũng có ý muốn xuất thế. Nhưng đã bạc đầu mà chưa gặp được thầy. Làm quan nay được đuổi về, năm năm rảnh rang. Muốn thoát khỏi cuộc đời. Theo ông đi dạo chơi khắp năm ngọn núi tiên. Cúi đầu ăn cỏ linh chi. Xương vàng đổi tủy xanh. Nhẹ nhàng bay lên nhánh tùng.