Tại Nam phần, có mấy lực lượng được coi như không theo ông Diệm, đó là một số đơn vị quân đội dưới quyền chỉ huy trực tiếp của tướng Hinh và các thuộc hạ thân tín, các quân đội giáo phái như Cao Đài, Hòa Hảo và quân đội Bình Xuyên.Ông Diệm và ông Nhu khôn khéo tách rời các lực lượng này ra, trước hết ông tìm cách làm cho hai lực lượng Giáo phái là Cao Đài và Hòa Hảo trở thành trung lập trong cuộc tranh chấp quyền hành giữa ông và Tâm Hinh. Tôi không rõ nhờ may mắn hay nhờ tài giỏi, ông Diệm đã lôi cuốn được một thành phần quân đội Cao Đài dưới quyền Trịnh Minh Thế. Việc đó được coi như một thành công lớn của ông. Ông yên tâm hơn, dựa vào những đơn vị quân đội trung thành với ông thanh toán Nguyễn Văn Hinh, Bình Xuyên và Lữ đoàn Ngự lâm quân.Về mặt chính trị, ông Diệm cho thành lập tại các tỉnh những ủy ban nhân dân cách mạng, và tại trung ương phong trào Cách mạng Quốc gia ra đời. Nhiệm vụ của tổ chức này là ủng hộ ông Diệm và hạ bệ Bảo Đại cùng bọn Tâm, Hinh.Nhờ có tổ chức và được sự ủng hộ của quần chúng, trong thời gian từ 1955 đến 1956, ông Diệm có thể nói đã nắm được quần chúng trong lúc những kẻ thù ông dần bị cô lập và vì làm tay sai cho Pháp một cách quá trâng tráo đã mất hết chính nghĩa, không có một hậu thuẫn quần chúng nào. Những chuyện đằng sau vụ truất phế Bảo Đại, đánh đuổi người Pháp, tôi không dám biết đến, và xin nhường cho các nhà chính trị nghiên cứu và phê phán.Vả lại lúc bấy giờ tôi chỉ chú ý đến một vấn đề di cư. Tôi cũng nghe nói đến sự giúp đỡ của Mỹ đối với ông Diệm trong thời gian này, không những chỉ về phương diện xã hội, như các khoản trợ giúp dân di cư mà thôi, mà còn nhiều về phương diện chính trị, ngoại giao quân sự nữa. Có một điều làm tôi ngạc nhiên là quân đội Pháp lúc bấy giờ đã phản ứng yếu ớt chiếu lệ đối với việc truất phê Bảo Đại và đuổi họ ra khỏi Việt Nam. Trong cuộc xung đột giữa ông Diệm và Tâm Hinh và Bình Xuyên, một cách có chừng vậy thôi, không lấy gì làm tích cực cho lắm. Tôi tin rằng đằng sau việc đó, tại những kinh đô lớn của các cường quốc, đã có một sự dàn xếp nào đó, hoặc là Pháp đã quá chán ngán chiến tranh Việt Nam và bây giờ không tha thiết đến việc bảo vệ địa vị của nước Pháp ở phần đất Việt Nam còn lại nữa.Nếu lúc bấy giờ quân đội Pháp chống ông Diệm ra mặt, không biết chuyện gì sẽ xảy ra, và dù ông Diệm có thắng cũng còn nhiều khó khăn, và còn đổ máu nhiều hơn nữa. Sau khi quân đội Pháp chấp nhận tập trung vào một vài vùng phái bộ quân sự Pháp rút lui thì người ta thấy Mỹ tăng cường phái bộ của họ: do tướng Harkins cầm đầu. Vai trò của phái vộ Mỹ càng ngày càng lớn, hoàn toàn thay thế phái bộ Pháp trong các công tác huấn luyện, cố vấn.Tôi phải công nhận rằng ông Diệm là một người có óc độc tôn, nếu chưa phải là độc tài. Ngay từ đầu ông đã cho rằng chỉ nên có một đảng duy nhất. Có lẽ ông cho rằng để chống lại cộng sản, thì phe quốc gia không thể rơi vào những hỗn loạn chính trị do chế độ đa đảng gây ra, cho nên ông không muốn tại miền Nam có trên hai đảng. Về mặt nổi, ông thành lập phong trào Cách mạng Quốc gia, và trong bề sâu của sinh hoạt chính trị ông dựng đảng Cần Lao Nhân Vị.Cái tinh thần độc tôn này được biểu lộ rõ rệt trong cách đối phó với các đảng phái quốc gia, tuy không hoàn toàn ủng hộ ông Diệm và chịu sát nhập vào phong trào Cách mạng Quốc gia của ông. Tôi còn nhớ một hôm tôi đang ở trong dinh, hình như khoảng đầu năm 1955 thì có một đoàn biểu tình kéo đến trước dinh. Đoàn biểu tình này do các cán bộ một đảng khá quan trọng lúc bấy giờ tổ chức, đó là phòng trào Tranh Thủ Tự Do của các ông Vũ Quốc Thúc, Bùi Văn Thinh.Tôi tưởng rằng thế nào ông Diệm cũng ra trước dinh tiếp đại diện của đoàn biểu tình, nhưng chuyện xảy ra trái với ý nghĩ của tôi. Ông Diệm đã ra lệnh đơn vị phòng vệ phủ Thủ tướng canh gác nghiêm mật rồi ông vẫn bình tĩnh ở trong dinh, cho đến lúc đoàn biểu tình chán nản tự giải tán. Sau đó ít lâu, Bùi Văn Thinh đang làm bộ trưởng Tư pháp được cho đi làm đại sứ tại Nhật Bản.Cũng trong thời gian này, phía bên Công giáo có một lực lượng chính trị khá quan trọng, là Tập đoàn công dân tôn giáo. Ông Diệm và ông Nhu không bằng lòng cho lực lượng này hoạt động, nhưng cũng hơi kẹt. Ông không muốn dùng các phương thức áp lực hay đàn áp. Một hôm ông Diệm nói chuyện với tôi:- Nước mình đang có quá nhiều mầm mống hỗn loạn. Theo ý tôi chỉ nên có một phong trào Cách mạng Quốc gia, và một đảng chính trị duy nhất là Cần Lao. Bây giờ có phong trào Tập Đoàn Công Dân do Đức cha Phạm Ngọc Chi lãnh đạo, tôi sợ rằng như thế không ích lợi gì. Tôi muốn nhờ cha nói với Đức cha Chi cho Tập đoàn công dân sát nhập vào phong trào Cách mạng Quốc gia, cha nghĩ sao?Tôi nhần ngại, thưa ông:- Tôi không biết chắc Tập Đoàn Công Dân có thực sự do Đức cha Chi lãnh đạo hay không, bởi vì về mặt công khai chúng ta không thể nói chắc Đức cha Chi lãnh đạo Tập Đoàn Công Dân. Trên danh nghĩa, Đức cha Chi không có chức vụ quan trọng gì trong tổ chức này cả. Hơn nữa tôi là một linh mục, lãnh việc đi thu xếp chuyện đảng phái cho cụ e không tiện. Chi bằng nhân dịp nào đó, cụ gặp Đức cha Chi thử nói chuyện này với ngài xem sao? Tôi nghĩ rằng nếu Đức cha Chi nhận thấy tình hình chính trị nước ta không nên có nhiều đảng, thì có thể ngài bằng lòng.Tôi được biết ít lâu sau, ông Nhu mới Đức cha Chi vào trong dinh nói chuyện, nhân một dịp Đức cha Chi vào Sài Gòn. Phong trào Tập Đoàn Công Dân bị giải tán và người ta thấy phần lớn các cán bộ cao cấp và các tổ chức hạ tầng của phong trào này gia nhập vào phong trào Cách mạng Quốc gia và đảng Cần Lao.Vì các đảng phái có thể trở thành đối lập bị thanh toán ngay từ đầu, và lại bị thanh toán bằng sức mạnh của chính quyền, chớ không bằng một cuộc đấu tranh chính trị nào, cho nên phong trào Cách mạng Quốc gia và đảng Cần Lao không có cơ hội thử thách để trưởng thành và trở thành một đảng chính trị đúng nghĩa của nó. Hai tổ chức này, xét kỹ chỉ là một bộ phận lệ thuộc của chính quyền ông Diệm. Nếu ông Diệm được coi là lãnh tụ đảng thì cũng chỉ vì ông đang là lãnh tụ quốc gia, chớ không phải vì ông được đảng bầu lân. Lề lối sinh hoạt đảng cũng được đồng hóa vào lề lối sinh hoạt của guồng máy chính quyền. Những cơ sở huấn luyện đảng, là những cơ sở chính quyền. Trong hầu hết các trường hợp, viên chức cao cấp nhất của chính quyền, tại một địa phương, hay một cơ quan nào đồng thời cũng là lãnh tụ địa phương của đảng. Như thế tổ chức đảng trở thành thừa và vô ích, cùng lắm nó chỉ có cáo ích lợi là nắm chắc được guồng máy chính quyền, đặt để hay ép buộc những người của chính quyền và của ông Diệm vào các địa vị then chốt trong quốc gia mà không gây được cơ sở hạ tầng vững mạnh bền bỉ trong quần chúng.Theo lề lối tổ chức và sinh hoạt như thế, bao giờ ông Diệm còn nắm chính quyền, thì đảng của ông có vẻ mạnh, nhưng chỉ là cái sức mạnh bề ngoài, sức mạnh lòe được kẻ non dạ, mù quáng, mà không bịp ai được. Lý thuyết nhân vị được dùng làm nền móng tinh thần cho Đảng và Phong Trào cũng vấp vào nhiều khuyết điểm không có sức sinh động mạnh để thu hút quần chúng, những căn bản triết lý của nó cũng còn quá mập mờ, vá víu, và không bắt nguồn từ những truyền thống sâu xa của dân tộc Việt Nam. Tôi không dám nói nhiều về chuyện này, và ngay lúc bấy giờ tôi cũng đã không có ý kiến gì về cái lý thuyết nhân vị, mặc dù khi du học tôi đã chọn ban triết và cũng đã nghiên cứu đôi chút về triết học. Đôi lúc ông Nhu có đề cập đến cái lý thuyết nhân vị với tôi, nhưng tôi cố tránh để khỏi có ý kiến. Riêng ông Diệm thì tôi thấy ông không quan tâm nhiều đến phần lý thuyết chính trị. Tôi cũng không được nghe ông bàn với tôi một lần nào về lý thuyết nhân vị. Ông chỉ nói đến những việc làm, những thực hiện cụ thể. Có một điều mà tôi có thể đồng ý, là một phong trào chính trị muốn vững bền cần phải có một nền móng tinh thần, và nền móng tinh thần đó nếu được đúc kết lại mạch lạc có thể thành một lý thuyết chính trị. Cho nên trong lúc tôi không thấy có gì hơn, tôi nghĩ rằng cái lý thuyết nhân vị, dù sao thì có vẫn hơn không. Ít ra nó giúp cho người hành động một vài tiêu chuẩn hướng dẫn và một vài cách thức biện hộ. Tôi cố tránh bình luận, chỉ trích là vì nghĩ như thế.Tôi muốn nhắc đến một trường hợp điển hình thứ hai chứng minh tính cách độc tôn của ông Diệm trong việc dàn xếp với các đảng phái, hoặc trong quan niệm của ông về sinh hoạt chính trị dân chủ. Trong khoảng thời gian sau 1954, tại Huế nhóm Lê Trọng Quát muốn thành lập một đảng chính trị lấy tên là đảng Cộng Hòa Xã Hội. Lê Trọng Quát có nói chuyện với tôi. Chủ ý của Quát là muốn đem đến sinh hoạt chính trị một sự hào hứng phấn khởi bằng cách tạo ra thế lưỡng đảng và như thế trong lúc đảng Cần Lao và phong trào Cách mạng Quốc gia đóng vai đảng nắm quyền thì đảng Cộng Hòa Xã Hội của Quát đóng vai đảng đối lập.Tôi nhận thấy chủ trương như vậy chẳng những rất hay mà còn cần thiết để xây dựng những lề lối và truyền thống dân chủ trong sinh hoạt chính trị quốc gia, cho nên tôi thấy có thiện cảm với chủ trương đó. Khi Quát trình bày với tôi, và nhờ tôi nói với ông Cẩn và ông Diệm cho phép Quát lập đảng và hoạt động công khai, mặc dù tôi ngại sẽ không được ông Cẩn, ông Diệm đồng ý, nhưng tôi cũng đến trình bày ý định của Quát cho ông Cẩn trước.Ông Cẩn chăm chú nghe, rồi cho tôi biết rằng về vấn đề này, ông Diệm và ông Nhu đã ra chỉ thị rõ ràng không cho phép bất cứ ai lập thêm đảng phái chính trị.Ông Cẩn cũng giải thích rằng chẳng phải là gia đình họ Ngô chủ trương độc tài chuyên chế, nhưng vì nhận thấy quan niệm đối lập của người Việt Nam mình thật là thô sơ và sai lạc, khi nói đến đối lập họ chỉ nghĩ đến việc cướp chính quyền bằng mọi cách, bất chấp hiến pháp luật lệ và những thủ tục dân chủ hợp pháp. Ông Cẩn đơn cử những trường hợp hoạt động đối lập của Đại Việt, Quốc Dân Đảng. Hai tổ chức này đã có lúc chống đối bằng võ lực, gây khó khăn cho chính quyền, chẳng ích lợi gì cho quốc gia dân tộc.Lúc bấy giờ tôi nhận thấy những lời giải thích này có phần đúng, vì trình độ ý thức chính trị của người Việt Nam còn thiếu sót nhiều lắm, các tổ chức chính trị lại đã quen hoạt động bí mật dưới thời chống Pháp, nên về chủ trương, đường lối cơ cấu tổ chức đều không thích ứng được với sinh hoạt chính trị công khai. Ông Diệm cũng còn nghĩ rằng lúc đó phải đối phó với cộng sản là một kẻ thù mạnh và nguy hiểm, ông không thể nào chịu thêm những hỗn loạn và xáo trộn chính trị trong nội bộ quốc gia.Ông Cẩn có nói với tôi về dùng lời khéo léo trình bày cho Quát, và khuyến khích các anh em đó nếu muốn tham dự vào sinh hoạt chính trị thì hãy gia nhập đảng Cần Lao và phong trào Cách mạng Quốc gia. Về sau hình như một số các anh em trong nhóm này đã theo lời khuyên đó.Những gì đúng cho lúc này không hẳn đúng vĩnh viễn. Cái chủ trương độc đảng của ông Diệm trong giai đoạn đầu có thể chấp nhận được, nhưng về sau khi đã củng cố được quyền hành tôi mong ông Diệm mềm dẻo hơn đối với các tổ chức chính trị, cho phép hoạt động đối lập chính trị công khai và hợp pháp, nhưng đã không có dịp nào đề cập đến vấn đề này với ông Diệm. Vả lại càng về sau thì quyền hành thực sự của ông Nhu càng lớn lên mà ông Diệm thì ít chú ý đến, chỉ lưu tâm đến các vấn đề thiết thực, và một trong vấn đề thiết thực đó là vấn đề văn hóa, giáo dục.