Tại Sài Gòn, Diệm phủ nhận toàn bộ giá trị của hiệp định Genève. Ngay tức khắc, vị thế của ông được đưa lên cao hơn hẳn các tiền nhiệm. Muôn thuở là đối thủ đồng thời là đồng loã của Bảo Đại, từ lúc còn trẻ, ông đã lận đận trong chốn quan trường chậm bước trên các bậc thang quyền lực. Giờ đây thời thế đã đến với ông trên tột đỉnh vinh quang. Ông phải tận dụng. Một cách hăng hái và điên cuồng dồn nén suốt hai mươi ba năm.

Trái với Bảo Đại, ông thâm thù người Pháp. Dai dẳng từ lâu, từ khi cha ông, Ngô Đình Khả, đại nội đại thần triều Thành Thái đã đứng về phía Nhà vua khi ông nầy bị người Pháp phế truất năm .

Ông theo Công giáo và là một con chiên ngoan đạo. Ông đã phụng sự Chúa trong bốn năm tại một tu viện ở Hoa Kỳ trước khi về nước cầm đầu nhóm quốc gia “cứng rắn” và đứng đầu chính phủ. Ở Hoa Kỳ ông đã gặp nhiều nhân vật chính trị và nhất là đã nhận được sự ủng hộ của Hồng y giáo chủ Spellman nổi tiếng. Chính Foster Dulles, ngoại trưởng Hoa Kỳ đã áp đặt việc bổ nhiệm Diệm làm thủ tướng thay Bửu Lộc.

Ngay sau khi nhậm chức, Diệm và gia đình đã xác định lập trường chống cộng sản, nhưng trước hết là gạt bỏ tất cả những ai đã làm việc với Bảo Đại. Thoạt đầu là các giáo phái Hoà Hảo, Cao Đài rồi cuối cùng là lực lượng Bình xuyên. Các tướng lĩnh trong quân đội trung thành với Bảo Đại đều bị bãi chức. Cuộc thanh trừng diễn ra không suôn sẻ. Tướng Nguyễn Văn Hinh tổng chỉ huy quân đội không chấp nhận về vườn doạ đảo chính. Đằng sau ông ta là phần lớn quân đội bao gồm hàng trăm ngàn người. Bảo Đại phải thuyết phục ông ta nghe theo lẽ phải, từ bỏ một hành động có thể chia rẽ quân đội. Cuộc đảo chính đã không xảy ra.

Trở thành con người hùng độc nhất ở Sài Gòn, Diệm tha hồ tự do hành động.

Từ đây, khép mình trong lâu đài Thorenc nổi tiếng ở Cannes, gia đình Bảo Đại hàng ngày phải nghe những lời nguyền rủa đầy hận thù phát ra từ Sài Gòn dưới chế độ độc tài Ngô Đình Diệm. Báo chí mở chiến dịch tố cáo mạnh mẽ cựu hoàng làm giàu nhanh chóng, sống xa hoa nhiễm nhiều thói hư tật xấu.

Tại Sài Gòn những phe nhóm ủng hộ Bảo Đại bị quét sạch. Kể cả các giáo phái cũng bị người cầm đẩu chính phủ gạt bỏ. Một lần nữa, những cuộc đụng độ đẫm máu nổ ra ngay trên đường phố Sài Gòn, lần nầy là giữa những người trong cùng một phe. Ác liệt nhất là những trận giao chiến giữa lực lượng ủng hộ Diệm và phe Bảy Viễn. Tên trùm băng cướp nầy trung thành với Bảo Đại vẫn nắm lực lượng cảnh sát đô thành, vẫn kiểm soát được khu dân cư Sài Gòn – Chợ Lớn, những sòng bạc và nhà thổ. Diệm là con người trọng tiết hạnh, không thể chấp nhận mãi đám quân tự trị và hơn nữa hoàn toàn vô đạo. Bị quân Diệm tấn công, Bảy Viễn và quân Bình Xuyên cố thủ trong tổng Nha cảnh sát, cố kéo dài cuộc cầm cự. Quân Diệm phải dùng đến moóc-chi-ê và xua lũ lính dù liều chết xông vào mới chiếm lại được Tổng Nha cảnh sát và đánh bật quân Bảy Viễn ra khỏi đô thành. Tàn quân Bình Xuyên lui về căn cứ của họ ở Rừng Sác, cách thành phốvài kilômét.

Mang danh Quốc trưởng, Bảo Đại vẫn ru rú ở Cannes. Ông phái một tướng về Sài Gòn để cố chấm dứt cuộc nội chiến. Vừa về đến sân bay Tân Sơn Nhất, viên tướng sứ giả bị bắt ngay lập tức.

Rút cuộc thì Diệm thắng. Nhờ vũ khí và tiền bạc của Mỹ, ông thu phục được các giáo phái. Cuộc Tổng tuyển cử đề ra trong hiệp định Genève được hoãn vô thời hạn. Nước Việt Nam bị chia cắt làm đôi.

Vấn đề còn lại là củng cố chế độ mới. Khó mà duy trì Quốc trưởng đối đầu công khai với Thủ tướng Nội các.

Phải chấm dứt vai trò của Quốc trưởng của Bảo Đại, từ lâu đài ở Cannes vẫn ra rả những lời nguyền rủa dữ dội chủ nghĩa biệt phái của Diệm.

Diệm đề nghị một cuộc trưng cầu ý dân. Nhân dân miền Nam Việt Nam sẽ lựa chọn. Hoặc đi với Diệm tiến hành chiến tranh chống cộng, hoặc hoà hợp với Việt Minh như chủ trương của Bảo Đại. Mỗi cử tri được nhận một lá phiếu gồm hai phần. Một có hình của Diệm với ghi chú: “Tôi phế truất Bảo Đại và công nhận Ngô Đình Diệm làm Quốc trưởng Việt Nam với sứ mệnh thiết lập một chế độ dân chủ”. Phần kia với nội dung ngược lại.

Cuộc trưng cầu dân ý trở thành một cuộc bỏ phiếu toàn dân cho Diệm. Rất quan trọng, hơn ,% phiếu bầu cho Diệm. Rõ ràng là có gian lận. Trong thành phố Sài Gòn Diệm được sáu trăm năm mươi nghìn phiếu ủng hộ, trong lúc trong các danh sách cử tri chỉ gồm có bốn trăm năm mươi tư nghìn người đăng ký.

Lần nầy thế là hết hẳn. Hết cuộc sống đế vương, chôn vùi mọi ảo tưởng ngai vàng. Thông qua chính quyền Diệm người Mỹ chỉ huy cuộc chiến tranh. Toàn bộ tài sản Bảo Đại vơ vét được sau khi về Việt Nam đều bị tịch thu. Chiến dịch báo chí vẫn tiếp tục. Chính Bảo Long cũng bị lên án là đã “bao” cả một bầu đoàn thê thiếp.

Màn đã hạ, không một lời cáo biệt, không để lại một bức ảnh nào. Bảo Đại lặng lẽ ra đi. Như chui xuống lỗ, như nhảy xuống vực. Dường như ông thích như vậy.

Không phỏng vấn, không bình luận lúc nầy, lúc khác như các ông vua bị hạ bệ thường làm. Không có cả những cuộc tiếp xúc hẹp với đồng bào. Hồ sơ của các báo, kho lưu trữ của các cơ quan mật vụ hay các bộ đều không để lại hồ sơ nào về phản ứng của Bảo Đại. Nhân chứng hiếm hoi. Cứ như ông ta đi trốn, tránh mặt các nhà báo, không trả lời ai, làm như chết rồi.

Quốc gia Việt Nam của Bảo Đại thế là sụp đổ tan tành. Hình ảnh về đôi giai nhân tài tử lúc nào cũng cặp kè bên nhau trong những chuyến du ngoạn, những cuộc tiếp tân long trọng biến mất. Tất cả đều bị cuốn theo sự thất bại của ông. Từ nay họ không phải giả vờ sống hoà thuận với nhau, che đậy sự rạn nứt đã làm ông bà ly thân thật sự đã mười năm nay.

Ông là người thua cuộc, như nước Pháp rời bỏ châu Á trong lúc hàng nghìn người Công giáo rời bỏ miền Bắc di cư vào Sài Gòn.

Bảo Đại tiếp tục cuộc sống mờ nhạt ở Cannes. Ông đã bắt đầu chắt chiu, giảm bớt mọi chi tiêu hào phóng, hạ thấp mức sống của ông, cho thôi việc những người Việt Nam làm việc ở lâu đài Thorenc, như không muốn sáng sáng, gặp lại những bộ mặt của quá khứ. Cho thôi việc cả ông Nguyễn Tiến Lãng, người đã bị chính quyền cách mạng giam cầm một thời gian, rồi đi kháng chiến, làm việc dưới trướng tướng Nguyễn Sơn ở quân khu Bốn, rồi chạy về vùng chiếm đóng, theo ông cho đến những ngày tàn tạ. Cho thôi việc cả những tổng lý văn phòng, quan hầu cận và vài người khác. Còn lại mấy gia nhân, hầu hết là người địa phương Cannes, dĩ nhiên là có lái xe, người làm vườn và hầu phòng.

Hoàng đế bị phế truất sống phần lớn thời gian ở Alsace. Chính tại đây ông cảm thấy như được bù lại những ngày sống ở trang trại Buôn Ma Thuột. Ông không bỏ được thú đi săn bắn. Đối với ông đó là một nhu cầu thiết yếu, như thú đánh bạc. Nhu cầu đàn bà cũng vậy.

Jean de Beaumont, cựu nghị sĩ của xứ thuộc địa Nam Kỳ xưa kia, con người niềm nở với ông năm , sau chiến tranh về sống ở Cannes đã giúp Bảo Đại tìm hiểu địa phương.

De Beaumont lúc đó được coi là một trong những tay thợ săn xuất sắc của nước Pháp. Ông cũng có một khu đất trong một thị trấn bên cạnh.

Bảo Đại thuê một mảnh đất một nghìn năm trăm hecta cạnh làng Epshtein. Ông xua muông thú xung quanh vào đó để săn, nhưng khó hơn là săn các con bò rừng hay hươu ở Buôn Ma Thuột. Mỗi chuyến đi săn có kết quả cũng bắn được năm hay sáu con vật là bình thường. Không có hổ, không có voi nhưng có chim trĩ, thỏ rừng, sóc…

Ông thay đổi nhiều. Vóc dáng gầy hơn, tính cách kiên quyết hơn. Ông nói ông đang sống một cuộc đời ẩn dật để tự do suy nghĩ, xa lánh các cuộc giao du với giới thượng lưu.

Một số bài báo hiếm hoi thuật lại cuộc sống nông thôn của ông, mô tả một biệt thự hiện đại của ông ở Gerstheim, bên bờ sông Rhin. Một mình không đầy tớ, ông dùng bữa tại nhà một người hầu cận cũ, ở gần đó.

Đó là một hạ sĩ quan Pháp nổi tiếng ở Đông Dương tên là Rochereau(), có vợ làm thư ký riêng. Bà nầy có dung nhan khá đẹp, được mọi người kính mến.

Bảo Đại còn cho xây dựng một ngôi nhà nhỏ khác ở giữa rừng Krafft, làm chỗ gặp gỡ bạn gái trong các cuộc săn. Đó là mấy cô diễn viên, đông đảo các cô gái trẻ, thường là người châu Âu. Họ lưu lại dăm ba ngày, một vài tuần rồi ra đi không trở lại.

Có những lần Bảo Đại vắng mặt các cô vẫn ở lại đó, dùng bữa tại gia đình Rochereau.

Ông không muốn nhắc đến Đông Dương và dường như trong những năm đó muốn xoá đi tất cả.

Ông đọc sách, đi săn và lại đi săn nữa. Thường là một mình với đàn chó săn năm con thuộc giống lông ngắn. Ông để chúng đi trước, sục sạo các bụi cây. Ông hay cưỡi ngựa chạy dọc ngang trang trại của mình. Một con ngựa đẹp mang từ Việt Nam sang. Nhưng bây giờ con vật chỉ còn được những người hàng xóm trong làng chăm sóc. Họ ngạc nhiên thấy nhiều phụ nữ trẻ, đẹp đi đi, về về với ông.

Cuối cùng cũng chẳng còn cảnh sát bám theo ông khắp nơi như ngày đầu mới đến đây. Người ta nói: ông không muốn nghe nói tới sòng bạc, hộp đêm.

Tuy nhiên thỉnh thoảng ông vẫn về Cannes. Vẫn đánh bạc, và thua đậm. Luôn có mặt tại các sòng bạc ở Palm Beach, đến mức năm sở thuế và cơ quan giám sát sòng bạc phải mở cuộc điều tra về ông. Người ta không biết thế nào mà ông có thể thua bạc nhiều như thế trong lúc chẳng có nguồn thu nhập nào.

Ông mang công mắc nợ nhiều. Thuế thổ trạch của lâu đài Thorenc từ lâu chưa có tiền nộp. Chính phủ Pháp không còn trợ cấp những món tiền kha khá như những năm . Không còn kiếm chác qua những vụ chuyển tiền từ Đông Dương sang Pháp như trước. Sòng bạc Đại Thế giới ở Sài Gòn đã bị ông Diệm, con người tiết hạnh đóng cửa vĩnh viễn.

Tuy nhiên cựu hoàng hãy còn giàu có. Một tài khoản đáng kể gửi ở ngân hàng Thuỵ Sĩ, một ngôi nhà ở Florence, một bất động sản ở đại lộ Villiers. Trông ông có vẻ uể oải, hay đãng trí. Tại sao ông còn ở lại Pháp, cái nước Pháp đã phản lại ông, nhạo báng ông? Chẳng bao lâu sau đó, ông phải bán lâu đài Thorenc. Một người dân ở Cannes đề xướng rồi chính hắn đã mua toà lâu đài nổi tiếng nầy và giải quyết xong xuôi mọi việc trong khi ông vắng mặt. Ông vẫn tiếp tục say mê săn bắn. Ông không đi chơi xa nữa, hình như dứt khoát muốn quên những vết thương của mình trên những luống cày ở Alsace. Ít lâu sau ông lại tiếp tục bán dần tài sản còn lại để có tiền chi tiêu. Ông ít nói, đứng ra ngoài cuộc chơi chính trị và lạc lõng chứng kiến sự suy sụp của đất nước mình.

Vào những năm , cuộc khủng hoảng Đông Dương bước vào giai đoạn cực kỳ sâu sắc. Ngô Đình Diệm chết hụt nhiều lần, khi thì suýt chết vì các tay súng ám sát của Việt Minh trong một chuyến đi thị sát Buôn Ma Thuột, khi thì thoát nạn khỏi vụ ném bom trúng dinh Độc Lập của hai phi công trong quân lực Việt Nam cộng hoà Phạm Phú Quốc và Nguyễn Văn Cử, người ta dự cảm những biến cố lớn sắp xảy ra ở Sài Gòn. Theo nhà báo Tường Hữu, trước tình thế lúc bấy giờ, Bảo Đại lại có ảo tưởng vận may lại sắp đến để ông có thể xuất hiện trở lại trên chính trường miền Nam. Tại Paris ông Nguyễn Văn Chi tuỳ viên báo chí bán chính thức của toà Tổng đại diện Việt Nam Dân chủ Cộng hoà tại Pháp đã đến thăm dò phản ứng của Bảo Đại. Hai bên cùng thảo luận về khả năng Bảo Đại sẽ ra một bản tuyên cáo được công bố nhân dịp Tết Quý Mão () kêu gọi Mặt trận dân tộc giải phóng miền Nam và chính phủ Diệm thương thuyết để tái lập hoà bình tại miền Nam Việt Nam. Ông Chi nhấn mạnh cho Bảo Đại hiểu rõ là không nên nuôi những ảo vọng và nếu trong tương lai Bảo Đại được mời nhận một nhiệm vụ mới, thì trách nhiệm nầy sẽ khó khăn chứ không đem lại lợi lộc. Bảo Đại đáp lại là ông nhận thức được những hy sinh lớn mà người ta chờ đợi ở ông. Tình hình đã đối thay, nên những người cộng sự của Bảo Đại lần nầy sẽ phải là những con người liêm khiết. Bảo Đại cũng cho biết là có nhiều nhân vật Mỹ đã đến gặp ông để tìm kiếm một người sẽ thay thế Ngô Đình Diệm và trong số nầy có ông Averell Harriman, và ông muốn chờ xem tình hình sẽ biến chuyển ra sao(). Người ta nhớ lại, năm , Tổng thống Pháp De Gaulle, trong dịp đi thăm Campuchia, đã long trọng đòi “nước ngoài” chấm dứt can thiệp quân sự vào miền Nam Việt Nam, mọi giải pháp phải dựa trên nguyên tắc tôn trọng độc lập, thống nhất và trung lập cho miền Nam Việt Nam. Pháp đã kín đáo chuẩn bị lá bài Trần Văn Hữu làm thủ tướng thay Ngô Đình Diệm và Bảo Đại có thể trở lại làm Quốc trưởng. Sau nầy mọi người đều biết chính Ngô Đình Diệm trong thời gian nầy đã tìm cách thăm dò chính quyền Việt Nam Dân chủ Cộng hoà tại Hà Nội thông qua đại sứ Maneli, Trưởng đoàn Ba Lan, trong Uỷ ban quốc tế về giám sát đình chiến và thi hành hiệp nghị Genève, một việc mà cách đó tám năm (), Diệm cương quyết khước từ(). Có thể vì muốn ngăn chặn mọi cuộc vận động hoà bình của Diệm, ngăn chặn xu hướng trung lập hoá miền Nam đang nảy nở ở miền Nam Việt Nam và trên thế giới mà Mỹ đã quyết định thay ngựa giữa dòng, bày trò đảo chính để thủ tiêu anh em Diệm, Nhu… Thấy tình hình không thuận lợi nên Bảo Đại cũng bỏ luôn gợi ý của ông Nguyễn Văn Chi, dứt khoát rời khỏi chính trường.