Sau hiệp định Genève tất cả dường như đã trượt qua tay Bảo Đại. Sự chia cắt Việt Nam ở vĩ tuyến trở thành hiện thực. Thủ tướng Ngô Đình Diệm vừa được ông bổ nhiệm, không tuân lệnh ông, gạt bỏ ông, xem ông như một phần tử không đáng kể.

Hiệp định Genève vừa mới ký kết được một tháng sau cựu hoàng nghĩ đến trở lại Sài Gòn hay Đà Lạt, hai nơi nầy nằm trong vùng “tự do” do Việt Minh trao lại. Ông muốn lập lại trật tự, khẳng định đường lối chính trị của ông, nhanh chóng ngăn chặn cái rất giống như một âm mưu.

Cựu hoàng Bảo Đại, như suốt thời gian đất nước trải qua các cuộc khủng hoảng suốt tám năm qua, vẫn ở Cannes, trong tư dinh của ông. Một dinh thự hơi hoang vắng kể từ khi ông không còn được may mắn về chính trị nữa.

Cuộc chiến tranh bẩn thỉu ở châu Á đã kết thúc. Một cuộc chiến tranh khác bắt đầu, gần nước Pháp hơn, ở phía bên kia Địa Trung hải, ngày càng hiện diện rõ hơn trong tâm trí người Pháp, vì có sự tham gia của một lứa quân dịch. Thế nhưng thành phố Cannes chưa bao giờ lại vui như thế. Thiên hạ đổ đến các bãi tắm ở Croisette hay La Napoule.

Ngày tháng năm , cơ quan an ninh phân tích tình hình lần cuối cùng trước ngày ông có thể trở về. Báo cáo viết: “Lần nầy không có vấn đề nghi thức đón tiếp long trọng. Đây là cơ hội cuối cùng của cựu hoàng”. Khi tham khảo ý kiến các nơi, có người đặt thẳng vấn đề: “Tại sao Quốc trưởng không phản ứng gì trước thái độ của Pháp tại hội nghị Genève. Người Pháp không thèm hỏi ý kiến phái đoàn Việt Nam”. Về phía người dân thường, theo kết luận của tất cả nhân viên mật vụ, họ hoàn toàn thờ ơ trước sự đi đi về về của Bảo Đại”. Tệ hơn nữa, một số người nhấn mạnh “Này tín của ông, sau mấy năm trị vì, ngày càng sa sút, đánh dấu bằng hàng chuỗi thất bại dẫn đến hội nghị Genève, tại đó chính nghĩa quốc gia đã bị nhạo báng”. Hoặc trắng trợn hơn, “cuộc sống xa hoa đồi truỵ của Cựu hoàng đã gây nên sự khinh nhờn. Hậu quả là sau hiệp định Genève người Việt Nam đã vô cùng tức giận trước sự thất bại toàn diện của đường lối chính trị của ông. Họ nói: Quốc trưởng chỉ lợi dụng cuộc trở về nầy để thu vén tài sản của mình chứ không phải để ra những quyết sách mà tình thế hiện tại đòi hỏi”.

Như mọi lần, mỗi khi Bảo Đại bị công kích mạnh thì tên tuổi Bảo Long lại trỗi dậy. Một số người bình luận: “Việc phát hành những con tem mang biểu trưng của hoàng tử báo trước sự thoái vị của Bảo Đại nhường quyền cho một hội đồng nhiếp chính…”.

Được cảnh báo về sự lên án của thần dân, Cựu hoàng từ bỏ ý định về nước. Ông ở lại Cannes. Bất lực, có lẽ tức phát điên, ông theo dõi từ xa những sự kiện đã xoá bỏ chế độ của ông. Lần đầu tiên, ông thấy mình cô độc Không còn là người của Pháp, không phải của Nhật, cũng không phải của Mỹ. Lần nầy ông chỉ đại diện cho chính ông và bạn hữu. Thực tế, rất ít người ủng hộ ông lúc nầy.

Con người thấp lùn không thò đầu ra ngoài cửa sổ. Thế nhưng không một thành viên nào của chính phủ của ông giấu được vẻ tò mò. Tất cả nhìn đám đông dòng người biểu tình cuồn cuộn chảy về trung tâm Sài Gòn.

Bây giờ đoàn biểu tình đã lên tới khoảng ba, bốn nghìn người diễu quanh nhà thờ bằng gạch hồng rồi đổ xuống phố Catinat. Họ la hét, hô khẩu hiệu trước con mắt bình thản, thờ ơ của quân đội quốc gia. Con người thấp lùn đứng một mình trong Văn phòng rộng lớn của thủ tướng. Ông không ưa sự xa hoa phô trương xung quanh. Ông thích một căn phòng mộc mạc. Một căn phòng dáng vẻ khắc khổ chỉ có một chiếc giường nhỏ, không có ghế bành, không trải thảm, không trang trí. Không có gì khác ngoài một cây thập tự, có lẽ cũng là cây thập tự đã treo trên tường trắng ở Huế năm .

Bên ngoài, những người tham gia biểu tình tuần hành đã đi qua cửa khách sạn Continental. Một chiếc quan tài sơn đen được đám đông khiêng trên tay tượng trưng cho vai trò của cựu hoàng Bảo Đại đã chấm dứt hẳn. Không một ai phản đối khi đoàn người diễu qua, và cũng chẳng ai dám lên tiếng. Những bà bán cháo, không. Những chú bé bán báo, không. Những cô gái làng chơi lượn lờ quanh những tiệm nhảy từ rất sớm, cũng không một lời phản đối. Nhiều người đoán già đoán non: làn sóng tiết hạnh đang trùm lên đô thành Nam phần chắc sẽ cuốn sạch bọn đĩ điếm nầy. Ông Diệm, người được coi như thánh – Savonarole (thánh dòng tu Đôminích bị rút phép thông công và thiêu sống) của Việt Nam – sẽ giữ vững quyền lực, và họ, những người sống về đêm, không phải là bạn của ông.

Đi xa hơn nữa, cũng trong cuộc diễu hành ngày tháng đó trong đám diễu hành, một hình nộm đeo kính đen to tướng được dòng đi giữa đám đông huyên náo nhạo báng. Cuối cùng hình nộm được đặt vào quan tài đem chôn như thật trong sự hoan hô của dân chúng.

Nhiều người khác mang những lá cờ vẽ chàn dung Bảo Đại lố bịch và dị dạng. Ngay sáng hôm đó, dân Sài Gòn cũng thấy xuất hiện những những áp phích kỳ dị mang hình ảnh cựu hoàng. Không phải là chân dung quen thuộc, uy nghiêm, đáng kính mà là những biếm hoạ miêu tả một nhân vật kếch xù, vã mồ hôi, lê lết, nằm dài, xảo quyệt, vụng về cục mịch xấu xí hết chỗ nói. Khi đám tang giả kết thúc, đám đông đi theo họ đốt hết những biểu ngữ, áp phích khẩu hiệu vun thành một đống lớn, cháy đùng đùng giữa đường phố ngay bên bờ sông.

Dửng dưng, luôn bình tĩnh, thủ tướng mới tiếp các cố vấn của ông, nghĩa là các em trong gia đình ông. Không có họ, ông chẳng quyết định được gì. Họ có mặt đông đủ trừ một người, bị cách mạng trừng trị năm ở Huế, được thay thế bằng một tấm ảnh chân dung to tướng treo cao trên tường ngự trị phòng họp, bên cạnh một tấm ảnh nhỏ hơn, ảnh cựu Hoàng hậu Nam Phương.

Mặc dù những lời nguyền rủa và thoá mạ của chính quyền mới đối với cựu hoàng Bảo Đại, bà Nam Phương vẫn tiếp tục quan hệ với ông chủ mới của chế độ Sài Gòn. Đó là thời kỳ của một kịch bản được dựng lên không biết lần thứ mấy nhằm một lần nữa đưa Bảo Long lên đứng đầu vương quốc, với Ngô Đình Diệm làm thủ tướng chính phủ. Hoặc với sự nhiếp chính của Nam Phương… Một mớ lý lẽ hỗn tạp muôn thuở đã thất bại khi triều đại (phong kiến) đã sụp đổ. Diệm là con quan, bản thân cũng là quan lại, người triệt để tôn trọng pháp chế, rất sợ xoá bỏ nền quân chủ. Một năm trước đây, trong đại hội các đảng quốc gia họp ở Sài Gòn, chính ông đã bảo vệ một kiến nghị đưa Bảo Long lên ngôi và Nam Phương làm nhiếp chính. Cả hai đều có chung một đức tin, đều thờ Chúa và cả hai tưởng như đã có thể hiến dâng cả đời mình cho sự nghiệp ấy.

Gia đình họ không còn quan trọng như những người của Nhà thờ. Ông Diệm rất bất bình về cách cựu hoàng đối xử với vợ ông ta cảm thấy gần gũi với bà Nam Phương, tỏ ra thông cảm với tính nghiêm ngặt của bà về đạo đức và tín ngưỡng, rất xa lạ với tính dễ dãi khoan dung quá mức và khao khát lạc thú của Bảo Đại.

Trên bàn làm việc, một chiếc bàn đồ sộ của Thủ tướng, bức thư được đặt khá nổi bật trên một tấm lót tay tô hình con rồng và biểu trưng An Nam. Một tờ giấy trắng đơn giản ghi rõ biểu trưng của Cựu hoàng Bảo Đại.

Diệm đọc lại bức thư một cách chậm rãi: “Ông được tôi chọn để điều khiển một chính phủ đoàn kết dân tộc. Mặc dù đã có chỉ thị của tôi, ông đã góp phần gây phương hại đến quan hệ thân hữu với nước Pháp và đẩy nhân dân Việt Nam vào tình trạng nội chiến. Tham vọng của ông đã làm đổ máu nhân dân vô tội. Lẽ ra phải hành động như một nhà chính khách, ông đã đem lại tai hoạ cho đất nước. Vậy ông phải rời ngay Sài Gòn trong chuyến bay sắp tới, sang báo cáo với tôi về tình hình hiện tại”().

Như vậy Bảo Đại đã cách chức ông, chỉ bằng một vài chữ. Con người thấp lùn, thường được mô tả như một người bảo thủ cứng rắn và lạnh lùng, nước mắt rưng rưng(). Bây giờ thời thế đã thay đổi rồi, ông ta sẽ không ra đi thất bại, gần như ô nhục như năm . Không có vấn đề lại trở vào bóng tối và chịu khuất phục.

Ông cự tuyệt mệnh lệnh của Quốc trưởng nhưng, không vò nát lá thư. Ông không thuộc loại người như thế. Ông đặt nhẹ nhàng xuống bàn. Những lời quở trách của Quốc trưởng chẳng quan trọng gì đối với ông. Quyền lực trong tay ông. Bảo vệ ông và cũng giám sát ông, có tám trăm cố vấn Mỹ cùng với vũ khí và tiền bạc. Cựu hoàng không đáng đếm xỉa đến nữa. Việc cách chức ông ta vừa tuyên bố chỉ đẩy nhanh việc loại trừ ông ta khỏi cuộc chơi chính trị ở Việt Nam.

Trong dinh thự riêng của ông ở Cannes – trụ sở của cái chính phủ “trò hề” – Bảo Đại, ra tuyên bố không tín nhiệm thủ tướng Ngô Đình Diệm, quá gắn bó với quyền lợi của người Mỹ, kêu gọi hoà hợp với Việt Minh. Một chủ trương không ai đồng tình. Paris, nhất là Washington phản đối. Bản tuyên bố viết: “Tôi không muốn để đồng bào bị lôi kéo lâu hơn nữa vào con đường chỉ có thể dẫn đến phân liệt, đến chiến tranh, hơn nữa có thể lôi kéo các nước vào một cuộc chiến tranh toàn cầu mới. Chính phủ hai miền phải cố gắng giảm bớt đối kháng, thậm chí có thể thật thà hợp tác trong một số lĩnh vực vì lợi ích tối thượng của tổ quốc, phải được đặt lên trên lợi ích riêng của mỗi miền [...]. Nếu chính sách của ông Diệm cứ tiếp tục, chắc chắn nó sẽ làm cho Việt Nam đã chịu quá nhiều thử thách không được hưởng lợi ích của hoà hoãn quốc tê. Chính sách ấy còn có nguy cơ làm hại đến hoà bình toàn thế giới”.

năm sau đọc lại bản tuyên bố của Bảo Đại người ta thấy những lời cảnh báo của ông có tính dự báo một cách lạ thường. Ông ít khi sai lầm. Từ thông điệp gửi tướng De Gaulle năm , đến công hàm ngoại giao gửi các đại diện của các cường quốc mười năm sau, ông đã nhận định đúng. Trong thần thoại Hy Lạp, Cassandre tuy bất lực nhưng đã tiên đoán một cách sáng suốt những tai hoạ sẽ xảy ra trên đất nước.

Ông tiếp tục bị bỏ rơi. Hội đồng hoàng tộc họp ở Huế, vắng mặt bà Hoàng Thái hậu Từ Cung, tuyên bố phế truất Bảo Đại khỏi cương vị Quốc trưởng. Ông còn bị cấm không được lấy danh nghĩa hoàng gia và sử dụng tước hiệu Hoàng đế().