Hình như trong đời các bậc anh hùng bao giờ cũng thấp thoáng hình bóng một người đàn bà đẹp. Yamamoto cũng không thoát khỏi thông lệ đó, và đã bị tiếng sét ái tình vì một nàng kỹ nữ (geisha) tuyệt đẹp. Sau khi dự hội nghị Luân Ðôn về, Yamamoto được mời tham dự nhiều bữa tiệc mừng. Một trong những bữa tiệc ấy bao gồm các kỹ nữ tại một khu ăn chơi sang trọng. Trong buổi tiệc ấy có cả Kikuji, một kỹ nữ trẻ đẹp nổi tiếng nhất Ðông Kinh. Kikuji đang hầu tiệc và trông thấy Yamamoto lúng túng không mở được nắp một chén cháo, vì bàn tay bị cụt mất mấy ngón. Nàng vội chạy lại, cúi chào và đưa tay mở nắp chén cháo dùm Yamamoto. Yamamoto vốn rất nhạy cảm vì mấy ngón tay cụt và cảm thấy hơi bất lực phải nhờ một người con gái giúp đỡ nên ông nổi giận, và sẵng giọng lên tiếng bảo Kikuji tránh ra để mặc ông. Chưa có ai dám lớn tiếng với Kikuji như thế, vì nàng là một kỹ nữ nổi tiếng nhất Ðông Kinh, ai cũng phải chiều chuộng để lấy cảm tình của nàng. Dĩ nhiên Kikuji cảm thấy bị xúc phạm, nàng đứng lên, bỏ bữa tiệc ra về ngay. Vài ngày sau, trong một bữa tiệc khác của hải quân, Yamamoto có dịp gặp lại Kikuji. Kikuji được mời tới đàn hát giúp vui cho bữa tiệc. Lần này một sĩ quan hải quân trịnh trọng giới thiệu Kikuji với Yamamoto: "Ðây là người sẽ trở thành một đô đốc vĩ đại nhất của Nhật Bản. Xin cô hãy chiều tiếp ông ta." Kikuji lạnh lùng nhìn Yamamoto và trả lời: "Vậy hả? Nhưng đối với tôi thì ông ta không khác gì một tên nhà quê." Yamamoto không những không phật lòng vì lời nói khiếm nhã của Kikuji, mà trái lại ông còn thích thú nữa, vì ông vẫn tự nhận là "một tên nhà quê" hoặc "một thủy thủ tầm thường". Yamamoto ha hả cười vui thích khiến Kikuji cũng phải khúc khích cười theo. Ðấy là khởi đầu của một thiên tình sử lâu dài giữa chàng Từ Hải đa tình Yamamoto và nàng Kiều Kikuji. Hai hôm sau Yamamoto một mình tới thăm kỹ viện Tsukiji, nơi Kikuji làm việc, và mời Kikuji ăn tối với ông. Kể từ đấy Yamamoto được mọi người công nhận là người tình của Kikuji. Trong thời kỳ đó, được làm người tình của một geisha hạng nhất như Kikuji phải tốn kém lắm. Có hai cách làm chủ một geisha. Thứ nhất người đó phải bỏ thật nhiều tiền mua nàng geisha về làm vợ bé. Cách thứ hai đỡ tốn kém hơn, là cứ để nàng geisha trong kỹ viện, nhưng được ưu tiên hơn những khách phong lưu tìm hoa khác. Yamamoto không đủ tiền bạc để thực hiện một trong hai cách trên đây. Lương đô đốc của ông chỉ đủ gửi về cho vợ nuôi bốn con. Thực ra ông có thể dùng quỹ hải quân vào việc bao Kikuji, nhưng ông lại là người quá thanh liêm, danh dự và tự trọng, không muốn dùng công quỹ cho việc du hí riêng. Nhưng Yamamoto có một địa vị đặc biệt để có thể bao được Kikuji. Ông là nhân vật nổi tiếng đến nỗi các kỹ viện và nhà hàng đều muốn có sự hiện diện của ông. Nếu ông đến ăn tại một nhà hàng nào, hoặc vào giải trí trong một kỹ viện nào, thì những nơi đó lập tức thu hút các sĩ quan hải quân khác. Do đó kỹ viện Tsukiji cho ông đặc quyền được gặp Kikuji bất cứ khi nào ông muốn. Ðôi khi ông làm việc trễ tại bộ hải quân, Kikuji thường nấu cháo cá và thân hành đem vào đặt lên bàn làm việc của ông. Nàng cũng rất sung sướng được ngồi nhìn ông húp từng muỗng cháo. Kikuji là một người rất ghen. Nàng để ý thấy Yamamoto giữ trong túi áo một cuốn sổ màu đen. Nàng nghi ngờ Yamamoto giữ tên và địa chỉ của một số geisha khác tại các hải cảng khác. Một hôm nhân lúc Yamamoto đang tắm, Kikuji lén lấy cuốn sổ ra đọc. Trong cuốn sổ ấy không có tên một người đàn bà nào cả, mà chỉ là tên của những khóa sinh phi công thuộc trường huấn luyện phi công do ông chỉ huy trước kia. Những sĩ quan này đã tử nạn trong khi tập luyện theo lệnh của ông. Việc huấn luyện phi công rất quan trọng nên ông coi cái chết của họ trong lúc tập bay cũng giống như cái chết ngoài mặt trận. Chính những cái chết của họ đã giúp ông cải tiến được phương pháp huấn luyện cho được hoàn hảo an toàn hơn. Ông mang tên tuổi của họ trong người như một sự để tang cho những thuộc cấp đã tuẫn quốc. Về phần Yamamoto, ông cũng dâng tất cả tình yêu cho Kikuji. Ông mê nàng và đến thăm nàng nhiều đến nỗi một đô đốc khác đã bí mật gặp Kikuji, yêu cầu nàng hãy chấm dứt mối tình của nàng với Yamamoto vì quyền lợi của Hải quân Hoàng Gia. Khi Yamamoto gọi điện thoại cho Kikuji, nàng từ chối không gặp và tiếp chuyện ông. Vừa lo lắng vừa ghen, Yamamoto gọi xe tắc xi đến tìm nàng ngay và hỏi nguyên do. Có phải nàng không còn yêu ông nữa? Kikuji vừa khóc vừa trả lời nàng không muốn gặp ông vì lời yêu cầu của một đô đốc, và cũng vì lòng ái quốc của nàng bắt nàng không được ích kỷ giữ Yamamoto là người tình riêng, mà phải trả chàng về với hải quân. Yamamoto khuyên Kikuji đừng quan tâm đến lời nói của vị đô đốc kia. Tình yêu ông dành cho nàng không làm hại tới quyền lợi quốc gia, trái lại tình yêu đó giúp cho cuộc đời vốn khô khan của ông có thêm đôi chút tươi mát, gây thêm cảm hứng cho ông trong nhiệm vụ nặng nề của ông. Kikuji rất sung sướng nghe lời giải thích của ông, vì thực ra nàng cũng rất đau khổ nếu phải xa ông. Mối tình này kéo dài mãi cho tới những ngày cuối cùng của đời ông, với một kết thúc thật thương cảm cho nàng kỹ nữ tài sắc vẹn toàn Kikuji. Yamamoto cũng còn có một đam mê khác, ngoài tình yêu Kikuji. Ông rất mê chơi cờ bạc và chơi rất hay. Ông đánh bạc với bất cứ ai, các sinh viên Mỹ tại đại học Harvard, các tùy viên quân sự ngoại quốc, các sĩ quan Nhật. Nhưng dù chơi bạc ở đâu và với ai, Yamamoto không bao giờ thua và thường vơ hết tiền làng. Ðánh bạc không những là một thú tiêu khiển của ông, mà đôi khi cờ bạc cũng là nguồn cung cấp tiền tiêu vặt cho ông. Chính nhờ tài bạc gạo này mà ông đã có tiền giúp đỡ một sĩ quan Nhật mắc kẹt tại Mỹ có đủ tiền trở về Nhật. Thường giới sĩ quan Nhật rất ham uống rượu. Các đệ tử của Lưu Linh trong quân đội Nhật uống rượu sa-kê như người ta uống nước lã. Trái lại tửu lượng của Yamamoto lại rất kém. Ông chỉ uống vài tợp rượu là đã đỏ mặt tía tai rồi. Tuy nhiên ông vẫn cho phép thuộc hạ tổ chức các bữa tiệc nhậu vui chơi trên chiến hạm, hoặc tại các câu lạc bộ hải quân, hoặc tại tư gia một sĩ quan nào đó. Riêng ông thường chỉ có mặt lúc đầu, nhấp vài ngụm rượu nhỏ rồi rút lui đi tìm chỗ đánh bạc.