Ian Fleming memiliki seorang kakak laki-laki, satu tahun lebih tua darinya, yakni Peter Fleming. Peter juga bekerja di dinas intelijen. Pada tahun 1932, Peter pergi ke Brasil untuk mencari penjelajah yang hilang bernama Kolonel Percy Fawcett, dan menerbitkan Brazilian Adventure pada tahun 1933 yang menjadi best seller dan membuatnya terkenal sebagai penulis perjalanan.
Seperti yang dicatat South China Morning Post, Peter Fleming menulis buku petualangan yang didasarkan pada dirinya sendiri. Pekerjaannya sebagai intelijen juga sangat heroik. Seperti dilansir The James Bond International Fan Club, pada tahun 1940, ia ditugaskan untuk merencanakan perlawanan bawah tanah seandainya Nazi menginvasi Inggris. Karena Ian juga bekerja di bidang intelijen, dan keduanya adalah saudara kandung, Peter pun sering mengulas dan mengedit naskah Ian, dan kemungkinan besar banyak petualangan Bond yang terinspirasi olehnya.
Sayangnya, pada tahun 1947, Peter jatuh dari kuda saat sedang berburu, akibatnya, tulang panggulnya remuk. Dia tidak pulih secara fisik, dan harus pensiun dari kariernya sebagai penulis. Saat Peter memudar dari sorotan publik, adik laki-lakinya, Ian, justru menjadi terkenal karena karakter mata-mata terhebat yang dibuatnya — yang didasarkan pada Peter sendiri.