Setelah menyelesaikan hukumannya, George Graham kembali bekerja dengan melatih Leeds United. Ia ditunjuk pada September 1996 dan bertahan sampai 1 Oktober 1998. Selama itu, Graham memimpin Leeds dalam 91 pertandingan dengan hasil 36 kemenangan, 25 keimbangan, dan 30 kekalahan. Di Premier League, ia membawa mereka berakhir di posisi 11, 5, dan 6. Sementara, untuk nonliga, persembahan terbaik Graham bagi Leeds adalah tiket perempat final Piala FA 1997/1998.
Menariknya, setelah meninggalkan Leeds United, Graham justru menyeberang ke rival utama Arsenal, Tottenham Hotspur. Ironisnya untuk Arsenal, Graham berhasil mempersembahkan trofi pada musim pertamanya menukangi Tottenham. Ia sukses mempersembahkan gelar juara Piala Liga Inggris 1998/1999 yang sekaligus mengakhiri puasa gelar mereka selama 8 tahun.
Di Premier League 1998/1999, Graham memang hanya bisa membuat Tottenham berakhir di posisi sebelas. Namun, prestasi mereka cukup mengesankan di luar liga. Selain menjuarai Piala Liga Inggris, The Lilywhites juga sukses menembus semifinal Piala FA. Mereka gagal melaju ke partai puncak setelah kalah 0-2 dari Newcastle United. Sementara, di Piala Liga Inggris, Tottenham berhasil mengangkat piala usai menang 1-0 atas Leicester City. Graham dipecat Tottenham pada Maret 2001 dan tidak pernah melatih lagi.
Meski kisahnya dengan Arsenal berakhir tragis, George Graham sejatinya tetap merupakan sosok yang dihormati klub merah di London Utara ini. Salah satu buktinya, potretnya merupakan salah satu yang dipajang dalam perilisan tampilan baru Emirates Stadium pada Mei 2023. Selain itu, Graham juga masih cukup rutin menyaksikan Arsenal secara langsung di markas kebanggaannya tersebut. Teranyar, ia hadir saat mereka mengalahkan Chelsea dengan skor 1-0 pada 16 Maret 2025. The Blues merupakan klub yang diperkuat Graham sebelum bergabung dengan Arsenal sebagai pemain.