treasury room di dalam Castel Sant'Angelo (Wikimedia Commons/Matthias Kabel)
Sejak abad ke-10, Castel Sant'Angelo telah beberapa kali mengalami pergantian kepemilikan oleh keluarga bangsawan. Ketika Castel Sant'Angelo beralih ke keluarga Orsini, dari sinilah awal mula bangunan kastil ini menjadi benteng pertahanan kepausan karena banyak Paus dan kardinal yang berasal dari keluarga Orsini, seperti Paus Selentinus III, Nikolaus III, dan Benediktus III.
Memasuki tahun 1305, kebanyakan Paus berasal dari bangsa Prancis dan memilih untuk tinggal di Avignon, daerah kekuasaan Romawi yang kini menjadi bagian dari wilayah Prancis. Untuk mengembalikan pengaruh kepausan di Roma, Paus Urbanus V di tahun 1365 mengambil alih kepemilikan Castel Sant'Angelo atas nama Gereja Katholik Roma.
Ketika berada di bawah Gereja, Castel Sant'Angelo kembali mengalami banyak perubahan terutama dari sisi pertahanan. Salah satunya yaitu penambahan struktur jembatan angkat di depan kastil atas prakarsa Paus Bonifasius IX pada 1395.
Paus Nikolaus V merupakan paus pertama yang menjadikan Castel Sant'Angelo sebagai rumah kediaman sekaligus kantor kepausan. Selain itu, ada pula Paus Klemens VII yang melengkapi Castel Sant'Angelo dengan bagnetto atau kamar mandi.
Ketika Paus Alexander VI berkuasa, Castel Sant'Angelo tampak lebih indah dengan dekorasi karya pelukis Pinturicchio serta kebun dan air mancur. Begitu pula dengan Paus Paulus III yang menghiasi dinding kastil dengan dekorasi bergaya Renaissance.
Menurut situs resmi Castel Sant'Angelo, kebanyakan struktur bangunan mewah tersebut sudah tidak dapat ditemukan lagi setelah Paus Urbanus VIII membangun ulang sistem pertahanan benteng Castel Sant'Angelo. Meski tidak ada sumber terkait kepastian jumlah paus yang pernah tinggal di sana, Castel Sant'Angelo tetap diingat dalam sejarah sebagai salah satu tempat bersejarah bagi Gereja Katholik Roma.