Po upadku zbudowanego przez Rzymian imperium, miasto, razem z resztą Italii, przechodziło z rąk do rąk. W 500 roku dla upamiętnienia wizyty Teodoryka Wielkiego zorganizowano ostatni adventus, czyli uroczysty ceremoniał rzymski, realizowany z okazji przybycia cesarza do miasta. W 525 r. na polecenie papieża Jana I Dionizjusz Mały ustalił datę narodzin Jezusa Chrystusa w nowej tabeli paschalnej wzorowanej na tabeli Cyryla Aleksandryjskiego. Wprowadzony system obliczania czasu od narodzenia Jezusa Chrystusa a nie od założenia Rzymu był ostatnim znakiem całkowitego upadku cesarstwa rzymskiego.
W 546 roku Rzym zdobył król Ostrogotów Totila, zaś później na ponad 200 lat miasto znalazło się pod panowaniem Cesarstwa Bizantyjskiego. W połowie VIII w. stał się stolicą Państwa Kościelnego i siedzibą papieży. W 846 roku Bazylika św. Piotra została ograbiona przez arabskich piratów, w związku z czym papież Leon IV nakazał zbudować wokół niej mury obronne. W ten sposób powstało tzw. „miasto leonowe”. W średniowieczu zależność od papiestwa była silniejsza bądź słabsza, siedziba papiestwa była też wielokrotnie przenoszona, m.in. do Awinionu.