Am 6. Februar 1300 kaufte Enrico Scrovegni, ein reicher Bankier, Kaufmann und Adliger aus Padua, das verfallene römische Amphitheater (Arena) in den Außenbezirken von Padua, um einen Familienpalast zu errichten, der heute zerstört ist, und um eine Kapelle im Gedenken an seinen Vater, den Bankier Rinaldo, bauen zu lassen. Dieser Rinaldo Scrovegni erscheint in Dante Alighieris Göttlicher Komödie wegen Wuchers in die Hölle verbannt. Im selben Jahr, dem ersten Heiligen Jahr, eingeführt durch Papst Bonifatius VIII., wurde bereits der Grundstein zum Bau der nur 30 Meter langen Kapelle gelegt. 1302 begann der Bau der Kapelle, nachdem die benachbarten Eremitenbrüder die Baupläne genehmigt und Bischof Ottobone di Razzi seine Zustimmung erteilt hatte. Am 25. März 1305, am Fest Maria Verkündigung, wurde die Kapelle, die Unserer Lieben Frau von der Nächstenliebe gewidmet worden war, geweiht.