Die heutigen Gebäude des Alterszentrums wurden in den 1080er Jahren als Benediktinerkloster St. Agnes im Bereich der Kirche im gotischen Stil erneuert, nachdem das ursprüngliche Gebäude Jahre zuvor beinahe komplett niedergebrannt war. Aufzeichnungen zeigen, dass das Kloster bereits im Jahr 1092 existierte. Genaueres aus der Zeit der Erbauung weiss man jedoch nicht.

Nach der Reformation und der anschliessenden Aufhebung des Klosters Sankt Agnes beschloss der Rat das Spital im heutigen Posthof in die Gebäude des Nonnenklosters zu verlegen. Nach wenigen baulichen Anpassungen wurde die Übersiedlung des Spitals in das Kloster im Jahre 1542 vollzogen. Die umfunktionierten Gebäude dienten nun in Folge als Armenhaus, Pfrundhaus, Waisenhaus, Zuchthaus und als Versorgungsanstalt für Geisteskranke, bis 1936 die Stadt das Spital übernahm und es als Altersheim umbaute.

Die etappenweise Gesamtrenovierung 1970-73 erfolgte vor allem im Innern durch Peter und Martin Schmid Architekten, Schaffhausen. Das Haus am Bach erhielt ein weiteres Vollgeschoss. Das Agnesenhaus wurde mit dem Neubau Betriebsgebäude Klösterli ergänzt und im Dachbereich Pfrundhaus Pensionärszimmer eingebaut.

1991 erfolgte im Haus am Bach die letzte grosse Renovierung durch Erich Schmid Architekt, Schaffhausen mit Alterswohnungen. Hier wurden eine neue Erschliessung und an der Fassade Balkone eingebaut.

1998 wurden das Agnesenhaus und das Pfrundhaus durch Rainer und Leonhard Ott Architekten, Schaffhausen innen neu organisiert und saniert.

2015 bekam das Altersheim am Kirchhofplatz die heutige Bezeichnung Alterszentrum Kirchhofplatz.

In der Machbarkeitsstudie wurde die Umverteilung von 41 Servicewohnungen (Alterswohnungen) im Kirchhofplatz 15 in die Gebäude Pfrundhaus, Agnesenhaus und Haus am Bach geprüft. Die Gebäude Pfrundhaus und Agnesenhaus werden von der jetzigen Nutzung mit Pflegeplätzen freigespielt, da die Pflegeplätze zukünftig in das AZB verlegt werden sollen.