Im Jahr 1580 kaufte das Hochstift von Bamberg das Schloss Geyerswörth und das angrenzende Gelände. Auf dem erworbenen Grundstück befanden sich veraltete Gebäude, die wenig später abgerissen wurden. Baumeister Erasmus Braun plante für die freigewordene Fläche eine Fünf-Flügelanlage, welche zwischen 1585 und 1587 errichtet wurde.
Das Schloss diente zu dieser Zeit als Residenz für die Fürstbischöfe, die die Räumlichkeiten auch zu Repräsentationszwecken nutzen. Als 1705 dann aber die Neue Residenz fertiggestellt war, verlor Schloss Geyerswörth schnell seine Bedeutung für die Bischöfe.
Über dem Portal zum Innenhof prangt zum einen das Wappen des Fürstbischofs Ernst von Mengersdorf, zum anderen befindet sich im Innenhof das originale Stadtwappen, das zuvor am Alten Rathaus angebracht war und den Ritter St. Georg zeigt.
Aufzeichnungen und Stiche belegen, Schloss Geyerswörth muss einst ein prächtig ausgestattetes Gebäude gewesen sein, von dessen einstmals prunkvoller Innenausstattung allerdings kaum etwas erhalten werden konnte. Zumindest Teile des Renaissancesaales wurden rekonstruiert. Der einzige Raum, der noch auf eine glanzvolle Vergangenheit hinweist, ist ein Gewölberaum im Erdgeschoss, an dessen Wand sich Ranken und absurdes Gemälde befinden, das die weibliche Verkörperung der Freien Künste symbolisieren soll.
Von 1623 bis 1632 war das Schloss der Amtssitz des Hexenbrenners: Fürstbischof Johann Georg I., der Fuchs von Dornheim. Er war verantwortlich für die größten Hexenverfolgungen im Hochstift Bamberg und ließ mindestens 600 unschuldige Männer, Frauen und Kinder verbrennen.
Im Dreißigjährigen Krieg wurde Schloss Geyerwörth von den Schweden komplett geplündert, so dass es eine geraume Zeit lang nicht bewohnbar war. Fürstbischof Voit von Salzburg sorgte dafür, dass das Gebäude wieder bewohnbar gemacht wurde. Im Jahre 1904 ging das Schloss in Besitz der Stadt Bamberg über.
Genutzt wird Schloss Geyerswörth heute vor allem für festliche Empfänge und ist zudem Sitz des Sozialrates der Stadt Bamberg. Zu besichtigen sind die Innenräume des Schlosses leider nicht, jedoch findet in dem wunderschönen Innenhof das Fränkische Weinfest statt, bei dem man regionale Weine kosten und es sich bei einem Glas Frankenwein gemütlich machen kann.