L’existence d’un hôpital est attestée à Semur-en-Auxois depuis le XIIe siècle. Au XVIe siècle, la ville compte même 2 hôpitaux, l’un servant d’hôtel-Dieu, l’autre réservé aux lépreux. Il faut attendre le XVIIe siècle pour que les deux établissements soient réunis au sein d’une même bâtisse. Au XVIIIe siècle, les administrateurs de l’hôpital décident d’acquérir l’hôtel du Châtelet, nouvellement vacant et situé dans le quartier du Château, à l’emplacement probable du château médiéval. Le gouverneur de Semur, Florent-Claude du Châtelet-Lomont vend ainsi sa propriété en 1734 avec maison, bâtiments, granges, écuries, remises, triple cour, grand et petit jardin. Les administrateurs de l’hôpital transfèrent progressivement les services hospitaliers au sein de l’hôtel du Châtelet, bientôt transformé en hôtel-Dieu avec l’aménagement de chambres pour les malades.
Entre 1745 et 1750, un nouveau bâtiment est construit avec des salles plus vastes pour les malades ainsi qu’une chapelle, inaugurée en 1749. En 1771, un portail est commandé afin de fermer la cour. Ce portail en fer forgé est aujourd’hui inscrit au titre des monuments historiques.
D’autres travaux marquent l’histoire de ce site, notamment la construction d’une maison pour le chapelain en 1775. Au XIXème siècle, un agrandissement est mis en place avec la construction d’une aile.
Dans les années 1960-1970, sous l’impulsion de Robert Morlevat, alors Maire de Semur-en-Auxois, la plupart des services sont transférés sur un nouveau site plus moderne, en périphérie de la ville. Depuis 2009, il ne restait plus sur le site du Domaine de l’Hôtel du Gouverneur qu’une résidence médicalisée pour personnes âgées, avant la vente de l’ancien hôpital un an plus tard.