1465 wird erstmals ein Garten namens Bremeneck am Schlosshang urkundlich erwähnt. Mit dieser Schenkungsurkunde übereignete Pfalzgraf Friedrich I. diesen Garten seiner Mätresse Clara Tott. Der Name Bremeneck geht mit ziemlicher Sicherheit auf Pfriemen zurück, eine andere Bezeichnung für Ginster, mit dem der Garten bewachsen war.
Schon 1469 verkauft Clara Tott einen Teil des Grundstückes an den Hofapotheker, in dessen Besitz es später überging. In den folgenden Jahrhunderten beherbergte das Bremeneck unter anderem eine Bierbrauerei und Brennerei und eine Schankwirtschaft.
1838 wurde das jetzige Gebäude errichtet und speziell gegen Ende des 19. Jahrhunderts fanden regelmäßig Gartenfrühschoppen der Heidelberg Korporationen dort statt. 1919 wurde das Haus mit Anwesen schließlich von der Landsmannschaft Teutonia erworben, der es noch heute gehört.