Erstmals bebaut wurde das Grundstück im Jahre 1874 durch den praktischen Arzt Dr. J. Müller, der dort seinen Alterssitz bezog. Nach seinem Tod erwarb der Verlagsbuchhändler Paul Siebeck (1855-1920) das Gebäude und führte dort zwischen 1881 und 1885 eine akademische Verlagsbuchhandlung. Der Tübinger Buchhändler Siebeck hatte 1878 den Heidelberger Traditionsverlag J.C.B. Mohr erworben und war mit dessen Programm nach Freiburg gezogen. Dort gestaltete er ihn in einen wissenschaftlichen Fachverlag um. Als Schwerpunkte wählte er die Bereiche Theologie, Soziologie, Philosophie, Ökonomie und Jura. Doch der Verlag blieb nicht lange in Freiburg. Nach einem Intermezzo in der Stadtstraße (1886-1899) kehrte Siebeck nach Tübingen zurück, wo der Verlag bis heute seinen Sitz hat.
Das Haus blieb auch nach Siebecks Wegzug eine Adresse der Wissenschaft und der Kunst. So lebten dort 1886-1901 der Kunsthistoriker Franz Xaver Kraus (1840-1901), 1902–1903 der Kirchenhistoriker Albert Ehrhardt (1862-1940) und 1904/1905 der Chemiker Josef Tscherniac (1851-1928) bzw. noch bis 1911 Mitglieder seiner Familie. Zwischen 1906 und 1910 beherbergte es zudem den Vorläufer der Freiburger Musikhochschule, das Freiburger Musikkonservatorium unter Leitung des Pianisten Carlo del Grande (1867-19??). Der Abriss der ursprünglichen Bebauung im Jahre 1911 beendete diese Phase.
