Das Bäumle ist ein Haus mit langer Tradition. Erste Aufzeichnungen über das Haus in der Kohlgasse stammen aus dem Jahre 1413. Die Reihenfolge der Besitzer lässt sich seit 1522 lückenlos nachweisen. Von 1669 bis 1690 wohnte und wirkte im heutigen Bäumle der bekannte Ulmer Künstler Matthäus Schultes.