In de vijftiende eeuw was het pand onderdeel van een gebouwencomplex van de Broeders van het Gemene Leven. In het gebouw zat de mouterij en de kapel van de broeders. Na de reformatie werd het Fraterhuis opgeheven, maar bleef het een brouwerij. Later, rond de negentiende eeuw, werd het pand gebruikt als stalhouderij op naam van Bosch. Vandaar die paardenhoofden op het pand.
Tegenover het Herman Brood museum ziet u Museum de Fundatie.