Het Scholtenhuis werd gebouwd in opdracht van Willem Albert Scholten (1819 – 1892). Hij was 's werelds eerste rijke landbouw-industrieel. Na zijn dood nam zijn zoon Jan Evert Scholten het bedrijf en het familiehuis aan de Grote Markt over.
Tijdens de Tweede Wereldoorlog werd het Scholtenhuis in beslag genomen. Veel mensen die in de oorlog gevangen waren genomen, werden eerst opgesloten in het Scholtenhuis, daar gemarteld en daarna vaak elders geëxecuteerd. Sommige stadjers die daar gevangen zaten, konden dit niet verdragen en pleegden zelfmoord.
Het Scholtenhuis was zo besmet door deze afschuwelijke geschiedenis, dat niemand het gebouw terug wilde nadat het was vernield. Na de oorlog werd besloten tot nieuwbouw van de oostzijde van de Grote Markt.
Prent: Onbekend - Prent, PD, Publiek domein, Koppeling