Herrehuset byggdes som bostadshus ca år 1816 och står på sin ursprungliga plats i centrala Lund. Huset är delvis murat av medeltida tegel och i bottenvåningen natursten. År 1890 köpte Kulturen fastigheten 35C, där Herrehuset står, och kunde i och med det öppna ett permanent museum 1892. Barockfasaden är inte ursprunglig, utan skapades 1892.