A múzeum létrehozását a környék gazdag régészeti, néprajzi anyagának megmentése igényelte. A múzeumpark udvarán Kőtár fogadja a látogatókat; Csővár gótikus, reneszánsz, Penc és Rád barokk emlékeivel. Vele szemben a múzeum épülete eredetileg XVIII. század eleji keresztboltíves barokk nemesi kúria, építtetője az Osztroluszky család.
Az épület tágas előcsarnoka évente egy-két időszaki kiállítás bemutatására szolgál. Balra az első helység az egykori konyha, óriási tűzhellyel és kemencével (1865-ig nyitott füstös konyha volt, azért égett le az épület). Ma falusi szobabelső lócával, bölcsővel, virágos tányérokkal a falon, népviseleti fotókkal, festménnyel, mely penci lakodalmast ábrázol. A második szoba régészeti gyűjtemény: kő-réz-bronzkor, szkíta, kelta, avar, kalandozás korabeli magyar telepek, temetők anyagával képviselt. A szkíta tőr páratlan lelet. A múzeum gazdag kelta, ugyanígy a kvád és magyar anyagát több kutató publikálta. A harmadik terem a hódoltság korát Csővár leleteivel érzékelteti. A vár ciszternájának feltárásával XV-XVI. századból rengeteg cserépedény töredéke került elő, többek között gótikus és reneszánsz kőfaragványok. A harmadik terem a XVIII–XIX. század eseményeit foglalja össze. Penc híres szőlőművelésének írott és tárgyi emlékei, az 1848/49. évi szabadságharc, a Bach korszak eredeti relikviái, az I. világháború és azt követően 1945-ig a kiemelkedő események emlékei láthatóak itt. A negyedik terem irodalmi vonatkozású emlékek gyűjteménye. Elsősorban Petőfi négy ízben Pencen történt látogatása, Mikszáth, Madách helyi vonatkozású kapcsolatai láthatók. A történeti áttekintést a II. világháború zárja. Három teremben Penc és Rád kúriáiból származó beépített cserépkályhák tekinthetők meg. Kiemelkedő az eredeti helyén egy empire kályha, Rádról egy klasszicista stílusú és egy pécsi Zsolnay fajansz. Külön építményben helyezték el a mezőgazdasági eszközök gyűjteményét.