A múzeumot 1959-ben alapították, 1980-tól a jelenlegi, kimondottan múzeumi célra tervezett épületben található. Kortárs képzőművészeti kiállítások szervezésével, rendezésével is foglalkozik. (Salgótarjáni Tavaszi Tárlat – 1981-től, Országos Rajzbiennálé – 1982-től). Az egyedi rajz gyűjtésének feladatát 1978-tól látja el. Nemzetközi grafikai művésztelepet működtetett 1974-től 1991-ig, képzőművészeti gyűjteményének jelentős hányadát – közel 4000 darabot – a kortárs, főleg magyar képzőművészek rajzai, festményei, szobrai alkotják.
A múzeum a Nógrád Megyei Múzeumi Szervezet vezető intézménye.