Torinóban nőtt fel, két évig volt orvostanhallgató az Universitá degli Studi di Torinón. A II. világháború alatt csatlakozott a Giustizia e Libertá nevű antifasiszta csoporthoz. 1945-ben letartóztatták és bebörtönözték. Az ott eltöltött idő alatt szüntelenül rajzolt, mindenféle anyagra, ami a keze ügyébe került. 1950-ben kezdett vászonra festeni olajjal. 1954-ben, a torinói Galleria La Bussolában rendezett első kiállításán bemutatott képeinek organikus ábrázolásai Merz szerint ökológiai rendszereket képviselnek. 1966 táján vásznait és objectjeit – üvegeket, esernyőket és esőkabátokat – neoncsövekkel lyukasztotta át, megváltoztatva az anyagokat a szimbolikus energiafeltöltés által.
1967-ben számos művésszel, köztük Giovanni Anselmóval, Alighiero Boettivel, Luciano Fabróval, Jannis Kounellisszel, Giulio Paolinivel, Giuseppe Penonével, Michelangelo Pistolettóval és Gilberto Zorióval együtt társaságot alapítottak, melyből a Germano Celant kritikus és kurátor által arte poverának elnevezett, lazább értelemben vett művészeti mozgalom lett. Az irányzatot antielitista esztétika jellemezte, s képviselői a hétköznapi élet és az organikus világ egyszerű anyagait használták műveikben, mintegy tiltakozásul az iparosítás és a fogyasztói társadalom dehumanizáló hatása ellen.
Merz 1968-ban talált rá a később jellegzetességévé vált jégkunyhómotívumra. Az építmény fémvázas szerkezettel készült, melyen Merz agyag-, viasz-, sár-, üveg- és zsákvászondarabokat, ágkötegeket, ill. politikai vagy irodalmi tartalmú neonfeliratokat helyezett el. Részt vett a konceptuális, process- és minimalista művészet olyan jelentős nemzetközi kiállításain, mint az Arsenali dell’Antica Repubblicában rendezett Arte povera + azioni povera c. tárlaton Amalfiban, valamint a Kunsthalle Bernben 1968-ban nyílt Live in Your Head: When Attitudes Become Form [Élj a fejedben: Amikor az attitűdökből forma lesz] c. kiállításon, mely eljutott a németországi Krefeldbe és Londonba is. 1970-ben elkezdte a Fibonacci-féle matematikai sorozatokra vonatkozó képletet alkalmazni műveiben, a számok és a spirálalakzat bemutatásával vizuálisan érzékeltetve a koncepciót. Első egyesült államokbeli egyéni kiállításának (Minneapolis, Walker Art Center) idején, 1972-ben ikonográfiájához már halomba rakott újságok, állatok archetípusai, sőt motorbiciklik is tartoztak, s ez később az asztallal mint az ember beteljesülésre és kapcsolatokra való igényének szimbólumával egészült ki. ~ gyakran a terület jellegzetes anyagainak felhasználásával, ill. a mű és a helyszín méreteinek összehangolásával reagált kiállításai sajátságos környezetének kihívásaira. Első európai egyéni kiállítására 1975-ben, a Kunsthalle Baselben, átfogó retrospektív tárlatára pedig 1989-ben, a New York-i Solomon R. Guggenheim Museumban került sor. Felesége, Marisa Merz, szintén neves művész. Merz 2003. november 9-én hunyt el milánói otthonában.