Mäntyharjulle on yritetty perustaa museota ainakin 1950-luvulta lähtien. Vuodelta 1959 säilyneessä museotoimikunnan pöytäkirjassa pohdittiin vanhan viljamakasiinin kunnostamista museotiloiksi. Viljamakasiinin museokäyttöä harkittiin aina vuoteen 1965, jolloin syntyi ajatus kunnan ja seurakunnan yhteistyöstä museon perustamiseksi. Samana vuonna ehdotettiin ensi kertaa Iso-Pappilan alueen ottamista museokäyttöön. Toimikunnan nimi muuttui museolautakunnaksi 60-luvulla.
Museon esinekokoelmia kerättiin jo ennen museon perustamista. Ohjesäännön mukaan lautakunnan tehtävänä oli ottaa vastaan seurakuntaa ja kuntaa koskevia museoesineitä, joilla voitiin nähdä olevan historiallista merkitystä: Tehtävänä on koota ja tallettaa kunnan vaiheita ja sen asukkaiden elämää valaisevaa esineistöä ja siihen liittyvää tieto- ja kuva-aineistoa, suojella toimialueensa esineellisiä kulttuurimuistoja ja herättää paikkakunnalla harrastusta seudun entisyyttä kohtaan.
Sopimus Mäntyharjun kotiseutumuseon perustamisesta ja ylläpitämisestä allekirjoitettiin Mäntyharjun ja seurakunnan välillä tammikuussa 1970. Tällöin sovittiin myös seurakunnan omistaman Iso-Pappilan vuokraamisesta museokäyttöön. Museo avattiin yleisölle samana vuonna, mutta näyttelyiden rakentamista ja museoalueen kunnostusta jatkettiin koko vuosikymmenen ajan.
Vilkas museotoiminta jatkui aina 1980-luvun puoliväliin. Iso-Pappilassa järjestettiin museo- ja taidenäyttelyitä, kyläjuhlia, häitä ja kesäteatteriesityksiä. Museossa työskenteli 1970- ja 80-luvuilla kesäisin museonhoitaja, kaksi museoapulaista ja museolla ympärivuotisesti asunut museovalvoja/vahtimestari, jotka näyttelyvalvonnan ja lipunmyynnin lisäksi järjestivät ja luetteloivat kokoelmia ja huolehtivat museon siivouksesta. Lisäksi museon toimintaa ohjasi viisijäseninen museolautakunta. Museolautakunnasta muodostui sittemmin museon asioita hoitava jaosto, joka siirtyi vuonna 1985 kulttuurilautakunnan alaisuuteen. Iso-Pappilan alue pysyi seurakunnan omistuksessa aina vuoteen 1987, jolloin kunta sopi seurakunnan kanssa alueiden vaihdosta. Kaupasta sovittaessa tuotiin esille kuntalaisten ja seurakunnan toive Iso-Pappilan alueen ja erityisesti sen rakennusten säilymisestä kuntalaisten ulottuvilla ja käytössä. Iso-Pappilan museoalueen siirryttyä kunnan omistukseen kunnanhallitus asetti Iso-Pappila -toimikunnan selvittämään museon toiminnan suunnittelua ja kehittämistä.
Museorakennusten ja perusnäyttelyiden huonon kunnon vuoksi museo ei ollut yleisölle avoinna vuosina 1991–1994. Tänä aikana museolla tehtiin peruskorjaustöitä ja uusittiin väentuvan perusnäyttely Postuumi ry:n tekemien suunnitelmien mukaisesti. Museo avattiin uudelleen yleisölle ”Mäntyharju 400-vuotta” -juhlia varten väentuvan tiloissa. Museon avoinnapidosta ja opastamisesta huolehtivat Mäntyharjun matkailuoppaat ry:n työntekijät. Iso-Pappilan päärakennus vuokrattiin Taidekeskus Salmelan näyttelytiloiksi vuonna 1992. Salmelaa varten kunnostettiin päärakennuksen näyttely- ja yleisöwc-tiloja. Museotoiminta palasi päärakennukseen vuonna 2007, jolloin Salmelan näyttelyiden tilalle tulivat Mäntyharjun museon vaihtuvat näyttelyt.
Vuonna 1990 perustettu yksityinen Miekankosken Uittomuseo siirtyi Mäntyharjun kunnan omistukseen ja osaksi Mäntyharjun museota vuonna 1997. Omistajanvaihdos ei juuri kasvattanut museon esinemäärää, sillä Uittomuseon näyttelyt ja esinekokoelma oli pääosin koottu vuosina 1990–1992 Mäntyharjun museon esinelainojen pohjalta. Siirron yhteydessä Uittomuseon näyttelyihin ei juuri tehty muutoksia. Perusnäyttely uusittiin vasta vuonna 2007 Museoviraston kohdeavustuksen turvin.
Museotoimesta on 1980-luvun puolivälistä vastannut kunnan kulttuurisihteeri. Kulttuurisihteerin työnkuvaa on vuosien varrella muutettu ja kasvatettu, nykyisin siitä kuuluu museotyölle vain pieni osa. Iso-Pappilan alueelle on tullut museotoiminnan ja kesäteatterin lisäksi myös muita toimijoita: alueen viereen on rakennettu Mäntyharjun Rintamaveteraanit ry:n ylläpitämä Veteraanipuisto, halko- ja vaunuvajassa on toiminut viinitupa ja paikalliset käsityöläiset ovat myyneet tuotteitaan Iso-Pappilan tiloissa.
Mäntyharjua puolin ja toisin 