Endisest karjamaast lõigatud krundi omandab 1878. aastal Pärnu kreisiarst dr Behse ja historitsistlik puitelamu valmib juba järgmisel aastal.
Eduard Gottlieb Behse (1839-1900) isa oli Peterburi II gildi kaupmees, suhkruvabrikant ja hiljem Vana-Laitsna [Veclaicene] mõisnik Ernst Salomo Behse. Tänapäeval Läti Vabariigi Valka maakonna alale jäävas VanaLaitsna rüütlimõisas sünnib 1839. aastal ka tulevane arst Eduard Gottlieb. Gümnaasiumihariduse omandab 1857. aastal Schmidti Eragümnaasiumis Viljandis ning astub samal aastal Tartu ülikooli meditsiini õppima.
1864. aastal kaitseb ta doktorikraadi ning abiellub seejärel oma Viljandi-aegse koolipidaja Gustav Max Schmidti tütre Marie Luise Helenega (1848-1916). 1873. aastast kolib ta Pärnusse kus peatselt saab temast kreisi- ehk maakonna-arst.
Kohusetundlikkus ning pea 30ne aasta pikkuseks kujunenud teenistus tegid temast linnas hinnatud autoriteedi, kes võttis juhtohjad nii linnahaigla kui kuurordimajanduse arendamises. Eduard Behse oli kuurordikomisjoni [Badecommission] liige, mis kujundas Pärnu kuurordimajanduse aluspõhimõtted. Eelkõige just Behse eestvõttel pannakse alus Pärnule kui muda- ja rabakümblusele keskendunud ravikuurordile, ehitati ümber vana supelasutus, mis avati 1890. aasta suvehooajaks.
Oma majas Supelasutusse viiva tänava alguses jõudis kreisiarst elada enam kui 20 aastat. Vähese vaba aja olevat ta pühendanud kodumaja aiale, mida eriti just kevadisel õitsemisajal peeti üheks kohalikuks vaatamisväärsuseks. Kreisiarst sureb ööl vastu 2. oktoobrit 1900. aastal Pärnus.
Klubihoone
Maja vahetab mitmeid omanikke, kuniks 1919. aastal ostab selle üks Pärnu Linavabriku asutajatest ning selle juhatuse liige, Sauga vallast Ridalepast pärit Jaan Tannebaum (1874 – ?). Tema, nagu hiljem ka tema poja Axel Johan Tannebaumi põhitegevusalaks oli siiski restoranide pidamine, käitades ajuti einelaudu nii Pärnu kuursaalis kui ka näiteks Tartus Vanemuise seltsimajas. Suure ja heas asukohas villa ruumid otsustatakse välja rentida – nii kolib 1928. aasta sügisest siia Pärnu Eesti Klubi.
Tegemist oli Eesti iseseisvumise tuules Endla Seltsi juurde ja inglise klubide eeskujul loodud kinnise meesteklubiga, kuhu kuulus aastate jooksul pea sadakond kohaliku eliidi esindajat. Klubi asutajaliikmeks oli Jaan Tannebaumi onupoeg Georg Tannebaum ning klubi tollaseks esimeheks viimase poeg Feliks Tannebaum (estn Tanner), hilisem Eesti Panga direktor Tallinnas.
1933. aastal kolib Eesti klubi küll mujale, kuid ruumid aga ei jää kasutuseta – siin leiab koha Eesti Isamaalaste Ühingu Pärnu osakond. Vastasutatud ülemaalise ühingu eesmärgiks on kasvatada rahvuslikku vaimu korraldades avalikke kõnekoosolekuid, loenguid, kursuseid ja ekskursioone. Pidulik uute ruumide avamine leiab aset 27. mail 1933, kuid Isamaalaste Ühing kaua tegutseda ei saa – 1934. aastal kuulutab riigivanem Konstantin Päts välja kaitseseisukorra ning koos Eesti Vabadussõjalaste Liiduga suletakse ka natsionaalsotsialismis süüdistatud Eesti Isamaalaste Ühing.
Linnasekretäri maja
Samal, 1934. aastal läheb maja omaniku võlgade tõttu avalikul oksjonil müüki. Peatselt omandab selle Pärnu linnasekretär Kristjan Rumvolt (1884-1950) ja sestpeale tuntakse villat linnas Rumvoldi majana. Viljandimaal Uue-Põltsamaa vallas talupidaja pojana sündinud Rumvolt võtab Vabadussõjast osa Järvamaa kaitsepataljoni koosseisus, paistes silma julgete luureretketega vaenlase tagalasse. Peale Vabadussõda määratakse ta Pärnu maakonna politseiülemaks ning alates 1926. aastast on ametis Pärnu linnasekretärina. Seda kuni 1940. aastani, mil nõukogude okupatsiooni-võimud ta vallandavad. 1944. aastal suurpõgenemise käigus lahkub ta Rootsi, maha jääb abikaasa Emilie.
Rahvamajast lasteaiaks
1940. aastal natsionaliseerib nõukogude võim hoone ja peatselt peale sõda saab ruumikas maja uued funktsioonid. Esmalt rajatakse siia Pärnu Keskrahvamaja mis peab ruume jagama nii vastasutatud Pärnu muusikakooli sõjatules senise kodu kaotanud Pärnu linna I lasteaiaga. Et nii rahvamaja kui muusikakool kolivad siit peatselt edasi teistesse ruumidesse, saab lasteaed kogu maja enda käsutusse.
Lasteaias käib esialgu poolsada last, kelle seas ka kümmekond vene emakeelega last. Tolleaegne lasteaia juhataja ja ühtlasi samas hoovimajas elanud Marie Karo on meenutanud algusaegade raskuseid, kui lapsed pidi lasteaeda tulles kaasa võtma nii toidunõud kui oma padja.
Lasteaed tegutseb siin kuni nõukogude perioodi lõpuni, viimastel aastatel sisulisel vene emakeelega lasteaiana. Taasiseseisvumise järel karmistunud nõuete tõttu, mis nüüdseks üsnagi amortiseerunud puitvillas lasteaia pidamist ei lubanud, otsustas linnavõim lasteaia likvideerida.
Taasiseseisvunud Eestis ja veel tänapäevalgi kutsutakse seda maja «Oliveri majaks», seda põhjusel, et 16. septembril 1991 avati siin sellenimeline Pärnu linna ja maakonna laste varjupaik. Peale 2004. aastat seisis maja pikalt tühjana ning maja omanikuna otsustas linnavalitsus selle erakätesse müüa.
Ilmselt just tänu sellele, et majas oli läbi kogu nõukogude perioodi tegutsenud lasteasutus, aitas sellel majal säilida taastamisväärses seisus, tänased omanikud ongi seda detailitundlikult rekonstrueerimas.