Urodził się 31 stycznia 1867 r. w Dumanowie na Podolu. Uczył się w szkole powszechnej w Mohylowie, a następnie w gimnazjum w Kamieńcu Podolskim. Dzięki wychowaniu patriotycznemu, jakie wyniósł z domu rodzinnego, w czasie edukacji szkolnej Zaruski nie uległ rusyfikacji.

W 1885 r. zdał maturę i wyjechał na studia matematyczno-fizyczne do Odessy. To właśnie tam urzekło go morze. Fascynacja była tak silna, że morze zaczął malować i przeniósł się do Szkoły Sztuk Pięknych.

Jednak na tym nie kończył się wpływ morza na życie Zaruskiego. Podczas studiów zaciągnął się jako marynarz i na rosyjskich statkach handlowych pływał do Afryki, Indii, Chin i Japonii. W latach 1891–1892 odbył także obowiązkową służbę wojskową w armii carskiej.

Studia i żeglowanie nie przeszkodziły Zaruskiemu zaangażować się także w działalność w polskiej konspiracji niepodległościowej – należał bowiem do Ligii Narodowej oraz koła polskich studentów, był również jednym z organizatorów odeskiego oddziału Towarzystwa Gimnastycznego „Sokół”.

Działalność niepodległościowa Zaruskiego nie została jednak niezauważona przez carską policję polityczną. W 1894 r. został aresztowany i uwięziony w Twierdzy Pietropawłowskiej, otrzymując wyrok półtora roku więzienia i pięciu lat zesłania do guberni archangielskiej.

Zaruskiemu pozwolono ukończyć szkołę morską w Archangielsku, po której otrzymał patent kapitana żaglowców. Rosyjskie władze potrzebowały wykwalifikowanych oficerów, dlatego też gubernator Archangielska wyraził zgodę na służbę Zaruskiego na statkach pływających poza obszar Rosji. Odebrał tylko od zesłańca słowo honoru, że ten nie ucieknie. Wiosną 1899 r. Zaruski został dowódcą żaglowca „Nadzieja”, pływając w obszarze Arktyki. Swoje przygody z tego okresu opisał w sonetach, publikowanych m.in. w „Tygodniku Ilustrowanym”.

Jesienią 1899 r. powrócił do Odessy. Poznał córkę miejscowego lekarza, Izabelę Kietlińską. Po ślubie w 1901 r. małżonkowie przenieśli się do Krakowa, gdzie Zaruski kontynuował rozpoczęte studia malarskie na Akademii Sztuk Pięknych. Studiował pod okiem Józefa Mehoffera, Stanisława Wyspiańskiego oraz Leona Wyczółkowskiego. W 1906 r., z bardzo dobrymi ocenami, ukończył krakowską ASP.

W tym czasie próbował również swoich sił jako poeta, jednak wiersze opisujące jego morskie przygody nie wzbudziły większego zainteresowania.

Ze względu na stan zdrowia Izabeli Zaruscy w 1904 r. przenieśli się do Zakopanego. To właśnie w Tatrach Zaruski odkrył swoją nową pasję. W tym też roku rozpoczął zimowe taternictwo. Był wówczas m.in. na Zawracie, Kasprowym Wierchu, Giewoncie, a w późniejszych latach pierwszy zdobył zimą m.in. Granaty, Orlą Basztę, Rohacze, Mały Kozi Wierch, a także Zamarłą Turnię, Kozie Czuby, Kozi Wierch, Niżnie Rysy czy Czarny Mięguszowiecki Szczyt.

Zaruski przyczynił się również do rozwoju narciarstwa, kiedy w 1906 r. podczas wycieczek zaczął używać nart. W 1907 r. razem z Józefem Borkowskim wszedł na nartach na Kozi Wierch. Z kolei w 1911 r. wspólnie ze Stanisławem Zdybem zdobył na nartach Kościelec, a ta wyprawa do I wojny światowej miała status najtrudniejszego wejścia i zjazdu narciarskiego w Tatrach.

Mariusz Zaruski był też zawodnikiem i instruktorem narciarskim. Uznawany jest również za jednego z pionierów w badaniu tatrzańskich jaskiń – eksplorował wiele z nich w Tatrach Polskich, m.in. w Dolinie Kasprowej, w Giewoncie i Czerwonych Wierchach.

W 1909 r. założył Tatrzańskie Ochotnicze Pogotowie Ratunkowe, którego był pierwszym naczelnikiem.

„Dobrowolnie przyrzekam pod słowem honoru, że póki zdrów jestem, na każde wezwanie Naczelnika lub jego Zastępcy bez względu na porę roku, dnia i stan pogody stawię się w oznaczonym miejscu i godzinie…”

– głosi tekst ułożonego przez Zaruskiego ślubowania ratowników.

Działał ponadto w zarządach Towarzystwa Tatrzańskiego oraz jego sekcjach. W latach 1908–1914 był także jednym z głównych współpracowników, a w 1914 r. redaktorem tygodnika „Zakopane". Do wybuchu I wojny uczestniczył w życiu społecznym i kulturalnym Zakopanego, a za swoje zasługi nazywany był „Mesjaszem” lub „Hetmanem Tatr".

Znajomość Zaruskiego z Józefem Piłsudskim rozwinęła się po 1912 r., gdy w Galicji zalegalizowany został Związek Strzelecki „Strzelec”, a Zaruski został szefem zakopiańskiej Kompanii Strzeleckiej. 5 sierpnia 1914 r. na wieść o tworzeniu się I Kompanii Kadrowej z Zakopanego wymaszerował do Krakowa dowodzony przez Zaruskiego oddział strzelców.

Dwa tygodnie później w Kielcach Zaruski przeszedł do tworzonego przez Władysława Belinę-Prażmowskiego 1. Pułku Ułanów Legionów Polskich. W grudniu został komendantem Szkoły Narciarskiej Legionów Polskich. Wiosną 1915 r. wrócił do kawalerii i został awansowany do stopnia rotmistrza. Brał udział w walkach z wojskami rosyjskimi na Kielecczyźnie, Podhalu, Lubelszczyźnie i Wołyniu.

Podczas kryzysu przysięgowego odmówił złożenia przysięgi wierności cesarzom Niemiec i Austrii. Został oskarżony o bunt i aresztowany. W grudniu 1917 r. zwolniono go z więzienia i austriackiej armii.

Wrócił do Zakopanego, gdzie stanął na czele Polskiej Organizacji Wojskowej na Podhalu. W październiku 1918 r. był też jednym z twórców „Rzeczypospolitej Zakopiańskiej”. Kilka tygodni później dowodził oddziałami zajmującymi polskie wsie na Orawie i Spiszu, a za swoją służbę w grudniu 1918 r. otrzymał awans do stopnia majora.

W lutym 1919 r. rozkazem Wodza Naczelnego Zaruski został dowódcą tworzącego się 11. Pułku ułanów, który wziął udział w operacji wyzwolenia Wilna. W Wielkanoc, 16 kwietnia 1919 r., jego żołnierze w brawurowym ataku zajęli wileński dworzec, uczestnicząc w ciężkich walkach na ulicach miasta. Za zdobycie dworca kolejowego w Wilnie otrzymał Krzyż Virtuti Militari.

Latem 1920 r. został awansowany na pułkownika. Po zakończeniu wojny polsko-bolszewickiej kontynuował karierę wojskową. Do lutego 1923 r. dowodził 23. Pułkiem Ułanów Grodzieńskich. Z funkcji tej ustąpił po objęciu stanowiska generalnego adiutanta prezydenta RP Stanisława Wojciechowskiego.

W 1924 r. otrzymał nominację na stopień generała brygady, pozostając przez cały czas, do 1925 r., adiutantem. Tuż przed zamachem majowym, 30 kwietnia 1926 r., przeszedł w stan spoczynku.

Jeszcze w trakcie służby u boku prezydenta zaangażował się w propagowanie idei morskiej. Następnie w okresie 1926–1930 był przewodniczącym komisji regulaminów morskich kierownictwa Marynarki Wojennej. Współorganizował również Yacht Klub Polski oraz Ligę Morską i Kolonialną.

W latach 1927–1932 pełnił funkcję sekretarza generalnego Komitetu Floty Narodowej. „Polska współczesna bez morza istnieć nie może” – pisał w pierwszym numerze wydawanego przez Komitet czasopisma. Aby zostać członkiem KFN, wystarczyła roczna wpłata na jej fundusz darowizny w wysokości co najmniej 1 zł. Społeczna zbiórka szybko przyniosła pierwsze efekty. Po zakupie kilku mniejszych jednostek szkoleniowych przyszedł czas na wielki żaglowiec. W 1929 r. Komitet zakupił niemiecką fregatę zwodowaną w 1909 r. 13 lipca 1930 r. w Gdyni nadano jej imię „Dar Pomorza”.

Zorganizował ponadto Morską Komisję Terminologiczną, która opracowała polską terminologię morską i opublikowała sześć tomów słowników porównawczych do wersji angielskiej, francuskiej, niemieckiej i rosyjskiej.

W początkach lat trzydziestych Zaruski cieszył się ogromnym autorytetem wśród środowisk żeglarskich, szczególnym szacunkiem darzyli go harcerze. W 1935 r. kierownictwo Harcerskich Drużyn Żeglarskich poprosiło go o objęcie funkcji kapitana na niedawno zakupionym żaglowcu „Zawisza Czarny”.

Ostatni rejs na „Zawiszy” ukończył latem 1939 r., nie popłynął w przygotowany na sierpień kolejny rejs. Postanowił nie opuszczać kraju w obliczu nadchodzącej wojny. Wyjechał z Gdyni i mimo zaawansowanego wieku zgłosił się do służby w mobilizowanej armii, do której nie został jednak przyjęty.

Od września 1939 r. ukrywał się we Lwowie. W 1940 r. został zadenuncjowany, aresztowany i skazany na pięć lat zesłania. Przez kilka miesięcy był przetrzymywany w więzieniu Brygidki we Lwowie, ale ze względu na chorobę serca w październiku 1940 r. został przetransportowany do szpitala więziennego w Chersoniu.

Według dokumentów szpitalnych zmarł 8 kwietnia 1941 r. Został pochowany na chersońskim cmentarzu, jednak nie udało się ustalić dokładnej lokalizacji grobu. Zaruski ma również symboliczną mogiłę na Pęksowym Brzyzku w Zakopanem oraz symboliczne miejsce pochówku w wodach Zatoki Gdańskiej, gdzie rozsypano ziemię z cmentarza w Chersoniu.