Przyszły biskup urodził się 19 listopada 1934 w wielodzietnej rodzinie we wsi Dolnaja na terenie parafii Niepokalanego Poczęcia NMP w mieście Iłukszta (Ilukste) na Łotwie. Lata szkolne przypadły na czas okupacji najpierw hitlerowskiej, a następnie sowieckiej, były dla niego trudnym wyzwaniem. Choć z powodu swego polskiego pochodzenia nie mógł się normalniej uczyć, ostatecznie zdołał w 1955 ukończyć szkołę średnią. Później rozpoczął pracę w kołchozie, aby łatwiej mógł wstąpić do seminarium.

1 września 1956 rozpoczął studia w Wyższym Seminarium Duchownym w Rydze, które też przebiegały w trudnych warunkach, w ciasnocie i ciągłych represjach ze strony władz. Na przykład w 1959 wygnano z seminarium 13 kleryków, tak iż zostało ich 21. 13 kwietnia 1961 biskup litewskiej diecezji Telsze – Petras Mazelis (1894-1966) wyświęcił go w stolicy Łotwy na kapłana. Neoprezbiter swoją Mszę św. prymicyjną mógł odprawić nie w rodzinnej parafii, ale tam, dokąd wysłano go jako wikariusza. Przez 16 lat był wikarym w różnych parafiach, po czym 23 kwietnia 1977 został proboszczem w miastach Indra i Krasław na Łotwie, w których większość stanowili Polacy.

Pochodzący z Łotwy księża pracujący na Ukrainie zaproponowali mu wyjazd do tej sowieckiej republiki. Pojawiła się możliwość pracy w Żytomierzu, gdyż miejscowy proboszcz ks. Stanisław Szczypta był ciężko chory i miejscowe władze pozwoliły mu, aby dobrał sobie pomocnika. 30 lipca 1977 otrzymał nominację na administratora parafii św. Zofii w Żytomierzu. Na stałe ks. Purwiński. Opuścił wówczas swoje ukochane "Polskie Inflanty", jak zwykł był nazywać Łotwę i 26 sierpnia – w uroczystość Matki Bożej Częstochowskiej – przybył do Żytomierza i zamieszkał przy tamtejszej katedrze. Przez kilka lat władze komunistyczne nie pozwalały mu wyjeżdżać z tego miasta i dopiero z czasem oficjalnie i nieoficjalnie zaczął odwiedzać skupiska Polaków w tym obwodzie i poza jego granicami. W tamtym czasie za odprawianie nabożeństw bez zezwolenia władz groziło cofnięcie rejestracji (każdy kapłan musiał mieć pozwolenie od władz na pracę duszpasterską, tzw. rejestrację), a nawet więzienie.

Gdy na początku 1991 stało się możliwe odnowienie katolickiej organizacji kościelnej w ówczesnym ZSRR, Jan Paweł II mianował 16 stycznia 1991 ks. proboszcza Purwińskiego pierwszym biskupem żytomierskim, a 25 listopada 1998 – kijowsko-żytomierskim. Sakry biskupiej w katedrze św. Zofii w Żytomierzu udzielił mu 4 marca 1991 ówczesny pierwszy nuncjusz apostolski w ZSRR abp Francesco Colasuonno.

Od początku swego posługiwania nowy ordynariusz działał energicznie na rzecz stworzenia struktur diecezjalnych: odzyskiwania zabranych niegdyś świątyń, ich odbudowy i budowy nowych, zakładania parafii i przede wszystkim odradzania życia duchowego. Doprowadził m.in. do utworzenia Wyższego Seminarium Duchownego w Worzelu k. Kijowa.

15 czerwca 2011 Benedykt XVI przyjął jego rezygnację z pełnionego urzędu.

Przez cały czas swej posługi kapłańskiej i biskupiej zmarły był nie tylko wiernym synem Kościoła katolickiego, ale także gorliwym obrońcą i ostoją polskości na dawnych Kresach. Na przykład dzięki jego zabiegom nie zlikwidowano polskiego cmentarza w Żytomierzu, na którym pochowano m.in. rodziców Ignacego Paderewskiego, rodzinę Stanisława Moniuszki i wielu innych sławnych Polaków. Biskup wspierał też swym autorytetem wszelkie inicjatywy miejscowych Polaków, a gdy trzeba było, również łagodził spory i waśnie. Za swoją działalność i patriotyzm w lipcu 2006 otrzymał order "Zasłużony dla Kultury Polskiej".