– Współpraca z Fundacją „Instytut Lecha Wałęsy” i stosunki z byłym prezydentem to temat zamknięty. To jest koniec naszej znajomości. Nie mam najmniejszego zamiaru kiedykolwiek z nim rozmawiać, kiedykolwiek się z nim spotkać. To jest rozdział zamknięty – powiedział „Wprost” Milczanowski.
O samym Wałęsie były szef MSW nie chce zbytnio rozmawiać, bo twierdzi, że chce zachować się wobec niego „elegancko”. – Odszedłem na skutek drastycznie odmiennej oceny tzw. sprawy Józefa Oleksego. To był jedyny powód mojego natychmiastowego odejścia z fundacji. Gdybym się tak nie zachował, gdybym nie podziękował Wałęsie za pracę w jego fundacji, to po prostu byłbym szmaciarzem – tłumaczy.
Zapewnia jednak, że nie ma w nim zaciekłości wobec niedawno zmarłego Józefa Oleksego. Przyznaje, że był człowiekiem „wysokiej inteligencji”, ale zaznacza jednocześnie, że otwartość Oleksego – „ta jego serdeczność, to ciepło, które wielu wspomina” – to są „cechy, które są wielce przydatne do pracy wywiadowczej, operacyjnej, to są wielce przydatne cechy, to się bierze pod uwagę przy pozyskiwaniu do współpracy”. – Powiem w cudzysłowie: ja się na to nabrać nie daję. Przeciwnie, uczy mnie to ostrożności – zaznacza Milczanowski w rozmowie z „Wprost”.
Andrzej Milczanowski pełnił funkcję szefa Urzędu Ochrony Państwa od sierpnia 1990 do stycznia 1992 oraz od czerwca do lipca 1992. W lipcu 1992 został powołany na stanowisko ministra spraw wewnętrznych. Podał się do dymisji 22 grudnia 1995 po wyborze Aleksandra Kwaśniewskiego na prezydenta.
Dzień przed złożeniem dymisji udzielił w Sejmie informacji o współpracy premiera Józefa Oleksego z radzieckimi i rosyjskimi służbami specjalnymi, co dało początek tzw. „aferze Olina”. Zarzuty przeciwko Oleksemu nie zostały nigdy oficjalnie potwierdzone, zaś prokuratura wytoczyła Milczanowskiemu zarzut ujawnienia tajemnicy państwowej. 18 lutego 2008 sąd uznał, że Milczanowski ujawnił tajemnicę, ale działał w stanie wyższej konieczności i uniewinnił go. W listopadzie 2008 Sąd Apelacyjny w Warszawie uchylił ten wyrok z przyczyn formalnych i zwrócił sprawę do ponownego rozpatrzenia. 28 lipca 2009 zapadł ponowny wyrok uniewinniający.