Wyszukiwanie

Wpisz co najmniej 3 znaki i wciśnij lupę
Polska

Kolejny raport z wykorzystaniem AI? W dokumencie błędy i nieistniejące źródła a kosztował pół miliona złotych!

498 tysięcy kosztował opublikowany przez Polską Agencję Rozwoju Przedsiębiorczości (PARP) raport „Benchmarking klastrów w Polsce – edycja 2024”. Pod lupę dokument wziął ekspert ds. komunikacji strategicznej Fundacji Obserwatorium Rozwoju Gospodarki i Demokracji Piotr Okulski. W opublikowanej w mediach społecznościowych analizie wskazuje, że w dokumencie znajduje się zmyślona bibliografia, sprzeczne informacje i liczne błędy językowe. Jak twierdzi, wiele wskazuje, iż do przygotowania raportu wykorzystana została sztuczna inteligencja.

Raport liczy około 380 stron i został wydany w czasach, kiedy PARP kierowała Katarzyna Duber-Stachurska, odwołana po aferze związanej z m.in. jachtami z Krajowego Planu Odbudowy. Według założeń dokument miał dać przekrojową analizę kondycji i potencjału klastrów w latach 2022 - 2023 oraz pokazać ich rolę w transformacji cyfrowej, zielonej i odpornościowej. Jak wynika z analizy Okulskiego, trudno ocenić raport jako wiarygodny.

Co trzecia pozycja w bibliografii wymaga poprawy

Najpoważniejsze zastrzeżenia dotyczą bibliografii. Okulski twierdzi, że spośród 67 pozycji bibliograficznych tylko 41 można uznać za względnie poprawne, natomiast pozostałe zawierają błędy lub braki. Jedna z pozycji ma być natomiast skonstruowana z połączenia informacji dotyczących różnych publikacji.

Jako przykład wskazano pozycję nr 55, dotyczącą odporności przedsiębiorstw tekstylnych. Według autora wpisu przypisane jej zostały niewłaściwe dane dotyczące autorów, czasopisma, numeru stron oraz DOI. W raporcie mają znajdować się również inne nieścisłości, m.in. błędne informacje o autorach i redaktorach publikacji, nieprawidłowe tytuły źródeł czy brak daty przy jednej z publikacji.

"Wysoce prawdopodobne, że ta bibliografia została wygenerowana przez starszą wersję modelu Open AI, Chat GPT. Szczegółowe oceny zostawiam specjalistom od AI"

– komentuje Okulski.

Rozbieżne dane

Autor analizy wskazuje ponadto na niespójności dotyczące prezentowanych danych. Dokument ma w różnych miejscach podawać odmienne informacje dotyczące liczby badanych klastrów, liczby podmiotów z infrastrukturą produkcyjną czy liczby klastrów zatrudniających od jednej do dwóch osób.

Podobne rozbieżności mają dotyczyć liczby analizowanych wskaźników. W jednej części raportu mowa jest o 90 wskaźnikach, w innej o 88. Raport ma również jednocześnie deklarować możliwość pełnego porównania wyników z poprzednią edycją badania i wskazywać, że bezpośrednie porównanie nie jest możliwe.

Wątpliwości wzbudziły także przedstawione w raporcie dane finansowe. Okulski wskazuje, że wartości dotyczące środków własnych i środków publicznych w niektórych zestawieniach znacząco przekraczają wskazany całkowity budżet. Jako przykład podał maksymalną wartość środków własnych wynoszącą 400 mln zł przy maksymalnym całkowitym budżecie określonym na 54,864 mln zł.

W dokumencie pozostały ślady

Ekspert wskazuje na jeden z adresów internetowych znajdujących się w bibliografii. W linku miał pozostać parametr „utm_source=chatgpt”, wskazujący na wcześniejsze wykorzystanie ChatGPT podczas pracy ze źródłem. Autor wpisu zwraca również uwagę na elementy znajdujące się w niewidocznej dla większości użytkowników warstwie dostępności dokumentu, gdzie miały pozostać komunikaty wskazujące na treści wygenerowane przez AI.

Okulski zastrzega, że nie twierdzi, iż sztuczna inteligencja napisała całe 380 stron. - Widoczne gołym okiem fakty są wystarczająco kompromitujące. Narzędzia AI uczestniczyły w przygotowaniu dokumentu, a automatycznie wygenerowane elementy trafiły do oficjalnej publikacji bez skutecznej weryfikacji. Podobnie jak nie poprawiono w pełni błędów językowych, literówek itp. - zaznaczył.

Konkretne pytania do PARP

Autor analizy wskazuje, że od twórców wymagano profesjonalnej korekty językowej, koordynatora badania, koordynatora jakości naukowej i recenzenta zewnętrznego. - Jak przez wszystkie te poziomy „kontroli” przeszła taka redakcyjna ruina? - pyta Okuslki, ale dodaje też również inne pytania:

  • Kto odebrał raport?
  • Kto podpisał protokoły?
  • Ile ostatecznie wypłacono?
  • Czy będą kary i poprawiona wersja dokumentu?

Jak przekazał, z pytaniami zwrócił się do PARP, ministerstwa go nadzorującego, wykonawców, Najwyższej Izby Kontroli NIK, Urzędu Zamówień Publicznych, Ministerstwa Cyfryzacji i Komisji Nadzoru Finansowego.

Źródło: niezalezna.pl

NAJNOWSZE Polska