Linch. Dowód na to, że pierwsza papieska encyklika na temat sztucznej inteligencji została w dużej mierze napisana przez sztuczną inteligencję

W godzinach porannych Dnia Pamięci, moi przyjaciele i ja siedzieliśmy do 4:30 rano czasu kalifornijskiego, aby wysłuchać ogłoszenia pierwszej encykliki papieża Leona XIII, Magnifica Humanitas , o ochronie osoby ludzkiej w dobie sztucznej inteligencji. Byliśmy podekscytowani, choć senni, z niecierpliwością oczekując wydarzenia i zbliżającego się eseju czołowego światowego autorytetu religijnego na temat tak istotnego dla naszego świata zagadnienia. Mimo to byliśmy niecodzienną publicznością podczas tej prezentacji: nikt z nas nie był praktykującym katolikiem, a większość z nas nie wiedziała, czego się spodziewać.

Uważam, że przemówienie samego papieża Leona było dobre i poruszyło obecny stan sztucznej inteligencji z należytą powagą. Pozostałe przemówienia, w tym Chrisa Olaha, były mniej imponujące. Ale to nic, nie jestem docelowym odbiorcą!

Jednakże pewien konkretny pogląd kardynała zwrócił moją uwagę:

Kardynał Parolin w podtytule położył szczególny nacisk na konkretny wybór przyimkowy: „ sulla custodia della persona umana nel tempo dell'intelligenza artificiale ”, co tłumacz na żywo przetłumaczył mniej więcej tak: „o ochronie osoby ludzkiej w czasach sztucznej inteligencji”, a nie „ sull'intelligenza artificiale ” – „o sztucznej inteligencji”.

To miało być wielkie wydarzenie. „ W czasach sztucznej inteligencji” rzekomo stawia człowieka w centrum narracji teologicznej, podczas gdy pierwsza papieska encyklika o sztucznej inteligencji zbyt mocno skupia się na samej technologii, a nie na reakcjach człowieka i społeczeństwa. Fascynująca pozycja!

Choć, jak wykaże moja dalsza analiza, być może bardziej odpowiednim przyimkiem w tym przypadku jest „ przez ”. Mam na myśli pierwszą na świecie papieską encyklikę napisaną w dużej części przez AI.

 

W moim artykule zawarłem następujące twierdzenia, z których mam nadzieję, że uda mi się Cię przekonać:

1. Znaczna część niedawnej encykliki papieskiej została napisana przez sztuczną inteligencję. Przedstawiam na to liczne dowody.

2. Możemy potwierdzić wibracje i tonację za pomocą dowodów statystycznych. Frazy i interpunkcja, znacznie częściej używane przez sztuczną inteligencję, są w tej encyklice papieskiej znacznie częściej obecne niż w poprzednich encyklikach.

3. Najlepszy dostępny komercyjnie detektor sztucznej inteligencji (AI), Pangram, zauważa, że ​​niektóre akapity zawierają od 40% do 100% AI, podczas gdy większość akapitów zawiera 0% AI.

   1. Jest mało prawdopodobne, aby był to wynik fałszywie dodatni:

      1. 0% akapitów w starszych encyklikach, które sprawdziłem, zostało zarejestrowanych jako sztuczna inteligencja.

      2. Pangram ma ogólnie bardzo niski wskaźnik wyników fałszywie dodatnich

4. Ogólnie rzecz biorąc, jest bardzo mało prawdopodobne, aby był to artefakt tłumaczenia (w tym tłumaczenia AI). Ponownie mamy wiele dowodów:

   1. Wszystkie najbardziej widoczne oznaki sztucznej inteligencji, jakie zaobserwowałem w języku angielskim, zostały dosłownie zachowane w wersji włoskiej, jak również w innych tłumaczeniach.

   2. Włoska wersja obecnej encykliki również została oznaczona jako sztuczna inteligencja przez Pangram (właściwie częściej niż wersja angielska), choć nie znam żadnych badań naukowych ani rygorystycznych testów usługi Pangram w odniesieniu do języka włoskiego)

   3. Backtesting AI tłumaczenia poprzednich encyklik – 0% na Pangram

5. Konkretnie użyta sztuczna inteligencja to najprawdopodobniej Claude, sądząc po dowodach tekstowych i poszlakach.

6. Różne fragmenty encykliki wykazują bardzo zróżnicowane wskaźniki wykorzystania sztucznej inteligencji. Wskazuje to moim zdaniem, że niektórzy kardynałowie korzystali ze wsparcia sztucznej inteligencji przy pisaniu tej encykliki, a wielu (prawdopodobnie w tym sam papież Leon XIII) nie.

7. Każdy pojedynczy dowód można wytłumaczyć, ale moim zdaniem bardzo trudno jest odrzucić zbiorczą zgodność dowodów pochodzących z różnych punktów widzenia i różnych źródeł.

 

Znaczne fragmenty niedawnej encykliki papieskiej zostały napisane przez sztuczną inteligencję

 

Początkowo z wielkim entuzjazmem przeczytałem pierwszą encyklikę papieża Leona XIII, długi traktat o zachowaniu człowieczeństwa w epoce sztucznej inteligencji. Powiązania między sztuczną inteligencją a reakcją społeczeństwa to jedno z moich największych zainteresowań intelektualnych i osobistych, a fakt, że czołowy autorytet religijny na świecie podziela moje osobiste i zawodowe obsesje, jest zarówno ekscytujący, jak i ulgą.

Mimo to – gdy czytałem dalej – pewne wersy wydały mi się zbyt gładkie, zbyt triadyczne, zbyt… nieludzkie :

„Technologia ma moc uzdrawiania, łączenia, edukowania i ochrony naszego wspólnego domu; ale może również dzielić, wykluczać i generować nowe formy niesprawiedliwości. W teorii technologia sama w sobie nie jest rozwiązaniem problemów ludzkości, tak jak nie jest z natury zła. W praktyce jednak technologia nigdy nie jest neutralna, ponieważ przejmuje cechy tych, którzy ją opracowują, finansują, regulują i wykorzystują”.

„Musimy zatem unikać «syndromu wieży Babel», czyli bałwochwalstwa zysku, które poświęca słabych, jednolitości, która neutralizuje różnice, oraz udawania, że ​​jeden język – nawet cyfrowy – może przełożyć wszystko, w tym tajemnicę osoby, na dane i wydajność. Ryzyko dehumanizacji – budowania przyszłości wykluczającej Boga i sprowadzającej drugiego człowieka do roli środka – to starożytna i wciąż nowa pokusa, która dziś przybiera techniczny charakter”.

„Dialog z tego rodzaju wiedzą nie umniejsza mocy Ewangelii. Wręcz przeciwnie, pozwala z większą jasnością określić, co autentycznie sprzyja życiu jednostek i społeczności”.

„nadać trwałą formę temu spojrzeniu na szczeblu kościelnym i międzynarodowym, mając jednocześnie na uwadze rosnącą przepaść między krajami bogatymi i biednymi oraz potrzebę polityk, które rzeczywiście będą promować bardziej humanitarne warunki życia dla wszystkich”.

„Nie możemy poprzestać na samym wzywaniu do moralizatorstwa maszyn – tak zwanego „dopasowania” sztucznej inteligencji do wartości ludzkich – nie mając jednocześnie odwagi, by domagać się kolejnego warunku: możliwości otwartej dyskusji na temat ram etycznych i podporządkowania ich wspólnym standardom sprawiedliwości społecznej”.

W ramach mojej pracy regularnie czytam teksty generowane przez sztuczną inteligencję i uważam, że nabyłem bardzo dobrą intuicję w odróżnianiu tekstów generowanych przez sztuczną inteligencję od tekstów tworzonych przez ludzi, również w tekstach formalnych (zarówno akademickich, jak i innych). Mimo to, każde pojedyncze zdanie, które wydaje się być wygenerowane przez sztuczną inteligencję, może być dla mnie fałszywie dodatnie, co wynika z mojego nadwrażliwego nosa na sztuczną inteligencję 1 . Jednak sama gęstość tych zdań i ogólny ton w poszczególnych akapitach wydają się mało prawdopodobne, ponieważ są przypadkowym artefaktem.

Jednakże z pewnością mogę się mylić i nie powinieneś wierzyć moim przeczuciom ani osądom opartym na autorytetach („Zaufaj mi, stary”).

Intuicja, samookreślone osądy eksperckie i luźne rozumowanie werbalne mogą być dobrym punktem wyjścia do dochodzenia, ale jeśli chcemy mieć pewność co do naszych wniosków, musimy przeprowadzić dalsze i bardziej systematyczne badania.

 

Dowody statystyczne i wskazówki

 

Trzy powszechne i dobrze znane znaki rozpoznawcze w pisaniu tekstów o sztucznej inteligencji — czasami rzeczywiście stosowane przez ludzi, ale nigdy w przypadku ich rozrzutnego stosowania przez sztuczną inteligencję — to regularne używanie myślników, wysoka częstotliwość występowania określonych słów, takich jak „naprawdę”, i tendencja do wielokrotnego przywoływania trójkropków.

Przyjrzyjmy się każdemu z nich po kolei:

myślniki

 

Myślnik („—”) to znak interpunkcyjny, który jest zdecydowanie najsilniej kojarzony ze sztuczną inteligencją. Jest on również użyty 127 razy w Magnifica Humanitas , znacznie częściej niż w poprzednich encyklikach.

Magnifica Humanitas: 127 razy myślnik, 6 razy myślnik (–), te ostatnie tylko w cytatach. 2

Dilexit Nos (2024) : 0 razy myślnik, 26 myślników, w tym 2 w cytowaniach. Stosunkowo długi dokument. 3

Laudate Deum (2023): 0 razy myślnik, 12 razy myślnik. Znacznie krótsze. Oficjalnie nie jest też encykliką.

Fratelli Tutti (2020): 0 razy myślnik, 46 półpauz, z czego około 5-10 w cudzysłowie lub cytatach. Należy pamiętać, że jest to o 50% dłuższe niż Magnifica Humanitas.

Laudato Si' (2016) : 0 razy myślnik, 25 razy myślnik, z czego około 10 razy w cytatach (cały tekst wydaje się zawierać wiele cytatów). Podobna długość do Magnifica Humanitas

Lumen Fidei (2013): 26 razy em-pauza, 0 razy en-pauza. Niektóre em-kreski w cytatach.

Należy zauważyć, że to porównanie w rzeczywistości bagatelizuje dziwaczność myślników w zwrocie Magnifica Humanitas. Na przykład w zwrocie Lumen Fidei wiele myślników działa podobnie do dwukropków w standardowym języku angielskim. Typowe zastosowanie wygląda następująco:

To, co przekazali Apostołowie – jak stwierdza Sobór Watykański II – „obejmuje wszystko, co służy Ludowi Bożemu do prowadzenia świętego życia i pomnażania jego wiary. W ten sposób Kościół, w swojej nauce, życiu i kulcie, utrwala i przekazuje każdemu pokoleniu to, czym sam jest, to, w co wierzy”.

Używanie myślników jako zamienników dwukropków jest dość powszechne w formalnym (ludzkim) piśmie angielskim, ale praktycznie nie występuje w języku angielskim LLM. Nie zauważyłem też, aby myślniki były używane w ten sposób w Magnifica Humanitas (choć przy 127 przypadkach, sprawdzanie ich wszystkich było irytujące!).

"Prawdziwie"

 

„Naprawdę” to sformułowanie wielokrotnie używane przez Claude'a, modela firmy Anthropic. Jest ono niezwykle oczywiste dla każdego, kto regularnie go używa. Sytuacja stała się tak poważna, że ​​w wyciekłych komunikatach systemowych Anthropic próbował wyraźnie zakazać Claude'owi używania tego słowa!

1.4 Ton i formatowanie

[...]

Claude unika używania określeń „naprawdę”, „uczciwie” i „bezpośrednio”. 4

O ile mogłem stwierdzić, nakaz ten nie jest i nie był skuteczny.

Rzeczywiście, w „ Claude Constitution ” firmy Anthropic , którą wiele osób uważa za w znacznym stopniu wspomaganą przez sztuczną inteligencję, sformułowanie „naprawdę” użyto 33 razy, a w sumie autentyczny – 50 razy (włącznie).

Jak często w Magnifica Humanitas pojawia się zwrot „naprawdę” ?

 

Mniej niż w dokumentach antropicznych, ale znacznie więcej niż w dawnych pismach papieskich.

Dokładnie rzecz biorąc, słowo „autentycznie” zostało użyte 9 razy, a słowo „autentyczne” ogółem (włącznie) 22 razy we wczorajszej encyklice, w porównaniu z odpowiednio 0 i 5 razy w numerze Dilexit Nos, który ma podobną długość. W kilku innych encyklikach, które przejrzałem, najwięcej wystąpień wyniosło odpowiednio 3 i 10.

Wszystkie te sygnały mają charakter statystyczny. Każdy pojedynczy przypadek „autentyczności” jest prawdopodobnie wynikiem normalnej ludzkiej intencji komunikacyjnej, która jest, cóż, autentyczna. Jednak sama częstotliwość tych zdarzeń, znacznie odbiegająca od wcześniejszych norm i normalnej ludzkiej mowy, silnie sugeruje syntetyczne pochodzenie.

Czy jest to spowodowane tematyką?

 

Oczywistą odpowiedzią, jaką można by mieć, jest to, że dobór słów w esejach naturalnie nie jest niezależny od tematu. I z pewnością wydaje się, że encyklika o sztucznej inteligencji może bardziej niż inne encykliki rozważać kwestię autentyczności! Na przykład esej o deepfake'ach związanych ze sztuczną inteligencją może być znacznie bardziej skupiony na tym, co czyni film „autentycznie ludzkim” niż esej o zmianach klimatu.

Aby zbadać tę hipotezę, szczegółowo przeanalizowałem każde użycie słowa authenticly w tej encyklice:

[Par 23] „Dialog z tego rodzaju wiedzą nie umniejsza mocy Ewangelii. Wręcz przeciwnie, pozwala z większą jasnością określić, co autentycznie sprzyja życiu jednostek i wspólnot. Kierując się tą perspektywą, papież Franciszek [...] uznaje wagę słuchania badań naukowych i zachęcania do poważnej i uczciwej debaty między ekspertami, przy jednoczesnym otwarciu na różnorodność opinii”.

„Prawdziwie” nie wydaje się tutaj kluczowe, ani nie odnosi się konkretnie do kwestii sztucznej inteligencji i autentyczności.

[Par 35] Utworzenie Papieskiej Komisji Iustitia et Pax należy postrzegać w tym kontekście również jako próbę nadania tej refleksji trwałej formy na szczeblu kościelnym i międzynarodowym, mając na uwadze rosnącą przepaść między krajami bogatymi i biednymi oraz potrzebę polityki, która rzeczywiście będzie promować bardziej humanitarne warunki życia dla wszystkich.

Również nie jest to tutaj krytyczne.

[Par 40] W swojej encyklice społecznej Caritas in veritate papież Benedykt XVI starał się na nowo ocenić i poszerzyć koncepcję rozwoju przedstawioną w Populorum progressio, interpretując ją w świetle globalizacji. Zauważył, że rozwój taki powinien przełożyć się na „prawdziwy wzrost, korzystny dla wszystkich i autentycznie zrównoważony”. [42]

Wygląda na to, że jest to cytat, więc pominę to. 5

[Par 57] Wraz z rosnącą świadomością wartości każdej osoby ludzkiej i jej praw, wzrosło również uznanie praw mniejszości. Wciąż jednak daleka droga do zapewnienia, że ​​prawa tak wielu osób, a zwłaszcza kobiet, będą równe i rzeczywiście zagwarantowane na całym świecie.

Ponownie, nie wydaje się, aby „naprawdę” było endogenicznie związane z tematem

[Par 100] Sztuczna imitacja pozytywnej komunikacji międzyludzkiej – rady, empatii, przyjaźni, a nawet miłości – może być angażująca, a czasem wręcz pomocna. Jednak dla mniej wymagających użytkowników może być również myląca, stwarzając iluzję relacji z prawdziwym, osobistym podmiotem. Symulowane słowa nie budują autentycznych relacji, a jedynie pozory. Sztuczna imitacja troski lub wsparcia może stać się szczególnie ryzykowna w kontekstach, w których brakuje prawdziwych relacji i więzi emocjonalnych. W tym przypadku niebezpieczeństwo polega nie tyle na tym, że dana osoba może uwierzyć, że komunikuje się z inną osobą, co na tym, że stopniowo straci pragnienie nawiązywania autentycznych relacji międzyludzkich.

…rozumiesz, o co chodzi. 6

Rzeczywiście, spośród wszystkich 9 przypadków użycia słowa „autentycznie” w encyklice, tylko ostatnie użycie („Kiedy ludzie zaczynają wierzyć, że nic nie jest prawdziwie prawdą, a zasady to puste słowa, wówczas w ich sercach zapala się lont, który zapala nowe wybuchy nietolerancji i agresji”) wydaje się semantycznie krytyczne. Jeśli pominiemy to i cytat papieża Benedykta, pozostaje nam 7/9 podejrzanych zastosowań.

Ponownie, żeby było jasne, każdy indywidualny przypadek jest prawdopodobnie normalny, autentyczny i prawdziwy. Jednak statystyczny wzorzec powtarzających się przywołań jest dość podejrzany!

Czy jest to jedynie dziwactwo osobowości papieża Leona XIV?

 

Inną możliwością jest to, że może to być po prostu osobliwość/specyficzny kaprys papieża Leona XIV? Może po prostu szczerze lubi to słowo?

Bóg jeden wie, że ja także mam dziwne dziwactwa osobowości, jeśli chodzi o pisanie, a niektóre z nich mają niefortunne podobieństwo do sztucznej inteligencji .

Ostatecznie uważam, że jest to prawdopodobne, ale mało prawdopodobne. Po pierwsze, papieże zazwyczaj nie piszą zbyt często tekstu swoich encyklik . Jest więc mało prawdopodobne, aby tak specyficzne uwarunkowania stylistyczne, jak użycie przysłówków, przeniknęły do ​​ostatecznych wersji. Z drugiej strony, jestem znacznie bardziej otwarty na to, że konstrukcje wyższego rzędu, takie jak obrazowanie, tematyka czy ulubione fragmenty Biblii, będą znacznie bardziej widoczne w encyklikach niektórych papieży niż w innych.

Co więcej, często używane konkretne zwroty pojawiają się obok innych podejrzanych „podpowiedzi sztucznej inteligencji” (więcej na ten temat później).

Niestety, nie mam łatwego dostępu do wielu (przedpontyfikalnych) pism papieża Leona, aby zweryfikować tę alternatywną hipotezę. Znalazłem jednak rozdział 2 („Autorytet lokalnego przeora”) jego rozprawy doktorskiej z 1987 roku tutaj . Na 14 stronach (mniej więcej tyle, ile liczy post, który czytasz), rozdział przyszłego papieża Leona nie zawiera żadnych słów „autentyczny” ani „autentycznie”, a w jego prozie nie ma żadnych myślników. 7

(Z chęcią poszerzę moją analizę o osoby mające dostęp do pełnej wersji rozprawy w wersji drukowanej).

Gęstość trójokrężnicy

 

Wspólną cechą prac pisemnych LLM jest wielokrotne odwoływanie się do trikolonu: serii trzech równoległych słów, fraz lub zdań używanych w celu wywołania efektu retorycznego.

Zauważyłem sporo odwołań do trikolonu w Magnifica Humanitas. Było to szczególnie zauważalne w fragmentach, które poza tym zawierały inne elementy sztucznej inteligencji.

Niestety, w przeciwieństwie do słowa „autentycznie” czy myślników, trudniej jest to bezpośrednio zaobserwować lub ustalić punkt odniesienia, ponieważ nie mogę skorzystać z funkcji automatycznego wyszukiwania w Chrome, liczenie ręczne jest irytujące, a do tego istnieje wiele przypadków skrajnych.

Mimo wszystko podjąłem próbę wykorzystania mojego kodu Claude Agent AI (Claude Opus 4.7 1M XHigh), aby przetestować go na studiach, porównując Magnifica Humanitas z trzema encyklikami Franciszka, dwoma Benedykta, jedną wspólną encykliką Benedykta i Franciszka oraz jedną Leona XIII (który napisał Rerum Novarum , na której w dużej mierze oparta jest obecna encyklika na temat sztucznej inteligencji).

 

Myślę, że to częściowe potwierdzenie mojej hipotezy. Ścisłe trikolony wydają się zauważalnie bardziej widoczne w pismach papieża Leona XIV niż u poprzednich papieży, których porównywaliśmy.

Niestety (dla mojej hipotezy) występują również znaczne różnice w encyklikach autorstwa/zleconych przez poprzednich papieży. W szczególności trikolony występują znacznie częściej w pismach Benedykta niż Franciszka. Zatem ten prosty test jest sugestywny, ale nie wyklucza normalnej zmienności u ludzi.

Co więcej, skan LLM to szacunki przybliżone. Kwestia markerów triadycznych jest wrodzona i subiektywna (w przeciwieństwie do bardziej bezpośrednich wskazówek słownictwa lub interpunkcji). Chętnie powtórzę moje próby, albo za pomocą innej metodologii agenta AI, albo (najlepiej) z kimś bardziej cierpliwym ode mnie, kto będzie chciał to ręcznie policzyć i zweryfikować.

Czy mamy inne źródła dowodów, którymi możemy się posłużyć? Tak, możemy skorzystać z automatycznych detektorów AI, a konkretnie z Pangrama.

Analiza Pangrama

 

Pangram to zdecydowanie najlepszy dostępny komercyjnie detektor sztucznej inteligencji (AI) . Jest znacznie lepszy od innych detektorów AI, do tego stopnia, że ​​w porównaniu z nimi inne są praktycznie bezużyteczne. W szczególności Pangram optymalizuje się bardzo intensywnie, aby uzyskać wskaźnik fałszywie dodatnich wyników bliski zeru, jednocześnie radząc sobie lepiej z wynikami fałszywie ujemnymi.

Oznacza to, że jeśli widzisz w internecie tekst, który Pangram oznaczy jako AI, powinieneś być bardzo pewien, że to AI. Natomiast jeśli masz tekst, który Pangram oznaczy jako w 100% ludzki, nadal powinieneś zachować uzasadniony sceptycyzm, zwłaszcza jeśli masz inne podejrzenia. Jak więc wypadła wczorajsza encyklika?

Gdy wkleiłem pierwsze dwadzieścia akapitów encykliki w 8 , Pangram oznaczył 11% z nich jako sztuczną inteligencję.

 

Pangram w szczególności jest bardzo podejrzliwy wobec paragrafów 7-8.

 

Cokolwiek by to znaczyło, ja również podchodziłem do tego fragmentu z pewną podejrzliwością. „To było imponujące osiągnięcie: jeden język, jedna technologia, jeden kierunek” brzmiało dla mnie odrobinę zbyt sztampowo.

Przyglądając się fragmentom encykliki, zauważamy powtarzający się schemat.

 

Niektóre sekcje rejestrują się jako w zasadzie 0% AI, podczas gdy inne wydają się być o wiele bardziej AI.

 

Wskazuje to moim zdaniem, że niektórzy wysocy rangą urzędnicy watykańscy, którzy przyczynili się do powstania encykliki, intensywnie korzystali ze wsparcia sztucznej inteligencji, a większość (prawdopodobnie w tym sam papież Leon XIII) tego nie robiła. Więcej na ten temat później.

Porównanie z innymi encyklikami

 

Naturalnie możesz być sceptyczny wobec analizy Pangrama. W końcu, być może nie słyszałeś o Pangramie (ani o mnie) do dziś. Poza tym, Pangram prawdopodobnie został wyszkolony na danych internetowych, a jego głównym zastosowaniem jest wykrywanie sztucznej inteligencji we wpisach na blogach, w mediach społecznościowych, recenzjach filmów, artykułach naukowych i tak dalej. Jakie mamy dowody na to, że nadaje się do zadania tak wykraczającego poza dystrybucję, jak encykliki papieskie? Może detektor jest po prostu zdezorientowany przez niezwykle pobożne symbole?

Aby przetestować tę hipotezę, uruchomiłem Pangram na czterech poprzednich encyklikach . Pierwsze 20 akapitów w każdej z nich zostało ocenionych jako w 100% ludzkie, i to z dużą pewnością:

Pangram o niektórych poprzednich encyklikach

Sprawdziłem również pisma papieża Benedykta i Jana Pawła II na wypadek, gdyby papież Franciszek miał wyjątkowo ludzkie podejście. Sprawdziłem też encykliki papieży Leona XIII i XII (zarówno po angielsku, jak i po łacinie), na wypadek, gdyby Pangram był uprzedzony do Leona. Wszystkie w 100% ludzkie, jak można się było spodziewać.

Porównanie z przemówieniem papieża Leona XIV

 

Przetestowałem to również na transkrypcji przemówienia papieża Leona XIII zapowiadającego wczorajszą encyklikę. 100% Human na Pangram. To dowód na to, że sam papież Leon XIII i/lub jego główny autor przemówień nie używają sztucznej inteligencji do tworzenia swoich przemówień.

(Nawiasem mówiąc, „genuine(ly)” pojawia się 0 razy w transkrypcji. Chociaż myślniki pojawiają się trzy razy).

Pasek boczny: Pangram ma ogólnie bardzo niski wskaźnik fałszywie dodatnich wyników

 

Myślę, że dowody zawarte w encyklice powinny być dość przekonujące. Ale niezależnie od tego, jestem głęboko przekonany, że Pangram ma generalnie bardzo niski wskaźnik fałszywie dodatnich wyników. Zaobserwowałem to zarówno w badaniach naukowych , jak i w moich własnych testach:

W przeszłości dziesiątki, jeśli nie setki razy, testowałem teksty, co do których jestem pewien, że nie są dziełem sztucznej inteligencji (np. teksty mojego autorstwa lub sprzed 2021 roku), w Pangramie i wielokrotnie otrzymywałem 100% odpowiedzi „ludzkich”. To wskazuje, że ich reklamowany bardzo niski wskaźnik fałszywie dodatnich wyników jest prawdziwy.

Natomiast wskaźnik wyników fałszywie negatywnych jest znacznie wyższy: czasami prosiłem sztuczną inteligencję o przeczytanie mojego konspektu i wygenerowanie wersji roboczej, w ramach testu. Pangram wychwytuje to tylko czasami , choć mam wrażenie, że w ciągu ostatnich kilku miesięcy nastąpiła poprawa.

Więc generalnie powinieneś ufać, że tekst oznaczony przez Pangram jako sztuczna inteligencja jest prawdopodobnie sztuczną inteligencją, zachowując jednocześnie zdrową podejrzliwość wobec tekstu oznaczonego przez Pangram jako niebędącego sztuczną inteligencją.

Prawdopodobnie nie jest to artefakt tłumaczenia

 

Jednym z potencjalnych czynników łagodzących jest to, że jest to artefakt tłumaczeniowy: (ludzcy) wysocy rangą urzędnicy kościelni napisali oryginalną encyklikę w swoim ojczystym języku (być może włoskim), a tłumacze , a nie autorzy, byli leniwi i w znacznym stopniu korzystali ze wsparcia sztucznej inteligencji przy tłumaczeniu na angielski. Nie mogę wykluczyć tej hipotezy, ale obecnie uważam ją za bardzo mało prawdopodobną.

Te same oznaki sztucznej inteligencji, które obserwuję w języku angielskim, są w zasadzie zachowane dosłownie w wersji włoskiej

 

Jeśli zaobserwowane przeze mnie wyraźne oznaki sztucznej inteligencji („podpowiadają”) są wynikiem leniwych tłumaczy języka angielskiego, powinniśmy się spodziewać, że w innych językach, szczególnie w języku źródłowym, będą one wyglądać inaczej.

Aby to sprawdzić, przekazałem wszystkie zauważone przeze mnie sygnały w angielskiej i włoskiej wersji encykliki dwóm agentom oprogramowania – Claude Opus 4.7 i ChatGPT 5.5 Pro, prawdopodobnie najsilniejszym komercyjnie dostępnym modelom językowym – aby sprawdzić, czy sygnały zostały zachowane w języku włoskim. Obaj agenci uważają, że sygnały zostały zachowane dosłownie (patrz zrzut ekranu Claude'a poniżej):

 

Mimo to, sam nie mówię po włosku i nie mogę osobiście zweryfikować wyników. Chętnie przyjmę replikacje. Podejrzliwi czytelnicy, którzy mówią po włosku, a zwłaszcza włoscy native speakerzy, którzy znają brzmienie AI w tym języku, powinni spróbować zweryfikować wyniki samodzielnie!

Włoska wersja obecnej encykliki również została oznaczona przez Pangram jako AI

 

Jeśli wyniki wyszukiwania w języku angielskim w Pangramie wynikają z nadmiernej technofilii lub leniwych tłumaczy z włoskiego na angielski, powinniśmy oczekiwać, że oryginalne włoskie wyniki otrzymają 0%, a tłumaczenia angielskie zostaną oznaczone. Nie obserwujemy tego (ponownie pierwsze dwadzieścia akapitów).

Zamiast tego , sekcje oznaczone flagą włoską wydają się być rozszerzeniem sekcji oznaczonych flagą angielską. Naiwnie sugerowałoby to, że większość, a nie mniej, sekcji włoskich została opracowana przez sztuczną inteligencję.

(Zobacz dalszą analizę Daniela Filana)

Mimo to nie wiem, jak dokładny jest włoski Pangram. Wszystkie znane mi badania naukowe dotyczące dokładności Pangrama (i moje własne eksperymenty) są po angielsku.

Backtesting AI tłumaczenia poprzednich encyklik – 0% na Pangram

 

Inne spojrzenie na hipotezę artefaktu tłumaczenia: Załóżmy, że piszesz artykuł w 100% organicznie, będąc człowiekiem, a następnie używasz sztucznej inteligencji do jego przetłumaczenia. Czy Pangram w ogóle to zaznacza?

O ile wiem, odpowiedź brzmi: nie! (Podziękowania dla Daniela Filana za tę metodologię)

Wybrałem losowy fragment książki Fratelli Tutti w języku włoskim i poprosiłem 3 wiodące modele graniczne (Gemini 3.1, ChatGPT 5.5, Claude 4.7) o przetłumaczenie go na angielski, przy wyłączonej wyszukiwarce internetowej. Każde tłumaczenie różni się od oficjalnego tłumaczenia watykańskiego (i od siebie nawzajem).

Pangram odczytuje wszystkie trzy teksty jak w 100% człowiek. ( Wyniki Gemini , wyniki Claude , wyniki ChatGPT )

Dla mnie stanowi to kolejny dowód na to, że wszelkie oznaki sztucznej inteligencji wykryte przez Pangram w Magnifica Humanitas pochodzą z cech stylistycznych obecnych w różnych językach, a nie z artefaktów prawdopodobnie wprowadzonych przez sztuczną inteligencję w tłumaczeniu.

Udział

Konkretna użyta sztuczna inteligencja to prawdopodobnie Claude

 

Sztuczną inteligencją, z której najczęściej korzystam w pracy, jest Claude firmy Anthropic. Mam dobre wyczucie jej ukrytego rytmu, sposobu argumentowania oraz ulubionego słownictwa i składni. 9

Sądzę, że rozpoznałem ten sam głos Claude'a w niedawnej encyklice papieskiej o ochronie osoby ludzkiej w erze sztucznej inteligencji. Trochę ironiczne, zważywszy na to.

Niestety, moje główne powody, dla których tak uważam, są nieco idiosynkratyczne i niezrozumiałe, a zatem bardziej prawdopodobne, że są błędne. A hipoteza „autorstwa Claude’a” jest oczywiście mniej istotna do udowodnienia niż hipoteza „autorstwa sztucznej inteligencji”, biorąc wszystko pod uwagę.

Chcę jednak przedstawić pewne dowody tekstowe, które przemawiają na korzyść Claude'a w stosunku do innych modeli 10 .

Tekstowy

 

Wspomniane „autentycznie” silnie nosi ślady Claude’a. Jest to bardzo charakterystyczny styl Claude/Anthropic i jest regularnie używany zarówno w wewnętrznej, jak i zewnętrznej komunikacji Anthropic na temat natury Claude’a, a także w jego powtarzających się wypowiedziach. Szczerze mówiąc, widuję ostatnio „autentycznie” tak często, że to słowo przestało być dla mnie realne i całkowicie straciłam umiejętność jego poprawnej pisowni, nie mówiąc już o docenianiu go w kontekście.

Może jest w tym jakaś metafora autentyczności w erze sztucznej inteligencji? Nie, pewnie przesadzam.

Niezależnie od tego, wielokrotne użycie słowa genuinely w Magnifica Humanitas silnie wskazuje na odciski palców charakterystyczne dla Claude’a.

Przeciwko ChatGPT

 

Zastosowanie tej samej analizy do odcisków palców ChatGPT daje wynik negatywny. Słowa, które najbardziej kojarzą mi się z ChatGPT („ głębić ”, „skrupulatny”, „gobelin”, „ gobliny ”), a nie z innymi LLM-ami, nie pojawiają się ani razu w angielskiej encyklice.

Jest to umiarkowany dowód przeciwko znaczącemu wykorzystaniu ChatGPT.

Nie wiem wystarczająco dużo o sygnałach charakterystycznych dla innych modeli (Gemini, Grok, Mistral, DeepSeek, Kimi itd.). Chętnie zobaczę replikacje!

Różne części encykliki wykazują bardzo różne wskaźniki widocznego wykorzystania sztucznej inteligencji

 

Znaczne fragmenty tekstu w języku angielskim i włoskim są oznaczone jako AI. Różni się to znacznie w zależności od sekcji i akapitu.

Niektóre akapity w Pangramie, a także te widoczne gołym okiem, wyraźnie wskazują na sztuczną inteligencję, podczas gdy inne ewidentnie nią nie są.

Z tego co zrozumiałem, papieże zazwyczaj nie piszą sami większości tekstów swoich encyklik.

Te dwa fakty wskazują moim zdaniem, że niektórzy wysocy rangą urzędnicy watykańscy intensywnie korzystali ze wsparcia sztucznej inteligencji przy pisaniu tej encykliki, podczas gdy wielu (prawdopodobnie w tym sam papież Leon XIII) tego nie robiło.

Moja wstępna hipoteza jest taka, że ​​papież Leon XIII nie aprobuje wykorzystania sztucznej inteligencji w encyklikach i prawdopodobnie nawet nie był świadomy znaczącego wykorzystania sztucznej inteligencji w swojej własnej encyklice! To dość przykre, jeśli to prawda.

Wniosek

 

Starałem się przedstawić szereg różnych punktów widzenia i dowodów na poparcie wniosku, że papieska encyklika o ochronie osoby ludzkiej w dobie sztucznej inteligencji jest w dużej mierze artykułem ani o sztucznej inteligencji, ani w niej , ale napisanym przez sztuczną inteligencję. Każda pojedyncza metoda może być wadliwa, ale uważam, że zgodność dowodów jest bardzo silna, a może nawet przytłaczająca.

Niemniej jednak, z zadowoleniem przyjmuję debatę i poprawki w dobrej wierze. Proszę o komentarze z dowodami przeciwnymi i replikacjami.

Wkrótce wkraczamy w epokę bezprecedensowego zagrożenia na świecie . Niczym dzieci z miotaczami ognia, czy chłopi z epoki brązu próbujący zbudować Wieżę Babel, ludzkość igra z siłami, których nie możemy zrozumieć ani kontrolować.

W dobie sztucznej inteligencji ustalenie dokładnego pochodzenia nie jest już tylko kwestią autentyczności człowieka — to kwestia życia i śmierci.

 

1

2

3

4

5

6

7

8

9