TI/Sztuczna Inteligencja: Różnice pomiędzy wersjami

Z Brain-wiki
Linia 21: Linia 21:
 
* Czasami LLM dają odpowiedzi bezsensowne lub fałszywe, określane mianem "halucynacji AI" — choć wydaje się, że właściwszym określeniem jes tu słowo "bzdury" (ang. ''bullshit''), jak zasugerowano w artykule [https://doi.org/10.1007/s10676-024-09775-5 ChatGPT is bullshit].
 
* Czasami LLM dają odpowiedzi bezsensowne lub fałszywe, określane mianem "halucynacji AI" — choć wydaje się, że właściwszym określeniem jes tu słowo "bzdury" (ang. ''bullshit''), jak zasugerowano w artykule [https://doi.org/10.1007/s10676-024-09775-5 ChatGPT is bullshit].
 
* Jakość LLM, mierzona "błyskotliwością i trafnością" (nie wszystkich) odpowiedzi, zależy dramatycznie od rozmiaru zbiorów uczących. Wszystkie dostępne legalnie zasoby w postaci encyklopedii i archiwów zostały już wykorzystane, największe firmy prześcigają się w powiększaniu zbiorów uczących o (najprawdopodobniej) nielegalnie pozyskiwane treści. Na przykład, jeśli w zbiorze uczącym znajdzie się pełna treść artykułu odpowiadającego na jakieś pytania, to w odpowiedzi na właściwie sformułowane zapytanie LLM może "przekopiować" znaczące części artykułu — jak opisano np. w publikacji [https://arxiv.org/pdf/2310.13771 Copyright Violations and Large Language Models].
 
* Jakość LLM, mierzona "błyskotliwością i trafnością" (nie wszystkich) odpowiedzi, zależy dramatycznie od rozmiaru zbiorów uczących. Wszystkie dostępne legalnie zasoby w postaci encyklopedii i archiwów zostały już wykorzystane, największe firmy prześcigają się w powiększaniu zbiorów uczących o (najprawdopodobniej) nielegalnie pozyskiwane treści. Na przykład, jeśli w zbiorze uczącym znajdzie się pełna treść artykułu odpowiadającego na jakieś pytania, to w odpowiedzi na właściwie sformułowane zapytanie LLM może "przekopiować" znaczące części artykułu — jak opisano np. w publikacji [https://arxiv.org/pdf/2310.13771 Copyright Violations and Large Language Models].
* Uczenie LLM pochłania ogrome ilości energii, porównywalne już z zapotrzebowaniem na energię całych państw. Warto o tym pamiętać gdy mówimy, że "AI zatrzyma [https://naukaoklimacie.pl/ globalne ocieplenie] i uratuje nas przed kryzysem klimatycznym" :-)
+
* Uczenie LLM pochłania ogrome ilości energii, porównywalne już z zapotrzebowaniem na energię całych państw. Warto o tym pamiętać gdy mówimy, że "AI zatrzyma [https://naukaoklimacie.pl/ globalne ocieplenie] i uratuje nas przed kryzysem klimatycznym" ;-)
 
* Warto pamiętać, że, podobnie jak [https://pl.wiktionary.org/wiki/beauty_is_in_the_eye_of_the_beholder piękno jest w oku patrzącego], tak również "inteligencja" odpowiedzi generowanych przez LLM może być częściowo wynikiem wrodzonej ludziom tendencji do antropomorfizmu. Skrajne sformułowanie tych uwag można znaleźć m.in. w artykule [https://doi.org/10.1145%2F3442188.3445922 On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜].
 
* Warto pamiętać, że, podobnie jak [https://pl.wiktionary.org/wiki/beauty_is_in_the_eye_of_the_beholder piękno jest w oku patrzącego], tak również "inteligencja" odpowiedzi generowanych przez LLM może być częściowo wynikiem wrodzonej ludziom tendencji do antropomorfizmu. Skrajne sformułowanie tych uwag można znaleźć m.in. w artykule [https://doi.org/10.1145%2F3442188.3445922 On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜].
 
* Choć często słyszymy, że AI np. "diagnozuje schorzenia", to LLM nie "myślą" tak, jak ludzie. Dowodem nie wprost jest istnienie tzw. ''one pixel attacks'' czyli "ataków jednego piksela", którego zmiana może totalnie odwrócić interpretację obrazu — na przykład stawianą na podstawie zdjęcia RTG diagnozę, jak opisano w artykule [https://doi.org/10.3390/cancers15174228 Adversarial Attacks on Medical Image Classification].
 
* Choć często słyszymy, że AI np. "diagnozuje schorzenia", to LLM nie "myślą" tak, jak ludzie. Dowodem nie wprost jest istnienie tzw. ''one pixel attacks'' czyli "ataków jednego piksela", którego zmiana może totalnie odwrócić interpretację obrazu — na przykład stawianą na podstawie zdjęcia RTG diagnozę, jak opisano w artykule [https://doi.org/10.3390/cancers15174228 Adversarial Attacks on Medical Image Classification].

Wersja z 19:31, 19 lip 2024

Slajdy

Historia

Choć "Sztuczna Inteligencja" to termin niezwykle popularny w ostatnich latach, trudno jednoznacznie ustalić, czego tak naprawdę dotyczy. Powszechnie opisuje się pod tym hasłem starsze i nowsze metody uczenia maszynowego, szczególnie za pomocą sztucznych sieci neuronowych, jednak samo stosowanie tych znanych od lat technik nie uzasadnia wprowadzania nowego terminu. Dlatego powstał też termin "silna (lub ogólna) sztuczna inteligencja" (ang. strong AI lub artificial general intelligence, AGI), odnoszący się do własności systemów, które według niektórych prognoz miałyby powstać już w niedalekiej przyszłości.

Ostatnią eksplozję zainteresowania "sztuczną inteligencją" spowodowało udostępnienie przez kilka wielkich firm dużych modeli językowych (ang. Large Language Models, LLM), choć wydaje się, że na razie są one dość dalekie od poziomu AGI.

Boom na głębokie sieci neuronowe zapoczątkowała sieć AlexNet, która w roku 2012 uzyskała wyniki znacznie przewyższające wszystkie dotychczasowe podejścia z zakresu rozpoznawania obrazów (ang. computer vision). Metodologia używana w uczeniu tej sieci sama w sobie nie była rewolucyjna; przełom spowodowały przede wszystkim dwa czynniki:

  1. Dostępność (w Internecie) ogromnej ilości zdjęć, na podstawie których prof. Fei Fei Li doprowadziła do powstania ogromnegp zbioru obrazów z oznaczeniami treści, nadającego się do uczenia nadzorowanego — ImageNet. Sieci neuronowe uczone na mniejszej ilości danych nie dawały tak dobrych rezultatów.
  2. Dostępność ogromnych mocy obliczeniowych, w szczególności specjalizowanych procesorów do obliczeń graficznych (graphical processing units, GPU), których wbudowana równoległość dramatycznie przyspieszyły proces uczenia sieci.

Główne cechy współczesnych systemów AI/LLM

Jak pokazywaliśmy w poprzednich rozdziałach o uczeniu maszynowym i sztucznych sieciach neuronowych, choć sam proces uczenia sieci oraz działanie gotowych systemów jest realizowane w postaci programów komputerowych, to konkretne wartości parametrów decydujących o działaniu systemu (głównie wagi połączeń nauczonej sieci) ustalane są przez algorytm na podstawie danych uczących. Taki system nie realizuje więc bezpośrednio zaprojektowanego przez człowieka algorytmu — jest optymalizowany dla zwracania odpowiedzi najlepiej odpowiadających zawartości zbiorów uczących. Liczby parametrów współczesnych modeli przekraczają znacznie 109, a liczba przykładów, na których są trenowane — 1013. Obie liczby wciąż rosną. Nie potrafimy interpretować znaczenia tych parametrów, ani też kontrolować jakości zbiorów uczących.

Niektóre problemy

  • UE opublikowała AI Act, regulujący zasady stosowania technik sztucznej inteligencji. Zagrożenia podzielono na nieakceptowalne, oraz: wysokiego, mniejszego, i minimalnego ryzyka.
  • W odróżnieniu od wyszukiwarek internetowych, systemy AI/LLM nie podają zwykle faktycznych źródeł generowanych odpowiedzi i informacji, za to czasem podają źródła nieistniejące.
  • LLM całą wiedzę czerpią wyłącznie ze zbiorów uczących, które coraz bardziej zbliżają się do "zawartości Internetu", więc powielają wyrażane np. w mediach społecznościowych teorie spiskowe, przesądy, bzdury i niesprawiedliwe opinie.
  • Czasami LLM dają odpowiedzi bezsensowne lub fałszywe, określane mianem "halucynacji AI" — choć wydaje się, że właściwszym określeniem jes tu słowo "bzdury" (ang. bullshit), jak zasugerowano w artykule ChatGPT is bullshit.
  • Jakość LLM, mierzona "błyskotliwością i trafnością" (nie wszystkich) odpowiedzi, zależy dramatycznie od rozmiaru zbiorów uczących. Wszystkie dostępne legalnie zasoby w postaci encyklopedii i archiwów zostały już wykorzystane, największe firmy prześcigają się w powiększaniu zbiorów uczących o (najprawdopodobniej) nielegalnie pozyskiwane treści. Na przykład, jeśli w zbiorze uczącym znajdzie się pełna treść artykułu odpowiadającego na jakieś pytania, to w odpowiedzi na właściwie sformułowane zapytanie LLM może "przekopiować" znaczące części artykułu — jak opisano np. w publikacji Copyright Violations and Large Language Models.
  • Uczenie LLM pochłania ogrome ilości energii, porównywalne już z zapotrzebowaniem na energię całych państw. Warto o tym pamiętać gdy mówimy, że "AI zatrzyma globalne ocieplenie i uratuje nas przed kryzysem klimatycznym" ;-)
  • Warto pamiętać, że, podobnie jak piękno jest w oku patrzącego, tak również "inteligencja" odpowiedzi generowanych przez LLM może być częściowo wynikiem wrodzonej ludziom tendencji do antropomorfizmu. Skrajne sformułowanie tych uwag można znaleźć m.in. w artykule On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜.
  • Choć często słyszymy, że AI np. "diagnozuje schorzenia", to LLM nie "myślą" tak, jak ludzie. Dowodem nie wprost jest istnienie tzw. one pixel attacks czyli "ataków jednego piksela", którego zmiana może totalnie odwrócić interpretację obrazu — na przykład stawianą na podstawie zdjęcia RTG diagnozę, jak opisano w artykule Adversarial Attacks on Medical Image Classification.