TI/Sztuczna Inteligencja

⬆ Historia

Choć "Sztuczna Inteligencja" (AI, SI) to termin niezwykle popularny w ostatnich latach, trudno jednoznacznie ustalić, czego tak naprawdę dotyczy. Powszechnie opisuje się pod tym hasłem starsze i nowsze metody uczenia maszynowego, szczególnie za pomocą sztucznych sieci neuronowych, jednak samo stosowanie tych znanych od lat technik nie uzasadnia wprowadzania nowego terminu. Dlatego powstał też termin "silna (lub ogólna) sztuczna inteligencja" (ang. strong AI lub artificial general intelligence, AGI), odnoszący się do własności systemów, które według niektórych prognoz miałyby powstać już w niedalekiej przyszłości.

Ostatnią eksplozję zainteresowania "sztuczną inteligencją" spowodowało udostępnienie przez kilka wielkich firm dużych modeli językowych (ang. Large Language Models, LLM), choć wydaje się, że na razie są one dość dalekie od poziomu AGI.

Boom na głębokie sieci neuronowe zapoczątkowała sieć AlexNet, która w roku 2012 uzyskała wyniki znacznie przewyższające wszystkie dotychczasowe podejścia z zakresu rozpoznawania obrazów (ang. computer vision). Metodologia używana w uczeniu tej sieci sama w sobie nie była rewolucyjna; przełom spowodowały przede wszystkim dwa czynniki:

1. Dostępność (w Internecie) ogromnej ilości zdjęć, na podstawie których prof. Fei Fei Li doprowadziła do powstania ogromnego zbioru obrazów z oznaczeniami treści, nadającego się do uczenia nadzorowanego — ImageNet. Sieci neuronowe uczone na mniejszej ilości danych nie dawały tak dobrych rezultatów.
2. Dostępność ogromnych mocy obliczeniowych, w szczególności specjalizowanych procesorów do obliczeń graficznych (graphical processing units, GPU), których wbudowana równoległość dramatycznie przyspieszyły proces uczenia sieci.

EU Artificial Intelligence Act

13 marca 2024 roku Parlament Europejski przyjął rozporządzenie, którego treść w języku angielski dostępna jest pod tym adresem: https://artificialintelligenceact.eu/. Reguluje ono zasady stosowania technik sztucznej inteligencji. Zagrożenia podzielono na nieakceptowalne, oraz: wysokiego, mniejszego, i minimalnego ryzyka.

Definicja

https://artificialintelligenceact.eu/article/3/ — w luźnym tłumaczeniu:

"System SI oznacza oparty na maszynie system stworzony do działania na różnych poziomach autonomii, który może wykazywać adaptację po wdrożeniu, i który — dla konkretnie sformułowanych lub domyślnych celów — wnioskuje na podstawie otrzymanego wejścia jak generować wyjście, takie jak przewidywania, treści, rekomendacje lub decyzje, które mogą wpływać na fizyczne lub wirtualne otoczenia

Główne cechy współczesnych systemów AI/LLM

Jak pokazywaliśmy w poprzednich rozdziałach o uczeniu maszynowym i sztucznych sieciach neuronowych, choć sam proces uczenia sieci oraz działanie gotowych systemów jest realizowane w postaci programów komputerowych, to konkretne wartości parametrów decydujących o działaniu systemu (głównie wagi połączeń nauczonej sieci) ustalane są przez algorytm na podstawie danych uczących. Taki system nie realizuje więc bezpośrednio zaprojektowanego przez człowieka algorytmu — jest optymalizowany dla zwracania odpowiedzi najlepiej odpowiadających zawartości zbiorów uczących. Liczby parametrów współczesnych modeli przekraczają znacznie 10⁹, a liczba przykładów, na których są trenowane — 10¹³. Obie liczby wciąż rosną. Nie potrafimy interpretować znaczenia tych parametrów, ani też kontrolować jakości zbiorów uczących.

Transformatory (transformery)

• Artykuł Attention is all you need, w którym po raz pierwszy (w roku 2017) opisano architekturę transformerów.
• Interaktywny Transformer explainer z artykułu Transformer Explainer: Interactive Learning of Text-Generative Models.

Niektóre problemy

• W odróżnieniu od wyszukiwarek internetowych, systemy AI/LLM nie podają zwykle faktycznych źródeł generowanych odpowiedzi i informacji, za to czasem podają źródła nieistniejące.
• LLM całą wiedzę czerpią wyłącznie ze zbiorów uczących, które coraz bardziej zbliżają się do "zawartości Internetu", więc powielają wyrażane np. w mediach społecznościowych teorie spiskowe, przesądy, bzdury i niesprawiedliwe opinie.
• Czasami LLM dają odpowiedzi bezsensowne lub fałszywe, określane mianem "halucynacji AI" — choć wydaje się, że właściwszym określeniem jes tu słowo "bzdury" (ang. bullshit), jak zasugerowano w artykule ChatGPT is bullshit.
• Jakość LLM, mierzona "błyskotliwością i trafnością" (nie wszystkich) odpowiedzi, zależy dramatycznie od rozmiaru zbiorów uczących. Wszystkie dostępne legalnie zasoby w postaci encyklopedii i archiwów zostały już wykorzystane, największe firmy prześcigają się w powiększaniu zbiorów uczących o (najprawdopodobniej) nielegalnie pozyskiwane treści. Na przykład, jeśli w zbiorze uczącym znajdzie się pełna treść artykułu odpowiadającego na jakieś pytania, to w odpowiedzi na właściwie sformułowane zapytanie LLM może "przekopiować" znaczące części artykułu — jak opisano np. w publikacji Copyright Violations and Large Language Models.
• Uczenie LLM pochłania ogrome ilości energii, porównywalne już z zapotrzebowaniem na energię całych państw. Warto o tym pamiętać gdy mówimy, że "AI zatrzyma globalne ocieplenie i uratuje nas przed kryzysem klimatycznym" :]
• Warto pamiętać, że, podobnie jak piękno jest w oku patrzącego, tak również "inteligencja" odpowiedzi generowanych przez LLM może być częściowo wynikiem wrodzonej ludziom tendencji do antropomorfizmu. Skrajne sformułowanie tych uwag można znaleźć m.in. w artykule On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜.
• Choć często słyszymy, że AI np. "diagnozuje schorzenia", to LLM nie "myślą" tak, jak ludzie. Dowodem nie wprost jest istnienie tzw. one pixel attacks czyli "ataków jednego piksela", którego zmiana może totalnie odwrócić interpretację obrazu — na przykład stawianą na podstawie zdjęcia RTG diagnozę, jak opisano w artykule Adversarial Attacks on Medical Image Classification.
• Modele udostępniane przez największe firmy są zabezpieczane, aby uniemożliwić ich zastosowanie do "niewłaściwych" celów jak np. pisanie wirusów, generacja pornograficznych deepfakes czy planowanie zamachów. Jailbreaking to inaczej obchodzenie tych zabezpieczeń, za pomocą specjalnie sformułowanych poleceń. Można to potraktować jako dziury w bezpieczeństwie, które są łatane, po czym pojawiają się nowe, ... Przykład obchodzenia zabezpieczeń pokazuje np. artykuł BadLlama: cheaply removing safety fine-tuning from Llama 2-Chat 13B
• Zaczyna brakować danych, na których można uczyć nowe modele:
  • Dead Internet theory https://theconversation.com/the-dead-internet-theory-makes-eerie-claims-about-an-ai-run-web-the-truth-is-more-sinister-229609
  • LLM powoli zaczynają uczyć się na treściach, które same generują https://arxiv.org/abs/2311.16822
  • model collapse https://theconversation.com/what-is-model-collapse-an-expert-explains-the-rumours-about-an-impending-ai-doom-236415

Slajdy

Slajdy z poprzednich wykładów o SI dostępne są w formacie PDF

PJD

⬅ ⬆