5. 5. 2023
Zajímavý vhled do toho, jak rychle běží vývoj, tak tady je vhled z uniklého dokumentu z Googlu: https://www.semianalysis.com/p/google-we-have-no-moat-and-neither který mimo jiné říká, že zásadní změna se teď děj v oblasti open source kódu. Jinými slovy, že se zásadně vyvíjí možnosti zkoušet pracovat s těmito modely na vlastních počítačích a možností vidět jim trochu pod kapotu.
Pokud byste si chtěli vyzkoušet nějaké modely na svých počítačích, tak už je to možné i s docela malými technickými znalostmi, ja osobně preferuji https://github.com/nomic-ai/gpt4all ale je to je jedna z možností
Z odborných textů bych vás rád upozornil na dvě PDF. Jedno je přepis přednášky filosofa Davida J. Chalmera: Could a Large Language Model be Conscious?
https://arxiv.org/ftp/arxiv/papers/2303/2303.07103.pdf
Druhým pak poznámky Samuela R. Bowman Eight Things to Know about Large Language Models https://arxiv.org/pdf/2304.00612.pdf
Josef Š.
16. 4. 2023
Dnešní várka odkazů se bude věnovat jen jednomu tématu, které vypadá poněkud okrajově a možná až trochu kriminálně, a tím je tzv. jailbreakování velkých jazykových modelů, aby obešli opatření, která jim zabraňují, kupříkladu, poradit uživateli, jak za 10 dolarů zavraždit co nejvíce lidí. Jak se s ním vyrovnávalo OpenAI, lze nalézt zde: https://cdn.openai.com/papers/gpt-4-system-card.pdf
I když se jim ledacos povedlo, přesto stále přicházejí nové a nové způsoby, jak systém obejít a donutit GPT modely říkat věci, které by říkat neměly. Nás na tom ovšem nebude zajímat samotné odpovědi, ale cesta k nim, protože dobře ukazuje limity trénování těchto modelů.
Ukázku jednoho ze současných hacků najdete v textu „Universal LLM Jailbreak: ChatGPT, GPT-4, BARD, BING, Anthropic, and Beyond“ https://adversa.ai/blog/universal-llm-jailbreak-chatgpt-gpt-4-bard-bing-anthropic-and-beyond/ A získáte tím vlastně i zajímavý vhled do myšlení lidí kolem.
Celou sbírku takových jailbreaků pak najdete například zde: https://www.jailbreakchat.com/
Pokud jde o výhled, co za potenciální problémy takového zneužití přináší, je tu pěkný článek https://www.wired.com/story/chatgpt-jailbreak-generative-ai-hacking/
A ještě něco, k umění psát dobře tzv. prompty jsem našel krásnou prezentaci http://www.jamessawyer.co.uk/pub/Prompt1.pdf včetně dobrých příkladů. Autor této prezentace udržuje také vlastní přehled fungujících jailbreaků zde: https://github.com/tg12/gpt_jailbreak_status
Josef Š.
8. 4. 2023
V první řadě je již v oběhu celá řada LLM modelů, které si můžete spustit u sebe v počítači bez zásadních technických znalostí. Já osobně používám
– gpt4all https://github.com/nomic-ai/gpt4all
– a dalai https://github.com/cocktailpeanut/dalai
Pokud jde o stávající debatu o případné AI apokalypse, přijde mi moc pěkný článek o tzv. criti-hype aneb oblíbeném pohoršování nad problémy, které vlastně možná ani nejsou moc problémy a přehlížení faktických problémů: https://sts-news.medium.com/youre-doing-it-wrong-notes-on-criticism-and-technology-hype-18b08b4307e5
Rád bych vás také upozornil, že je otevřený waiting list pro konkurenci ChatGPT od společnosti Anthropic a odkaz je zde: https://www.anthropic.com
Na závěr bych doporučil podívat se na pre-print Using ChatGPT and Other Large Language Models (LLM) Applications for Academic Paper Assignments https://osf.io/preprints/socarxiv/d84q6/ od Andrease Jungherr z německého Bambergu.
Josef Š.
2. 4. 2023
Minulý týden byl v oblasti umělé inteligence významný dopis od expertů a osobností, kteří žádali o pozastavení vývoje AI alespoň na několik měsíců. Dopis je k dispozici na této adrese: https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Upřímně řečeno si myslím, že je formulován příliš neurčitě, nicméně kontext mu mohou dát dva následující podcasty od Lexe Fridmana.
První podcast je s CEO společnosti Open AI a druhý s výzkumníkem AI, který již několik let varuje před potenciálním nebezpečím. Myslím si, že oba představují spíše dva extrémy než hlavní proud a možná proto ukazují škálu názorů:
Sam Altman: OpenAI CEO o GPT-4, ChatGPT a budoucnosti AI https://www.youtube.com/watch?v=L_Guz73e6fw
Eliezer Yudkowsky: Nebezpečí AI a konec lidské civilizace | Lex Fridman Podcast #368 https://www.youtube.com/watch?v=AaTRHFaaPG8
Z nových služeb v oblasti AI a asistovaného výzkumu mě zaujala služba https://consensus.app/search/, která se snaží agregovat odpovědi na otázky spojené s výzkumem z archivu vědeckých článků.
Z praktického hlediska zde máme pěkný článek o ChatGPT v učení: https://www.codetoday.co.uk/post/learning-to-chat-chatting-to-learn-thoughts-about-chatgpt-llms-and-ai-in-education
A zde je vysvětleno, proč se ChatGPT nedaří hrát hru Wordle: https://theconversation.com/chatgpt-struggles-with-wordle-puzzles-which-says-a-lot-about-how-it-works-201906
Josef Š.
24. 3. 2023
1) Studie výzkumníku ukazuje, že LLM moodely jako GPT a další, začínají vykazovat rysy obecné umělé inteligenc: Sparks of Artificial General Intelligence: Early experiments with GPT-4 https://arxiv.org/abs/2303.12712
2) Studie z Pennsylvánské univerzit odhaduje, jak velký bude stávajících AI programu na trh práce (velký) a kde vlastně (nějaký skoro úplně všdude): GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models https://arxiv.org/pdf/2303.10130.pdf
3) ChatGPT získává pluginy a mezi nimi i plugi od Wolfram Aplha
ChatGPT Gets Its “Wolfram Superpowers”! https://writings.stephenwolfram.com/2023/03/chatgpt-gets-its-wolfram-superpowers/
Josef Š.
17. 3. 2023
a) OpenAI publikovala veřejně GPT-4: https://openai.com/product/gpt-4 a výsledky jsou poměrně impozantní: https://openai.com/research/gpt-4
b) MidJourney (https://www.midjourney.com/home/), generativní AI pro obrázky, uvolnila verzi 5, což představuje kvalitatní skok.
MidJourney si můžete vyzkoušet v poněkud nepřívětivém prostředí Discordu.
Pokud jde o GPT-4, ta je zatím dostupná pouze pro platící uživatele, ale existuje řešení. Společnost Quora uvolnila aplikaci Poe: https://poe.com, kterou si můžete nainstalovat do mobilu a získat k dispozici rovnou několik různých verzí AI (nejen od OpenAI), včetně GPT-4. Další možností je vyzkoušet search Bing s funcí chat. Mimochodem MS plánuje přidat GPT-4 do MS Officu, tedy přímo do textového editoru apod.
Přeji hodně zábavy!
Josef
P.S. Pokud se vám nechce číst ofiální sebechvály Open AI, tady je docela pěkné shrnutí z blogu The Algorithmic Bridge https://thealgorithmicbridge.substack.com/p/gpt-4-in-10-keys
10. 3. 2023
Zdravím kolegyně a kolegové,
přináším páteční souhrn linků. Nejdříve začnu ale tím,že máme již vlastní webové stránky, byť zatím velmi ve výstavbě. Najdete je na url: https://ai.ff.cuni.cz/ ale zatím jsou velmi ve výstavbě, počítám, že během 2 týdnů je spustíme v plné parádě.
Pokud jde o zajímavé odkazy, pak bych vás chtěl upozornit na následující čtyři:
1. ChatGPT má API a jeho cena je velmi příznivá, podrobnosti najdete zde: https://openai.com/blog/introducing-chatgpt-and-whisper-apis na stejné stránce najdete info i o API pro službu Whisper, která slouží k převodu mluvené řeči na text.
2. Jakub Sedláček minule přednášel o službě humata.ai, která umí „přečíst“ PDF a zpracovat ho do sémantické podoby a pak se na obsah textu můžete ptát, podobně jak v ChatGPT. Službá najdete zde: https://app.humata.ai/ Na vyzkoušení do 20 stran PDF je zdarma, zdá se, že s češtinou si dost poradí.
3. O využítí GPT pro kreativní psaní se rozepisuje Gwern Branwen v textu GPT-3 Creative Fiction a je to dlouhé ale výborné čtení https://gwern.net/gpt-3
4. Nakonec zajímavý experiment pro zkoumání sémantického diferenciálu https://www.lesswrong.com/posts/mCYc5oRkgegAqMEFv/chatgpt-explores-the-semantic-differential
Přeji krásný víkend.
Josef