TI/LLM

Duże modele językowe — Large language models, LLM

Na wykładzie o sztucznych sieciach neuronowych zapoznaliśmy się z procesem uczenia sieci. Uczenie i używanie dużych modeli językowych opiera się na tych samych podstawach, wprowadzając jednocześnie wiele nowości.

Dane

https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1

Tokenizacja

https://tiktokenizer.vercel.app/