Chinchilla AI
Chinchilla AI — языковая модель, разработанная исследовательской группой DeepMind и выпущенная в марте 2022 года. Chinchilla AI — это большая языковая модель, которая, как утверждается, превосходит GPT-3[1].
| Chinchilla AI | |
|---|---|
| Тип | большая языковая модель |
Она значительно упрощает использование, поскольку требует гораздо меньше вычислительной мощности для логического вывода и точной настройки. На основе обучения ранее использовавшихся языковых моделей было определено, что если удвоить размер модели, необходимо также иметь удвоенное количество обучающих токенов. Эта гипотеза была использована DeepMind для обучения Chinchilla AI. Подобно Gopher с точки зрения стоимости, Chinchilla AI имеет параметры 70B и в четыре раза больше данных[1].
Chinchilla AI имеет среднюю точность 67,5 % в тесте MMLU (Измерение понимания языка в многозадачном режиме), что на 7 % выше, чем у Gopher. По состоянию на 12 января 2023 года Chinchilla AI всё ещё находится на стадии тестирования[2].
Chinchilla AI способствует разработке эффективной парадигмы обучения для больших авторегрессивных языковых моделей с ограниченными вычислительными ресурсами. Команда Chinchilla рекомендует удваивать количество обучающих токенов для каждого удвоения размера модели, а это означает, что использование более крупных и качественных наборов обучающих данных может привести к лучшим результатам в последующих задачах[3][4].
Примечания править
- ↑ 1 2 What Is Chinchilla AI: Chatbot Language Model Rival By Deepmind To GPT-3 - Dataconomy (12 января 2023). Дата обращения: 6 апреля 2023. Архивировано 26 марта 2023 года.
- ↑ Hendrycks, Dan, Measuring Massive Multitask Language Understanding, Архивировано 15 марта 2023, Дата обращения: 15 марта 2023
- ↑ Chaithali. Check Out This DeepMind's New Language Model, Chinchilla (70B Parameters), Which Significantly Outperforms Gopher (280B) and GPT-3 (175B) on a Large Range of Downstream Evaluation Tasks (9 апреля 2022). Дата обращения: 6 апреля 2023. Архивировано 27 марта 2023 года.
- ↑ Wali. DeepMind launches GPT-3 rival, Chinchilla. Analytics India Magazine (12 апреля 2022). Дата обращения: 6 апреля 2023. Архивировано 26 марта 2023 года.