OpenAssistant — помощник с открытым исходным кодом на основе искусственного интеллекта (ИИ), который понимает задачи, может взаимодействовать со сторонними системами и динамически извлекать информацию для этого[1][2]. Проект разработан LAION и энтузиастами по всему миру. Одна из целей разработки включает свободный доступ к большим языковым моделям, которые можно запускать локально на потребительском оборудовании[1].
| |
| Разработчики | LAION и энтузиасты по всему миру |
|---|---|
| Дата выпуска | 15 Апреля 2023 |
| Тип | |
| Лицензия | Apache License 2.0 |
| Сайт | open-assistant.io |
Проект поддерживается краудсорсингом, в котором участвуют более 13 500 добровольцев, они создали датасет с 600 000 сообщений[2][3][4][5].
Разработка править
План разработки править
Разработчики OpenAssistant пытаются получить первоначальный MVP, выполнив три шага, описанных в документе InstructGPT[6].
- Сбор высококачественных образцов Instruction-Fulfillment (рус. следование инструкциям), созданных человеком (запрос + ответ), цель состоит в том, чтобы собрать более 50 000 таких образцов. Затем разработайте краудсорсинговый процесс для сбора и проверки запросов. Чтобы не тренироваться на флуд/токсичность/спам/мусор/персональные данные, у разработчиков есть таблица лидеров для мотивации волонтерского сообщества, которая показывает прогресс и самых активных пользователей.
- Выборка нескольких завершений для каждого из собранных подсказок. Затем пользователям в случайном порядке показываются варианты выполнения одной подсказки, чтобы ранжировать их от лучшего к худшему. Для оценки общего согласия необходимо собрать несколько голосов независимых пользователей. Собранные данные о ранжировании затем используются для обучения модели вознаграждения.
- После этапа обучения RLHF на основе подсказок и модели вознаграждения.
Результирующая модель затем должна быть получена и продолжена этапом завершения выборки, то есть вторым этапом выше для следующей итерации[7].
Статус разработки править
10 марта 2023 года самые ранние модели OpenAssistant начали генерировать ответы на обучающие подсказки на веб-сайте OpenAssistant. Эти ответы были открыты для ранжирования на втором этапе документа InstructGPT выше. Эти данные должны быть введены в обучающую базу данных. Модели представляют собой конкретные итерации моделей с редупликацией pythia-6.9B.
15 апреля 2023 года OpenAssistant был выпущен для широкой публики[3].
По состоянию на 11 мая 2023 года Open Assistant поддерживает 40 языков, включая русский, каталонский, баварский, эсперанто и баскский.
Примечания править
- ↑ 1 2 Источник, Архивировано 24 сентября 2023, Дата обращения: 11 мая 2023
- ↑ 1 2 Köpf, Andreas (2023-04-14). "OpenAssistant Conversations -- Democratizing Large Language Model Alignment". arXiv:2304.07327 [cs]. Архивировано 7 мая 2023. Дата обращения: 11 мая 2023.
- ↑ 1 2 OpenAssistant RELEASED! The world's best open-source Chat AI! | Open Assistant (англ.). laion-ai.github.io (15 апреля 2023). Дата обращения: 5 мая 2023.
- ↑ Open Assistant: Explore the Possibilities of Open and Collaborative Chatbot Development (амер. англ.) (недоступная ссылка — история). KDnuggets. Дата обращения: 5 мая 2023.
- ↑ Shenwai. Meet OpenAssistant: An open-source chat model That consists of a ~161K human-generated, human-annotated assistant-style conversation corpus, including 35 different languages (амер. англ.). MarkTechPost (21 апреля 2023). Дата обращения: 5 мая 2023. Архивировано 5 мая 2023 года.
- ↑ Ouyang, Long (2022-03-04). "Training language models to follow instructions with human feedback". arXiv:2203.02155 [cs]. Архивировано 8 мая 2023. Дата обращения: 11 мая 2023.
- ↑ Open-Assistant, 2023-03-09, Архивировано 24 сентября 2023, Дата обращения: 9 марта 2023