10+ примеров больших языковых моделей – эталонные тесты и варианты использования
Posted: Mon Jan 06, 2025 10:38 am
Почти все знают о ChatGPT от OpenAI благодаря рекордному росту до 200 миллионов еженедельно активных пользователей, но другие крупные языковые модели (LLM) и большинство их вариантов использования остаются менее известными. Перейдите по ссылкам ниже, чтобы увидеть ответы для конкретных примеров LLM:
Примеры ведущих LLM с закрытым исходным кодом
Примеры ведущих программ LLM с открытым исходным кодом
Сравнение результатов LLM
Примеры использования LLM
Примеры больших языковых моделей
Мы представляем ведущие крупные языковые модели в таблице ниже с параметрами, подходящими для внедрения на предприятии. Мы предоставили некоторую дополнительную информацию о ведущих моделях.
Поиск...
Модель Разработчик Год запуска # параметров* Мультимодальный # охваченных естественных языков Открытый исходный код
ГПТ-4
Английский, немецкий, французский, итальянский, испанский
*Данные параметров представляют собой наибольшее количество параметров моделей для каждой LLM.
Подробнее: Приложения генеративного ИИ .
1. ГПТ-4
GPT-4, самая большая модель в серии GPT OpenAI.
GPT-4 является мультимодальным: некоторые популярные приложения для мультимодальных возможностей GPT-4 включают в себя:
Написание подписи: загрузите изображение в социальную сеть и попросите GPT-4 написать подпись в вашем тоне речи (например, творческом, профессиональном).
Генерация кода: загрузите схему веб-страницы и попросите GPT-4 предоставить вам HTML.
Составление альтернативного текста: загрузите изображение для использования в сообщении в блоге и попросите GPT-4 предоставить вам информативный альтернативный текст.
GPT-4 может обрабатывать больше слов по сравнению с GPT-3.5: GPT-4 может анализировать, читать и создавать до 25 000 слов, что более чем в восемь раз превышает возможности GPT-3.5.
GPT-4 часто работает лучше предыдущих моделей в обработке сложности: OpenAI оценила работу GPT-4 на нескольких стандартизированных экзаменах. Хотя GPT-4 остается слабым в таких темах, как английская литература, его точность нулевого выстрела составляет более 90% на Едином экзамене адвоката, стандартизированном тесте для юристов в США1
2. Клод 3
Claude 3 — это модель трансформера ИИ от Anthropic. Она предлагает три уровня моделей: Claude 3 Opus, Claude 3 Sonnet и Claude 3 Haiku.
Claude 3 Opus: Дорогой и мощный Opus рекомендуется для автоматизации работы, поддержки исследований и обработки данных . Opus специализируется на ИИ-зрении, что делает его идеальной альтернативой для предприятий, которым требуются глубокие возможности ИИ.
Клод 3 Sonnet: Sonnet — более экономичный вариант для обработки данных, предложений, прогнозов и извлечения текста из изображений .
Клод 3 Хайку: Менее дорогой Хайку предназначен для перевода, редактирования и обработки неструктурированных данных .
3. Близнецы
Google запустил Gemini (тогда он назывался «Bard») в феврале 2023 года. Первоначально македония whatsapp номер телефона Gemini был доступен только через список ожидания, но к началу мая 2023 года он стал общедоступным.
Бесплатная версия включает в себя все основные функции:
Текстовые подсказки
Возможность загружать и создавать фотографии
Возможность поиска в приложениях и сервисах Google
Коммерческая версия Gemini Advanced предоставляет более полный набор функций:
Расширенная версия модели ИИ, подходящая для задач более высокого уровня (например, анализа данных)
Возможность поддерживать более длительные чаты
Возможность использования Gemini в приложениях Google, таких как Gmail и Docs
2 ТБ памяти
Уровни модели:
Nano: Nano — это бесплатный уровень для пользователя, который ожидает иметь базовые функции, такие как:
Анализ изображения
Транскрипция речи
Генерация текста
Flash: Gemini Flash — это следующий уровень, который описывается как облегченная версия системы. Google также заявляет, что он быстрее Gemini Pro, особенно с точки зрения времени отклика.
Плюсы: Google утверждает, что он лучше справляется со сложными задачами по сравнению с Flash и Nano, однако он медленнее Flash.
Ultra: Ultra мощнее Pro и стоит $20/месяц, при этом Google предоставляет бесплатную двухмесячную пробную версию. Лучше всего подходит для:
Мультимодальное рассуждение
Сложное кодирование
Математическое мышление
Пример ведущих LLM с открытым исходным кодом
Лама 3
Llama 3 — это новейший LLM Meta AI с архитектурой transformer. В отличие от предыдущих моделей Llama, он имеет предварительное обучение и тонкую настройку инструкций.
Meta выпустила шесть версий Llama 3.1:
Лама 3.1 8Б
Llama 3.1 8B-Инструкция
Лама 3.1 70Б
Llama 3.1 70B-Инструкция
Лама 3.1 405Б
Llama 3.1 405B-Инструкция
Модели 8B включают 8 миллиардов параметров, модели 70B — 70 миллиардов, а модели 405B — 405 миллиардов параметров.
Модели инструкций были доработаны для лучшего выполнения человеческих команд, что сделало их более подходящими для использования в качестве чат-бота.
Модели Llama 3 вскоре будут доступны для публичного использования на AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure и Snowflake, а также на аппаратных платформах AMD, AWS, Dell, Intel, NVIDIA и Qualcomm.
Бенчмарк лучших: GPT-4, Claude, Gemini и Llama
Ниже приведены тесты возможностей четырех популярных моделей на основе нулевого выстрела:
Источник: GitHub2
*В таблице сравниваются модели, которые были анонсированы, но еще не поступили в продажу, например, Gemini 1.5 Pro. Инженеры работали над улучшением подсказок для оценки, чтобы оптимизировать результаты тестов.
Оценки:
MMLU: Измерение понимания языка в условиях многозадачности: критерий оценки LLM с помощью вопросов с несколькими вариантами ответов. Эти вопросы охватывают 57 предметов, таких как математика, история, право и этика.3
GPQA: Тест вопросов и ответов для выпускников, соответствующий требованиям Google: набор данных из 448 вопросов с несколькими вариантами ответов, составленных экспертами в области биологии, физики и химии.4
МАТЕМАТИКА: Измерение решения математических задач с помощью набора математических данных5
HumanEval: Оценка больших языковых моделей, обученных на коде6
MGSM: Многоязычный тест по математике для начальной школы (MGSM)7
DROP: Тест на понимание прочитанного, требующий дискретного рассуждения по абзацам.8
Реальные примеры использования больших языковых моделей (LLM)
Ниже приведены основные варианты использования моделей LLM с примерами. Чтобы узнать больше о генеративном ИИ, см. раздел Приложения генеративного ИИ .
1. Создание и генерация контента
Помощь в написании текстов: специалисты LLM могут помочь в составлении, редактировании и улучшении письменного контента — от сообщений в блогах до исследовательских работ, предлагая улучшения или создавая текст на основе подсказок.
Пример из реальной жизни: Grammarly использует LLM, чтобы предлагать пользователям улучшения в грамматике, пунктуации и стиле, повышая качество их текстов.9
Творческое письмо: создание стихов, рассказов или сценариев на основе творческих идей, помощь писателям в мозговом штурме или завершении их проектов.
Пример из реальной жизни: AI Dungeon , работающая на базе GPT-4 от OpenAI, имеет сюжетный режим, который позволяет пользователям создавать и исследовать интерактивные истории, предлагая креативные повествования.10
Создание маркетингового контента: создание убедительного маркетингового контента, включая описания продуктов, публикации в социальных сетях и рекламу, ориентированную на определенную аудиторию.
Пример из реальной жизни: Copy.ai, генератор контента на основе искусственного интеллекта, использует степени магистра права для создания маркетингового контента, включая публикации в социальных сетях, описания продуктов и кампании по электронной почте.11
Перевод с одного языка на другой: переводите текст с одного языка на другой, сохраняя контекст и смысл.
Пример из реальной жизни: DeepL Translator использует модели LLM, обученные на лингвистических данных для перевода языков.12
2. Поддержка клиентов и чат-боты
Автоматизированное обслуживание клиентов: обладатели степени магистра права создают чат-ботов, которые могут обрабатывать запросы клиентов, устранять неполадки и предоставлять рекомендации по продуктам в режиме реального времени.
Пример из реальной жизни: Bank of America использует чат-бота на основе искусственного интеллекта Эрику, работающую на базе степеней магистра права, для помощи клиентам в решении таких задач, как проверка баланса, осуществление платежей и предоставление финансовых консультаций.13
Виртуальные помощники: степени магистра права позволяют виртуальным помощникам отвечать на запросы пользователей, управлять задачами и контролировать смарт-устройства.
Примеры из реальной жизни: Alexa от Amazon и Google Assistant используют LLM для ведения двусторонней коммуникации; они в основном доступны на устройствах домашней автоматизации и мобильных устройствах.1415
Персонализированные ответы: создавайте персонализированные ответы на основе истории и предпочтений клиентов, улучшая общее качество обслуживания клиентов.
Пример из реальной жизни: Zendesk, платформа обслуживания клиентов, использует LLM для предоставления индивидуальных ответов в службе поддержки клиентов.16
3. Разработка программного обеспечения
Языковые модели могут помочь нынешним разработчикам и людям, которые учатся программировать, в следующих областях:
Написание кода: помогайте разработчикам, создавая фрагменты кода, предоставляя предложения и создавая целые функции или классы на основе описательных подсказок.
Пример из реальной жизни: Code Llama — это специализированный LLM-программа, созданная путем обучения на наборах данных, специфичных для кода. Она может генерировать код и подсказки на естественном языке. Она может создавать код с обработкой естественного языка. Если пользователь спросит «Напишите мне функцию, которая выводит последовательность Фибоначчи», LLM создаст выходной код на основе данной подсказки.17
Видео: предложения кода на основе LLM
Источник: Мета18
Обнаружение и исправление ошибок: Анализируйте код для обнаружения потенциальных ошибок и предлагайте исправления, оптимизируя процесс отладки.
Ознакомьтесь с возможностями популярного LLM по обнаружению ошибок в больших кодовых базах.
Источник: HammingHQ19
Документация кода: создание технической документации, включая ссылки на API, комментарии к коду и руководства пользователя, на основе исходного кода.
Пример из реальной жизни: TabNine, инструмент документирования кода ИИ, использует LLM для обновления и пересмотра документации по мере внесения изменений в код.20
4. Бизнес-аналитика
Интерпретация данных: Интерпретировать сложные наборы данных, предоставляя повествовательные резюме и идеи, которые легче интерпретировать для нетехнических заинтересованных сторон. Ключевые практики включают:
Генерация инсайтов
Анализ данных
Создание истории
Формирование отчетов: автоматическое создание бизнес-отчетов, финансовых сводок и руководящих отчетов на основе необработанных данных и аналитики.
Пример из реальной жизни: подход Microsoft Research, GraphRAG, использует степень магистра права для создания графа знаний на основе закрытого набора данных, помогая компаниям получать ценную информацию без необходимости глубоких технических знаний.21
5. Финансы
Анализ оценки финансовых рисков: помощь в оценке финансовых рисков путем анализа исторических данных, выявления закономерностей и прогнозирования потенциальных спадов на рынке.
Пример из реальной жизни: BloombergGPT — это программа LLM, специально подготовленная в области финансовых данных, которая помогает аналитикам формировать аналитическую информацию о рисках и прогнозы на основе финансовых отчетов.22
Обнаружение мошенничества: помощь в выявлении мошеннических действий путем анализа схем транзакций и генерации оповещений о подозрительном поведении.
Пример из реальной жизни: Feedzai использует LLM для анализа схем транзакций и выявления мошеннических действий.23
6. Здравоохранение
Ответы на медицинские вопросы: магистры права могут помочь в сортировке пациентов, отвечая на медицинские вопросы,
Пример из реальной жизни: Med-PaLM, LLM от Google Research, разработан, чтобы помочь читателю изучить результаты тестов пациента. Таким образом, читатель может выбрать правильный ответ на вопрос о том, какое заболевание, тест или лечение наиболее подходят.24
Исследования лекарственных средств: анализ и обобщение научной литературы по фармацевтике и медицине.
Пример из реальной жизни: BenevolentAI, компания, занимающаяся поиском и разработкой лекарственных препаратов с использованием искусственного интеллекта, нанимает специалистов с высшим образованием для анализа научной литературы и выявления потенциальных кандидатов на создание лекарственных препаратов.25
Примеры ведущих LLM с закрытым исходным кодом
Примеры ведущих программ LLM с открытым исходным кодом
Сравнение результатов LLM
Примеры использования LLM
Примеры больших языковых моделей
Мы представляем ведущие крупные языковые модели в таблице ниже с параметрами, подходящими для внедрения на предприятии. Мы предоставили некоторую дополнительную информацию о ведущих моделях.
Поиск...
Модель Разработчик Год запуска # параметров* Мультимодальный # охваченных естественных языков Открытый исходный код
ГПТ-4
Английский, немецкий, французский, итальянский, испанский
*Данные параметров представляют собой наибольшее количество параметров моделей для каждой LLM.
Подробнее: Приложения генеративного ИИ .
1. ГПТ-4
GPT-4, самая большая модель в серии GPT OpenAI.
GPT-4 является мультимодальным: некоторые популярные приложения для мультимодальных возможностей GPT-4 включают в себя:
Написание подписи: загрузите изображение в социальную сеть и попросите GPT-4 написать подпись в вашем тоне речи (например, творческом, профессиональном).
Генерация кода: загрузите схему веб-страницы и попросите GPT-4 предоставить вам HTML.
Составление альтернативного текста: загрузите изображение для использования в сообщении в блоге и попросите GPT-4 предоставить вам информативный альтернативный текст.
GPT-4 может обрабатывать больше слов по сравнению с GPT-3.5: GPT-4 может анализировать, читать и создавать до 25 000 слов, что более чем в восемь раз превышает возможности GPT-3.5.
GPT-4 часто работает лучше предыдущих моделей в обработке сложности: OpenAI оценила работу GPT-4 на нескольких стандартизированных экзаменах. Хотя GPT-4 остается слабым в таких темах, как английская литература, его точность нулевого выстрела составляет более 90% на Едином экзамене адвоката, стандартизированном тесте для юристов в США1
2. Клод 3
Claude 3 — это модель трансформера ИИ от Anthropic. Она предлагает три уровня моделей: Claude 3 Opus, Claude 3 Sonnet и Claude 3 Haiku.
Claude 3 Opus: Дорогой и мощный Opus рекомендуется для автоматизации работы, поддержки исследований и обработки данных . Opus специализируется на ИИ-зрении, что делает его идеальной альтернативой для предприятий, которым требуются глубокие возможности ИИ.
Клод 3 Sonnet: Sonnet — более экономичный вариант для обработки данных, предложений, прогнозов и извлечения текста из изображений .
Клод 3 Хайку: Менее дорогой Хайку предназначен для перевода, редактирования и обработки неструктурированных данных .
3. Близнецы
Google запустил Gemini (тогда он назывался «Bard») в феврале 2023 года. Первоначально македония whatsapp номер телефона Gemini был доступен только через список ожидания, но к началу мая 2023 года он стал общедоступным.
Бесплатная версия включает в себя все основные функции:
Текстовые подсказки
Возможность загружать и создавать фотографии
Возможность поиска в приложениях и сервисах Google
Коммерческая версия Gemini Advanced предоставляет более полный набор функций:
Расширенная версия модели ИИ, подходящая для задач более высокого уровня (например, анализа данных)
Возможность поддерживать более длительные чаты
Возможность использования Gemini в приложениях Google, таких как Gmail и Docs
2 ТБ памяти
Уровни модели:
Nano: Nano — это бесплатный уровень для пользователя, который ожидает иметь базовые функции, такие как:
Анализ изображения
Транскрипция речи
Генерация текста
Flash: Gemini Flash — это следующий уровень, который описывается как облегченная версия системы. Google также заявляет, что он быстрее Gemini Pro, особенно с точки зрения времени отклика.
Плюсы: Google утверждает, что он лучше справляется со сложными задачами по сравнению с Flash и Nano, однако он медленнее Flash.
Ultra: Ultra мощнее Pro и стоит $20/месяц, при этом Google предоставляет бесплатную двухмесячную пробную версию. Лучше всего подходит для:
Мультимодальное рассуждение
Сложное кодирование
Математическое мышление
Пример ведущих LLM с открытым исходным кодом
Лама 3
Llama 3 — это новейший LLM Meta AI с архитектурой transformer. В отличие от предыдущих моделей Llama, он имеет предварительное обучение и тонкую настройку инструкций.
Meta выпустила шесть версий Llama 3.1:
Лама 3.1 8Б
Llama 3.1 8B-Инструкция
Лама 3.1 70Б
Llama 3.1 70B-Инструкция
Лама 3.1 405Б
Llama 3.1 405B-Инструкция
Модели 8B включают 8 миллиардов параметров, модели 70B — 70 миллиардов, а модели 405B — 405 миллиардов параметров.
Модели инструкций были доработаны для лучшего выполнения человеческих команд, что сделало их более подходящими для использования в качестве чат-бота.
Модели Llama 3 вскоре будут доступны для публичного использования на AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure и Snowflake, а также на аппаратных платформах AMD, AWS, Dell, Intel, NVIDIA и Qualcomm.
Бенчмарк лучших: GPT-4, Claude, Gemini и Llama
Ниже приведены тесты возможностей четырех популярных моделей на основе нулевого выстрела:
Источник: GitHub2
*В таблице сравниваются модели, которые были анонсированы, но еще не поступили в продажу, например, Gemini 1.5 Pro. Инженеры работали над улучшением подсказок для оценки, чтобы оптимизировать результаты тестов.
Оценки:
MMLU: Измерение понимания языка в условиях многозадачности: критерий оценки LLM с помощью вопросов с несколькими вариантами ответов. Эти вопросы охватывают 57 предметов, таких как математика, история, право и этика.3
GPQA: Тест вопросов и ответов для выпускников, соответствующий требованиям Google: набор данных из 448 вопросов с несколькими вариантами ответов, составленных экспертами в области биологии, физики и химии.4
МАТЕМАТИКА: Измерение решения математических задач с помощью набора математических данных5
HumanEval: Оценка больших языковых моделей, обученных на коде6
MGSM: Многоязычный тест по математике для начальной школы (MGSM)7
DROP: Тест на понимание прочитанного, требующий дискретного рассуждения по абзацам.8
Реальные примеры использования больших языковых моделей (LLM)
Ниже приведены основные варианты использования моделей LLM с примерами. Чтобы узнать больше о генеративном ИИ, см. раздел Приложения генеративного ИИ .
1. Создание и генерация контента
Помощь в написании текстов: специалисты LLM могут помочь в составлении, редактировании и улучшении письменного контента — от сообщений в блогах до исследовательских работ, предлагая улучшения или создавая текст на основе подсказок.
Пример из реальной жизни: Grammarly использует LLM, чтобы предлагать пользователям улучшения в грамматике, пунктуации и стиле, повышая качество их текстов.9
Творческое письмо: создание стихов, рассказов или сценариев на основе творческих идей, помощь писателям в мозговом штурме или завершении их проектов.
Пример из реальной жизни: AI Dungeon , работающая на базе GPT-4 от OpenAI, имеет сюжетный режим, который позволяет пользователям создавать и исследовать интерактивные истории, предлагая креативные повествования.10
Создание маркетингового контента: создание убедительного маркетингового контента, включая описания продуктов, публикации в социальных сетях и рекламу, ориентированную на определенную аудиторию.
Пример из реальной жизни: Copy.ai, генератор контента на основе искусственного интеллекта, использует степени магистра права для создания маркетингового контента, включая публикации в социальных сетях, описания продуктов и кампании по электронной почте.11
Перевод с одного языка на другой: переводите текст с одного языка на другой, сохраняя контекст и смысл.
Пример из реальной жизни: DeepL Translator использует модели LLM, обученные на лингвистических данных для перевода языков.12
2. Поддержка клиентов и чат-боты
Автоматизированное обслуживание клиентов: обладатели степени магистра права создают чат-ботов, которые могут обрабатывать запросы клиентов, устранять неполадки и предоставлять рекомендации по продуктам в режиме реального времени.
Пример из реальной жизни: Bank of America использует чат-бота на основе искусственного интеллекта Эрику, работающую на базе степеней магистра права, для помощи клиентам в решении таких задач, как проверка баланса, осуществление платежей и предоставление финансовых консультаций.13
Виртуальные помощники: степени магистра права позволяют виртуальным помощникам отвечать на запросы пользователей, управлять задачами и контролировать смарт-устройства.
Примеры из реальной жизни: Alexa от Amazon и Google Assistant используют LLM для ведения двусторонней коммуникации; они в основном доступны на устройствах домашней автоматизации и мобильных устройствах.1415
Персонализированные ответы: создавайте персонализированные ответы на основе истории и предпочтений клиентов, улучшая общее качество обслуживания клиентов.
Пример из реальной жизни: Zendesk, платформа обслуживания клиентов, использует LLM для предоставления индивидуальных ответов в службе поддержки клиентов.16
3. Разработка программного обеспечения
Языковые модели могут помочь нынешним разработчикам и людям, которые учатся программировать, в следующих областях:
Написание кода: помогайте разработчикам, создавая фрагменты кода, предоставляя предложения и создавая целые функции или классы на основе описательных подсказок.
Пример из реальной жизни: Code Llama — это специализированный LLM-программа, созданная путем обучения на наборах данных, специфичных для кода. Она может генерировать код и подсказки на естественном языке. Она может создавать код с обработкой естественного языка. Если пользователь спросит «Напишите мне функцию, которая выводит последовательность Фибоначчи», LLM создаст выходной код на основе данной подсказки.17
Видео: предложения кода на основе LLM
Источник: Мета18
Обнаружение и исправление ошибок: Анализируйте код для обнаружения потенциальных ошибок и предлагайте исправления, оптимизируя процесс отладки.
Ознакомьтесь с возможностями популярного LLM по обнаружению ошибок в больших кодовых базах.
Источник: HammingHQ19
Документация кода: создание технической документации, включая ссылки на API, комментарии к коду и руководства пользователя, на основе исходного кода.
Пример из реальной жизни: TabNine, инструмент документирования кода ИИ, использует LLM для обновления и пересмотра документации по мере внесения изменений в код.20
4. Бизнес-аналитика
Интерпретация данных: Интерпретировать сложные наборы данных, предоставляя повествовательные резюме и идеи, которые легче интерпретировать для нетехнических заинтересованных сторон. Ключевые практики включают:
Генерация инсайтов
Анализ данных
Создание истории
Формирование отчетов: автоматическое создание бизнес-отчетов, финансовых сводок и руководящих отчетов на основе необработанных данных и аналитики.
Пример из реальной жизни: подход Microsoft Research, GraphRAG, использует степень магистра права для создания графа знаний на основе закрытого набора данных, помогая компаниям получать ценную информацию без необходимости глубоких технических знаний.21
5. Финансы
Анализ оценки финансовых рисков: помощь в оценке финансовых рисков путем анализа исторических данных, выявления закономерностей и прогнозирования потенциальных спадов на рынке.
Пример из реальной жизни: BloombergGPT — это программа LLM, специально подготовленная в области финансовых данных, которая помогает аналитикам формировать аналитическую информацию о рисках и прогнозы на основе финансовых отчетов.22
Обнаружение мошенничества: помощь в выявлении мошеннических действий путем анализа схем транзакций и генерации оповещений о подозрительном поведении.
Пример из реальной жизни: Feedzai использует LLM для анализа схем транзакций и выявления мошеннических действий.23
6. Здравоохранение
Ответы на медицинские вопросы: магистры права могут помочь в сортировке пациентов, отвечая на медицинские вопросы,
Пример из реальной жизни: Med-PaLM, LLM от Google Research, разработан, чтобы помочь читателю изучить результаты тестов пациента. Таким образом, читатель может выбрать правильный ответ на вопрос о том, какое заболевание, тест или лечение наиболее подходят.24
Исследования лекарственных средств: анализ и обобщение научной литературы по фармацевтике и медицине.
Пример из реальной жизни: BenevolentAI, компания, занимающаяся поиском и разработкой лекарственных препаратов с использованием искусственного интеллекта, нанимает специалистов с высшим образованием для анализа научной литературы и выявления потенциальных кандидатов на создание лекарственных препаратов.25