Глоссарий

Большая языковая модель (LLM)

Большая языковая модель (Large Language Model, LLM) – нейросеть, обученная на огромном объёме текстов. Она понимает вопрос, написанный или сказанный своими словами, и составляет ответ обычным языком. В контакт-центре на языковой модели работают ИИ-агенты в голосе и в чатах, ИИ-помощник оператора и автоматические итоги разговоров.

Зачем это бизнесуНа ней работают ИИ-агенты и подсказки операторам – они ведут разговоры, для которых раньше нужен был человек.

Другие названия: LLM, Large Language Model, языковая модель, генеративный ИИ

Принцип

Как это работает

Модель получает запрос и шаг за шагом подбирает самые вероятные следующие слова ответа. Что именно она ответит, зависит от того, что положили в запрос. Поэтому в контакт-центре модели дают не только вопрос клиента, но и всё, что нужно для правильного ответа.

Инструкции: роль, тон, что можно и чего нельзя говорить
История диалога и данные клиента
Статьи базы знаний, подходящие к вопросу, – их находит RAG
Инструменты: запросы к вашим системам через API – проверить заказ, создать заявку, записать клиента

Применение

Где применяется в контакт-центре

ИИ-агенты – голосовые и в чатах
Подсказки и черновики ответов для операторов
Итоги звонков и чатов, разметка тем обращений
Проверка качества всех разговоров и анализ тональности

Ограничения

Ограничения и как с ними работать

Модель может уверенно выдумать цену или правило – пусть отвечает только по утверждённой базе знаний и говорит «не знаю», если ответа там нет
Качество ответов на русском языке проверяйте на ваших реальных вопросах, а не на демонстрационных примерах
Заранее решите, какие данные клиентов можно отправлять во внешний сервис, а какие должны оставаться у вас
Чем больше модель, тем она дороже и медленнее отвечает – подбирайте её под задачу
Сохраняйте ответы и регулярно проверяйте их выборочно

Практическое правилоБольшая модель – там, где нужно рассуждать и вести диалог. Небольшая и дешёвая – для разметки тем и коротких итогов.

В CONTACT.WORK

Как это устроено в CONTACT.WORK

Агенты и помощник связаны с моделью через ИИ-коннектор, поэтому модель меняют без переделки агентов. Модель может работать как в облаке, так и на вашем железе. Та же модель пишет краткие итоги разговоров – они видны в отчётах.

На своих серверах видеокарта или Mac mini нужны и для распознавания и синтеза речи, и для языковой модели. Видеокарту до 10 операторов ставят в общий сервер, с 11 операторов – в отдельный, но не в сервер телефонии. Модель и речевые сервисы оплачиваются отдельно, если не работают на вашем оборудовании.

Дополнительно