Поиск и ИИ

Что такое Языковая модель (LLM)

Что это

Программа, которая понимает и пишет текст: ChatGPT, Gemini, Claude, YandexGPT, DeepSeek. Сама по себе она ничего не знает о вашем сайте, пока не прочитает его через поиск или по ссылке.

Как используем

Используем в ботах через API: расшифровка голосовых, разбор выписок и чеков, чат-консультант на сайте с фактами из прайса. Модель отвечает только тем, что есть в подсказке, чтобы не придумывать цены.

Где языковая модель нужна бизнесу

  • Голосовые сообщения и записи звонков нужно превращать в текст, который можно искать и цитировать.
  • Фото чеков, сложные фразы и непонятные строки банковских выписок нужно разложить по категориям без ручного ввода.
  • Сотрудники задают одни и те же вопросы поддержке, и часть из них можно закрыть до создания заявки.
  • Пользователь хочет спросить о своих данных обычными словами: «на что я трачу больше всего?».

Как мы это используем

  • Расшифровка голосовых. Аудио вместе с инструкцией уходит в мультимодальную модель Gemini одним запросом, отдельного распознавания речи нет. Три режима: дословно, чисто, кратко. Перед отправкой FFmpeg проверяет запись и сжимает тяжёлый файл, аудио удаляется сразу после обработки.
  • Финансовый ассистент. Модель разбирает сложный текст, голос и фото чеков, а ночью одним запросом раскладывает по категориям незнакомых продавцов. Ответы на вопросы о деньгах строятся из данных самого бота, инвестиционных советов бот не даёт.
  • Тикет-система. Необязательный ИИ-помощник на Gemini как первая линия поддержки, по умолчанию выключен.

Ботов с ИИ делаем в разделе Боты для Telegram и ВКонтакте.

Типичные проблемы

  • Квота ключа кончилась. Бесплатная квота ограничена, поэтому ключи работают пулом: исчерпанный ключ уходит на паузу (по умолчанию 60 минут), запрос идёт через следующий, администратор получает уведомление.
  • Модель переименовали или убрали. На ответ 404 бот сам переключается на запасную модель. Ключи и порядок моделей задаются в .env, без правки кода.
  • Модель придумывает. Если в записи нет речи, бот прямо говорит об этом, а не сочиняет текст. Ответы о деньгах берутся только из своих данных бота.
  • Данные уходят в чужое облако. Фото чека и текст сообщения уходят в Google, когда нужен сложный разбор. Об этом нужно знать заранее; без ключей работают только встроенные правила.
  • Фильтры и качество. Фильтры безопасности Gemini могут отклонить запись на чувствительную тему, а шум и несколько голосов сразу снижают качество.
  • Повторы стоят денег. Та же запись в том же режиме отдаётся из кэша мгновенно и без запроса к API; кэш живёт 30 дней.

Когда это не нужно

Если задачу решают простые правила — ключевые слова, известные продавцы, фиксированные кнопки, — модель не нужна: правила быстрее, дешевле и не ошибаются фантазией. В финансовом ассистенте категория сначала ищется по выученным правилам и ключевым словам, и только непонятное уходит модели. И если данные нельзя отдавать внешнему сервису, облачная модель не подходит.

← Все термины

Нужен сайт, бот или автоматизация?

Термины объяснили — теперь давайте к делу: расскажите о задаче, а мы переведём её на понятный план работ.