Голосовой ИИ-ассистент для записи с обработкой естественной речи
Задача проекта
Разработать систему обработки естественной речи для автоматизации записи клиентов. Основная задача - создать промпты для точного извлечения намерений, параметров и контекста из голосовых сообщений пользователей, обеспечив высокую точность распознавания и понимания запросов.
Технические вызовы:
- Обработка неструктурированной речи
- Извлечение параметров из контекста
- Распознавание различных формулировок
- Обработка неполной информации
- Поддержание контекста диалога
Технологический стек
Решение
Голосовое управление
Интегрировал OpenAI Whisper для распознавания голосовых сообщений и GPT-4 для извлечения намерений клиента. Бот понимает естественную речь и автоматически определяет желаемую услугу, дату и время.
Пример промпта для обработки голоса:
Ты - ассистент салона красоты. Проанализируй запрос клиента и извлеки:
1. Тип услуги (наращивание, коррекция, снятие)
2. Желаемую дату и время
3. Специальные пожелания
ВХОДНЫЕ ДАННЫЕ: "{voice_text}"
ОТВЕТ В JSON:
{
"service": "наращивание/коррекция/снятие/неопределено",
"date": "YYYY-MM-DD или null",
"time": "HH:MM или null",
"notes": "дополнительная информация"
}Интеграция с Google Calendar
Полная синхронизация с Google Calendar мастера. Бот автоматически проверяет свободные слоты, создает записи и отправляет приглашения клиентам.
Преимущества интеграции:
- Автоматическая синхронизация расписания
- Предотвращение двойных записей
- Напоминания клиентам и мастеру
- Возможность переноса записей
Система напоминаний
Автоматические напоминания за 24 часа и за 2 часа до визита. Клиенты могут подтвердить или перенести запись прямо в боте.
Результаты внедрения
-60%
сокращение времени на обработку заявок
+40%
увеличение конверсии записей
-80%
снижение количества пропущенных записей
95%
удовлетворенность клиентов
"Александр создал невероятно удобного бота! Теперь клиенты записываются сами, я получаю все данные в календаре, а количество пропущенных записей сократилось почти до нуля. Особенно нравится голосовое управление - многие клиенты предпочитают говорить, а не печатать."
— Анна Петрова, мастер по наращиванию ресниц
Техническая реализация
Архитектура бота
Использовал FSM (Finite State Machine) для управления состояниями пользователя. Это позволило создать логичный диалог с клиентом и обрабатывать различные сценарии взаимодействия.
class BookingStates(StatesGroup):
waiting_for_service = State()
waiting_for_date = State()
waiting_for_time = State()
waiting_for_confirmation = State()
waiting_for_voice = State()Обработка голосовых сообщений
Интегрировал OpenAI Whisper для преобразования речи в текст и GPT-4 для извлечения структурированной информации из естественной речи клиентов.
Google Calendar API
Настроил двустороннюю синхронизацию с календарем мастера. Бот проверяет доступность, создает события и отправляет напоминания.