Редизайн раздела обучения ML-моделей
Саммари
Редизайн раздела управления обучением ML-моделей в B2B-платформе для создания голосовых роботов. Провела исследование с двумя группами пользователей, переработала логику и архитектуру раздела. Результат: –60% обращений в поддержку
Продукт
Naumen Erudite — платформа для создания AI-роботов в контакт-центрах. Пользователи продукта — аналитики, которые настраивают логику роботов и управляют их обучением. В сложных сценариях робот использует ML-модели, чтобы распознавать тематики обращений, извлекать данные из реплик и вести сценарии диалогов. Когда аналитик вносит изменения в логику, модели нужно переобучить. Это делается в разделе «Обучение»: здесь запускают обучение, следят за статусами и переключаются между версиями моделей.
Проблема
Раздел копил компромиссы годами. На вопросы о логике элементов команда часто отвечала: «Так исторически сложилось». Решения принимались в разное время разными людьми и наслаивались друг на друга. Из смешного: даже иконки не несли никакой смысловой нагрузки, что стали мемом в команде. В итоге раздел стал одним из самых сложных в продукте: непонятные статусы, запутанная структура, смешение важных и редких действий. Пользователи регулярно обращались в поддержку с вопросами, ответы на которые должен давать интерфейс.
Исследование
Перед проектированием нужно было разобраться как всё работает сейчас. Я изучала документацию, тестировала сценарии, обсуждала поведение с аналитиком и разработчиками.
Затем провела два раунда интервью с 8 пользователями. Разделила их на две группы:
- Опытные аналитики — давно работают с разделом, знают обходные пути
- Новые пользователи — почти не знакомы с интерфейсом
Зачем: опытные показывают, что работает «по привычке», новые — что действительно интуитивно. Это помогло не принять адаптацию за хороший UX (спойлер: без документации не разобраться даже опытным).
Проблемы со структурой и навигацией
- Нет чёткой иерархии: переобучение (основное действие) стоит рядом с тестированием диалога (используется редко)
- Список моделей неочевидно вызывается кликом на ML-компонент — новые пользователи его не находят
- Две модели атрибутов разделены без явной причины
Проблемы с пониманием состояния
- Много статусов моделей и непонятно, что они означают
- При ошибке обучения непонятно, критична она или нет — упал робот или продолжает работать? Аналитики пробуют создать новую модель, если не помогает — просят админа выгрузить логи
- Старые версии моделей используют только при серьёзных проблемах с актуальной
Решения
1. Переработка статусов
Именно непонятные статусы генерировали основной поток обращений в поддержку. Вместо набора технических статусов стало: работает / обучается / ошибка / не обучена. При ошибке обучения добавила явное объяснение — «Эта модель не является рабочей. Ошибка не влияет на обработку диалогов». Аналитик сразу понимает: робот продолжает работать, паниковать не нужно.
2. Новая информационная архитектура
Раздел разделён на два таба:
- «Управление обучением» — основные сценарии: ML-компоненты, их статусы, переобучение, список моделей
- «Дополнительно» — автоматическое тестирование диалогов и настройки обработки текста
Раньше всё было на одной странице. Разделение убрало шум: 90% времени аналитик проводит в первом табе.
3. Объединение моделей атрибутов
Две модели атрибутов объединены в один компонент. В ходе аналитики не удалось найти пользу разделения, а объединение упростило раздел. Теперь не приходится думать, чем атрибуты отличаются и какой конкретно нужно переобучить.
4. Дополнительные улучшения
- «Рабочая» и «Неактивные» — модели разделены на две группы вместо плоского списка. Аналитик сразу видит, по какой модели работает робот
- Прозрачность обучения — добавила точность классификации и комментарии к версиям. Аналитик видит полную картину без необходимости уточнять у команды
Валидация
Протестировала новый интерфейс на тех же группах пользователей. Проверяла две вещи: понятен ли он новичкам и не ломает ли привычные сценарии опытных аналитиков. Критических проблем не нашла, мелкие правки внесла до передачи в разработку.
Работа над ошибками
В табе «Дополнительно» можно запустить автоматическое тестирование диалогов. После завершения теста я сделала «Посмотреть результаты» главной кнопкой, сместив «Запустить» на второе место — казалось, что после теста главное действие это просмотр результатов.
Пользователи пришли с фидбеком: по привычке нажимали не туда и случайно запускали тестирование заново.
Исправила: вернула обе кнопки на привычные места. Кнопку запуска переименовала в «Запустить ещё раз» — чтобы аналитик понимал, что это повторный запуск, а не первый. Ошибка была в том, что я недооценила силу позиционной привычки.
