Для решения данной задачи мы решили использовать нейросети Whisper (для транскрибирования голоса) и ChatGPT4 (для структуризации перевода в акт работ). Нами были разработаны промпты, исключающие ошибки перевода, иные толкования речи, но учитывающие специфику работ и наименований оборудования.
Для того, чтобы пользователь мог посмотреть свои задачи в боте, он должен быть ответственным или соисполнителем в этой задаче в Битрикс24.
Для доступа к боту мы использовали deeplink ссылки с указанием id инженера в Битрикс24. Все голосовые сообщения (если их несколько) «склеиваются» в один аудиофайл. Если инженер допустил ошибку при записи голосового сообщения или при заполнении акта - он может перезаписать голосовое сообщение. Подтвержденное голосовое сообщение транскрибируется. В бот можно отправить дополнительные материалы - фотографии с объекта, фото акта.
После завершения задачи все материалы попадают в комментарий к задаче в Битрикс24 в оформленном и структурированном виде.