Голосовые помощники как технология возникли благодаря развитию целого созвездия других технологий. И одним из таких голосовых помощников стала Маруся, относительно недавно созданная в Mail.ru Group. В её основе лежат последние разработки компании в области распознавания речи, машинного обучения и быстрой обработки крупных массивов данных. Маруся — это диалоговая платформа.
Она способна взаимодействовать с человеком не только звуком, но и посредством изображений или текста. Есть много ситуаций, в которых она ответит не голосом, а изображением, текстом или ссылкой.
Маруся дебютировала еще в прошлом году, а первое устройство с этим ассистентом появилось в апреле 2020. Компания развивает его, делает умнее и наполняет библиотеку скиллов. В частности, ассистент стал лучше понимать пользователя, улучшился TTS. Кроме того, Маруся научилась управлять умным домом. В июне 2020 года Mail.ru Group открыла возможность создавать свои собственные скиллы.
Что может последняя версия голосового ассистента Маруся от Mail.ru?
С тех пор протокол сильно прокачался и возможности ассистента намного выросли, а для разработчиков появился отладчик, где можно протестировать созданные скиллы.
Содержание:
- Как работает Маруся.
- Как сделать скилл полезным.
- Как создать скилл для Маруси.
- Как перенести скилл из других ассистентов.
- Как устроена среда отладки скиллов.
- Как добавить скилл через ВКонтакте.
- Как осуществляется модерация скиллов.
- Как добавлять изображения в Марусю.
- Как добавлять звуки в Марусю.
1. Как работает Маруся
В основе работы Маруси лежит система «скиллов» или, по-русски, «навыков». Это крохотные диалоговые приложения, в которых прописаны реакции и действия голосового помощника в ответ на определённые голосовые запросы. Этакие микросервисы, если вы знакомы с этой программной архитектурой. Пользователи взаимодействуют со скиллами Маруси, которая может быть встроена в самые разные устройства и отдельные программы. Причём у устройств могут быть сенсорные экраны или только голосовые интерфейсы.
На сегодняшний день Марусю поддерживают:
- мобильное приложение Маруся на iOS;
- мобильное приложение Маруся на Android;
- умная колонка «Капсула»;
- умная колонка Prestigio Smartvoice;
- приложение Почта Mail.ru для iOS;
- приложение Почта Mail.ru для Android.
2. Как сделать скилл полезным
Прежде чем начать создавать скилл, постарайтесь абстрагироваться от всех инструментов и процессов. Представьте, что пользователь разговаривает не с устройством, а просит выполнить свою задачу какого-нибудь специалиста. Задумайтесь: «Если бы вместо моего скилла был человек, идеально выполняющий эту задачу, как бы он общался с заказчиком?
» Распишите по шагам, как будет проходить этот диалог, какой информацией будут обмениваться заказчик и исполнитель. Учитывайте, что диалог и сценарий использования может отличаться для Маруси в умной колонке и в приложении. В приложении вы можете часть информации вынести в визуальный интерфейс, а в умной колонке доступно только голосовое управление.
ЭКСКЛЮЗИВ: Маруся ОБЗОР — Алиса от Mail
При общении с Марусей пользователь может говорить что угодно, и нужно предусмотреть пограничные ситуации, чтобы он не зашёл в тупик. Для этого проверьте свой скилл по чеклисту TRINDI (на русском).
После оттачивания сценария нужно продумать интерфейс. Для проверки его удобства рекомендуем второй важный чек-лист — usability-эвристики Нильсена (на русском). По нему проверьте ключевой сценарий и все подзадачи и ответвления. Чек-лист покажет, доносите ли вы всеми необходимыми способами пользователю сигналы о том, что скилл сработал и как он сработал. А заодно поможет правильно обработать ошибки: не просто выдав уведомление, а с пояснением, что делать дальше.
А еще мы советуем использовать длинное тире (—) в диалогах с пользователем, а в качестве кавычек использовать только начертание, принятое в русской типографике — «ёлочки». И не забывайте, что Маруся обращается на «вы» в независимости от возраста пользователя.
3. Как создать скилл для Маруси
- С помощью конструктора голосовых приложенийAimylogic. Платформа скиллов общается с самим скиллом посредством протокола. Вебхук (webhook) — это веб-сервис, созданный разработчиком. Этот веб-сервис поддерживает протокол Маруси и способен принять и обработать запрос от пользователя (который Маруся перенаправит во внешний скилл) и отправить ответ. Чтобы сделать такой веб-сервис нужно обладать навыками программирования. Но можно воспользоваться конструктором для создания скиллов или ботов, которые значительно упрощают процесс.
- Разработать самостоятельно. Для этого придётся изучить подробную документацию по созданию скиллов для Маруси. В ней подробно описан протокол, по которому взаимодействует Маруся с внешними навыками, как работать с TTS, как работать с медиафайлами. Код приложения может быть написан на любом удобном вам языке и размещен на любом сервере. Главное, чтобы вебхук был доступен из интернета и воспроизводил протокол Маруси из документации.
- Заказать разработку скиллов у сторонних разработчиков. Тут всё то же самое, что и в предыдущем пункте, только работа будет произведена кем-то другим. Для этого нанятая команда должна иметь опыт по проектированию диалоговых систем (например чат-ботов) и созданию приложений с голосовым управлением.
4. Как перенести скилл из других ассистентов
Если у вас уже есть скилл, созданный на платформе AImylogic, то для подключения его к Марусе достаточно выбрать канал Маруся в настройках и следовать инструкции. Более подробную информацию можно прочитать на странице платформы. При этом все разработчики, которые создают скиллы для Маруси с помощью Aimylogic, могут хостить эти скиллы бесплатно. Для этого есть специальный тариф — Skillmaster.
На что стоит обратить внимание при переносе скилла:
- Проверить скилл на упоминания брендов и компаний.
- Убрать стороннюю монетизацию, ссылки на другие каталоги и прочие специфичные настройки.
- Проверить разметку голосового синтеза. Подробная инструкция по ссылке.
- Проверить хостинг картинок. Возможно, в переносимом скилле изображения подгружаются из облачного хранилища. Для работы с изображениями необходимо их загрузить в интерфейсе ВКонтакте.
- При желании можно конвертировать аудио, используя библиотеку звуков Маруси.
5. Как устроена среда отладки скиллов
Нам важно, чтобы разработчики могли быстро проверять свои идеи, легко отлаживать и тестировать скиллы на нашей платформе. Для этого мы создали среду для тестирования скиллов.
Она позволяет не публикуя скилл опробовать его на любом клиенте Маруси. Для начала работы достаточно указать среде Webhook URL разрабатываемого скилла. При этом нет необходимости выкладывать его в сеть — разработчик может подключить к тестовой среде скилл, развёрнутый на своём компьютере, указав локальный адрес, например:
http://localhost:3000/webhook
Подключенный к среде скилл можно тестировать в любом клиенте Маруси: на колонке «Капсула», в мобильном приложении, во ВКонтакте или во встроенном в среду эмуляторе. Разработчик может переопределять некоторые параметры клиента, передаваемые в скилл: временную зону, геолокацию, язык интерфейса, признак наличия дисплея — это удобно для тестирования сценариев работы скилла.
Тестовая среда воссоздаёт production-окружение Маруси, поэтому уже на ранних этапах реализации разработчик может убедиться, что скилл правильно интегрируется с платформой. Если он возвращает ошибку, отвечает долго, или ответ от скилла не соответствует протоколу, то среда выведет соответствующее сообщение. Также среда отображает лог JSON-сообщений между скиллом и платформой, что помогает искать ошибки в бизнес-логике работы скилла.
6. Как добавить скилл через ВКонтакте
Сам скилл можно создать в разделе для разработчиков ВКонтакте. Чтобы добавить готовый скилл:
- В типах приложения выберите «Скилл Маруси».
- Добавьте название, которое будет совпадать с командой для активации скилла.
- Введите в поле Webhook URL адрес сервера, по которому будет размещен скилл, например https://example.com/test-webhook.
- Подтвердите действие.
Обратите внимание: имя является первой фразой-триггером для вызова скилла. Фразы должны быть специфичны и уникальны, чтобы мы могли использовать их для внешних скиллов. Например, фразу «Расскажи анекдот» добавить не сможем, т.к. она уже используется во внутренних скиллах Маруси. А вот «Давай сделаем кодревью» пока можно использовать. Длина фразы активации не может превышать 64 символа.
7. Как осуществляется модерация скиллов
Все скиллы, которые создаются для Маруси сторонними разработчиками, в обязательном порядке проходят модерацию. Проходят быстро, всего за один рабочий день.
Каких правил нужно придерживаться, чтобы ваш скилл для Маруси был успешно допущен к использованию:
- картинки должны соответствовать теме скилла и законам РФ, а также не нарушать авторских прав;
- описание скилла должно быть простым, кратким и ёмким;
- категория должна соответствовать тематике скилла;
- скилл должен быть полезен и не носить рекламного характера;
- название скилла и активирующей его фразы не должно содержать известные торговые марки (исключение: если скилл представлен владельцем этой марки);
- скилл не должен давать доступ к контенту, защищенному авторским правом, если права на контент не принадлежат разработчику скилла.
8. Как добавлять изображения в Марусю
Маруся позволяет в ответе из внешнего скилла вставлять картинки. Для использования своего изображения необходимо загрузить с помощью формы загрузки изображений на странице редактирования информации о скилле на платформе загрузки скиллов ВКонтакте. После того, как изображение будет успешно загружено, оно отобразится рядом с формой загрузки вместе со своим идентификатором. Идентификатор изображения необходимо указывать в ответе внешнего скилла в поле image_id . Выглядеть такой ответ будет следующим образом:
9. Как добавлять звуки в Марусю
Произносимый Марусей текст можно разнообразить звуковыми эффектами, которые входят в библиотеку звуков Маруси. Для этого в поле tts (текст, предназначенный для перевода в речь) ответа внешнего скилла нужно вставить самозакрывающийся тег speaker , в котором необходимо указать атрибут audio . Выглядит это так:
tts = “Поздравляю! Вы правильно ответили на все мои вопросы!”
В произносимую речь можно вставлять и собственные звуки. Для этого нужно создать скилл на платформе ВКонтакте, а затем на странице редактирования скилла загрузить свои аудиофайлы. Они будут доступны только для использования в вашем внешнем скилле.
После того как звуки станут доступны, их можно вставить в речь с помощью тега speaker с указанием атрибута audio_vk_id . Значением атрибута будет идентификатор загруженного вами звука. Выглядит это так:
tts = “Угадайте, чей это голос? ”
Платформа скиллов Маруси будет и дальше развиваться. Мы будем радовать разработчиков новыми фичами и развивать инструменты, чтобы создавать скиллы для Маруси было еще легче и интереснее. Следите за новостями и присоединяйтесь к нашему сообществу в Telegram!
- Блог компании VK
- Программирование
- Умный дом
- Голосовые интерфейсы
Источник: habr.com
Что умеет голосовой помощник Маруся? 7 лучших навыков, которые стоит попробовать
Голосовые ассистенты Алиса и Маруся часто сравнивают, стараясь выбрать лучшего. Но сделать это практически невозможно: колонки внешне напоминают друг друга, цена — почти одинаковая и даже голоса у обоих ассистентов как будто бы похожи. Как вы знаете, основная фишка умных колонок заключается далеко не в умении включать музыку, рассказывать погоду или новости — весь смысл в наборе навыков. Не так давно мы поведали об умениях Алисы: настал черед рассказать про скиллы Маруси, которые точно сделают умную колонку полезнее.
Рассказываем, какими навыками обладает голосовой ассистент Маруся
Если Алиса позволяет запускать навыки голосом, то Маруся открывает для некоторых команд мини-приложения во ВКонтакте. Разберем самые разные варианты, которыми можно пользоваться и на смартфоне, и на ПК, и на колонке.
Как проверить надежность пароля
Сейчас есть масса сервисов, которые подскажут вам, в безопасности ли ваш пароль и не оказался ли он в списке украденных. Другое дело — заранее выяснить, насколько выбранная вами комбинация символов надежна. Если вдруг нет возможности проверить это, достаточно попросить Марусю запустить приложение «Проверь пароль».
Можно проверить надежность любого пароля, включая ПК
Система проверит его и скажет, насколько он надежен. В противном случае, вам предложат сгенерировать новую комбинацию для смартфона или компьютера. Так вы сможете не только проверять одной фразой надежность создаваемых паролей, но и уже существующих!
Как выпрямить осанку и шею дома
Неправильная осанка — следствие не только ваших привычек, но и, вероятно, не самого удобного кресла. Но если его менять вы не планируете, просто используйте навык Маруси «Здоровая спина»: это комплекс упражнений, которые помогут избавиться от болей, расправить плечи и укрепить спину.
Эти рекомендации помогут вам наконец избавиться от проблем со спиной
Для этого вам даже не понадобятся тренажеры и вообще какой-либо инструментарий — достаточно сказать Марусе «Открой приложение Здоровая спина» и следовать рекомендациям помощника. Через пару-тройку занятий начнете чувствовать себя намного лучше!
Игра в угадывание слов
Считается, что каждый человек использует примерно 10-12 тысяч слов, хотя по подсчетам ученых вместе с пассивным запасом выходит около 30 тысяч! Хотите знать больше? Пользуйтесь навыком «Угадай слово»: в этой викторине нужно отвечать на вопросы, зарабатывать монетки и пытаться переиграть других участников.
Классная игра помогает посоревноваться с другими и узнать новые слова
Что удобно — в игре предусмотрены разные уровни сложности, поэтому в некоторых моментах придется действительно напрячь извилины! Впрочем, вы всегда можете воспользоваться подсказкой или пропустить задание, но пополнить словарный запас точно удастся.
Узнать, что было в этот день
Вся информация о сегодняшнем дне есть в одном приложении
Многие настолько вовлечены в работу, что даже не подозревают, какой сегодня день: а ведь, возможно, пару десятилетий или веков назад именно в этот момент происходили исторические события! Чтобы узнать это, не нужно ничего гуглить: просто попросите Марусю запустить приложение «Сегодня».
Голосовой ассистент расскажет вам все, что известно: какие происходили события, кто родился в этот день, отмечаются ли праздники в России и других странах и многое другое!
Как создать капсулу времени
Можно создать капсулу времени одной голосовой командой!
С недавних пор Алиса перед наступлением нового года предлагает прослушать то, что вы записали год назад — этакий экскурс в прошлое. Соответственно в течение года прослушать запись нельзя, хотя было бы интересно. Но у Маруси другой подход: среди умений я нашел «Капсулу времени».
Этот навык позволяет зафиксировать то, что происходит прямо сейчас или мысль, которую вы хотите переслушать спустя какое-то время. Для этого нужно всего лишь сказать: «Маруся, открой приложение Капсула времени».
Чем заняться, когда скучно
Если вдруг у вас появилась минутка свободного времени, не спешите тратить ее на проверку ленты в соцсетях или игры: просто скажите Марусе: «Развлеки меня»! Голосовой помощник мигом придумает, чем вас удивить.
Маруся может придумать что-то веселое, если вам станет скучно
Маруся предложит вам поиграть, расскажет шутку, интересный факт или какую-нибудь цитату. В общем, найдет, чем вас занять, чтобы с пользой провести время.
Как отправить сообщение во ВКонтакте
Маруся умеет читать вслух ваши сообщения и отправлять новые!
На мой взгляд, одна из лучших фишек Маруси — возможность отправить сообщение во ВКонтакте, даже если под рукой нет телефона или компьютера. Достаточно сказать голосовому помощнику «Напиши другу», после чего надиктуйте текст сообщения. Можно даже проверять входящие, не доставая телефон из куртки: просто скажите Марусе «Проверь новые сообщения», после чего она их зачитает!
Чтобы быстро запускать скиллы Маруси, используйте VK Капсулу Нео. Как раз сейчас она сильно подешевела — нельзя упускать такое выгодное предложение!
Наши соцсети
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Лонгриды для вас
Surfshark VPN сломался: пользователи из России сообщают о сбоях при подключении и подозревают, что сервис попросту могли заблокировать. У других же он продолжает работать как и прежде. Объясняем, с чем может быть связан текущий сбой и что можно сделать, чтобы ВПН снова работал
Apple анонсировала обновленное караоке в своем музыкальном сервисе: Apple Music Sing позволит подпевать, заглушив голос исполнителя в треке, а также исполнять вместе с кем-то одну и ту же песню с помощью iPhone. Рассказываем, как функция убирает слова и на каких устройствах работает
Приложение ChatGPT наконец появилось в App Store, но российские пользователи не смогут скачать его. Однако способ обойти ограничение, чтобы загрузить популярную нейросеть, есть! Рассказываем, как обмануть App Store и загрузить ChatGPT на Айфон в России
Источник: appleinsider.ru
Маруся от Mail.ru Group: что она умеет
Чтобы получить доступ к приложению от Mail.ru Group, нужно оставить заявку на официальном сайте проекта или попросить инвайт у пользователя, который уже участвует в тестировании. После авторизации вы и сами сможете раздавать приглашения — в меню приложения есть раздел «Поделиться с друзьями» с кнопкой «Получить инвайты». После нажатия на неё в диалоге появится три кода.
Подписывайтесь на наш Телеграм
Авторизация
Для авторизации в приложении доступно три способа:
- По номеру телефона.
- Через профиль VK.
- Через почтовый аккаунт Mail.ru.
При авторизации через VK доступно прослушивание музыки, добавленной в ваш профиль. Встроенный проигрыватель самый простой: воспроизведение, перемотка назад и вперёд. При авторизации через Mail.ru можно следить за состоянием почты.
Привязка аккаунтов VK и почты Mail.ru доступна также при авторизации по номеру телефона. Странно, что нет «Одноклассников», ещё одного продукта от Mail.ru Group. Наверное, там просто не целевая аудитория. Или интеграция будет добавлена позже, как в случае с некоторыми другими сервисами. Возможностей для настройки приложения пока тоже очень мало.
Кроме подключения аккаунтов вы можете очистить историю запросов и кэш, а также включить или выключить активацию голосом.
Основные возможности
Поиск в интернете
Ответы на простые запросы вроде «погода в Москве» или «курс доллара» помощник показывает в окне чата. Если вопрос подразумевает развёрнутый ответ, то отображается информация из первой ссылки в поисковой выдаче, а также кнопка «Искать в интернете». Неудобно, что для поиска приходится запускать ещё и сторонний браузер — у той же Алисы есть встроенный обозреватель. Использование поисковой системы от Mail.ru тоже смущает, но с этим ничего поделать нельзя.
Работа с важной информацией
Маруся умеет запоминать важную информацию и напоминать о ней пользователю. Чтобы зафиксировать сведения в памяти помощника, скажите «Маруся, запомни» и перечислите всё, что нужно сохранить. Для воспроизведения записанной информации скажите «Маруся, напомни». Главное не забыть попросить помощника напомнить о чём-то важном.
Маруся может по вашей просьбе запустить таймер или поставить будильник на определённое время. В общем, стандартный набор личного ассистента.
Свободная беседа
Маруся старается разговаривать, как человек, но пока часто сваливается в бред или отказывается отвечать на личные вопросы.
Вероятно, это временная проблема — голосовой помощник будет обучаться с помощью нейросетей и прокачивать навыки общения с людьми. Алиса от Яндекса тоже не сразу стала адекватной — хотя её дерзость на первых этапах тестирования была явно веселее, чем ответы Маруси.
Помощник от Mail.ru умеет также рассказывать сказки и шутить. Контент выбирать нельзя, он появляется рандомно. Неудобно, что сказку нельзя пропустить в проигрывателе — надо просить рассказать ещё раз, чтобы включить другую.
Перспективы Маруси
Уже на стадии бета-тестирования Маруся выглядит неплохо и справляется с основными задачами голосового помощника. Но от сравнений с Алисой уйти не удастся. Продукт от Mail.ru Group пока смотрится вторичным и не предлагает ничего нового даже в плане взаимодействия и интерфейса.
Создатели Маруси планируют добавить интеграцию с сервисами Mail.ru и других компаний, чтобы, например, через приложение можно было заказывать еду в Delivery Club. Кроме того, функциональность помощника будет расширяться за счёт навыков от внешних разработчиков. Алиса от Яндекса этот путь уже прошла и показала свою эффективность. Получится ли у Маруси забрать часть аудитории, которая не была изначально лояльной к продуктам от Mail.ru Group, — большой вопрос.
Источник: trashbox.ru