Evakuator-gruzovik.ru

Авто журнал
4 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Голосовое управление в Умном доме

Голосовое управление в Умном доме

Умный дом

  • Умный дом
  • Система «KNX»
  • о Z-Wave
  • Преимущества и недостатки
  • Сценарии освещения
  • Голосовое управление в Умном доме
  • Контакты

Идея управления голосом различными устройствами появилась давно и имеет множество реализаций. В последнее время голосовое управление умным домом популярный и модный тренд. При реализации одного из проектов, было использовано устройство — шлюз голосового управления Busch VoiceControl VCO/S99.1

В описании на него очень мало информации, восполним этот недостаток. Официально указывается следующее:

Шлюз Busch-VoiceControl VCO/S99.1

Интерфейс голосового управления позволяет использовать команды голосовых помощников Siri, Alexa или Google Assistant в качестве управляющих сигналов в системе KNX. Благодаря устройству Busch-VoiceControl® KNX можно получать информацию о текущем состоянии систем, включая температуру в помещении, интенсивность света и влажность, когда вы находитесь вдали от дома. Основные преимущества и функциональность:

• Голосовое управление KNX для приложения Apple Homekit
• Максимально доступно 150 функций
• Функции управления: включение/выключение света, регулирование яркости, приводы штор/жалюзи, температура
• Использование статусов: температура, интенсивность света, влажность и другие.

В связи с тем, что заказчик запросил управление с Android смартфонов, то дальнейшее описание будет опираться на голосовой помощник Google Assistant. Для полноценной работы голосового управления необходимо настроить устройство организацией проектирующей умный дом (интегратором) и личный смартфон непосредственно пользователю. Если Вам интересны только настройки пользователя, то можно сразу перейти в этот раздел. Общий принцип настроек для голосовых помощников следующий

  • шлюз подключается и настраивается на работу в местной IP сети клиента (выполняет интегратор)
  • шлюз регистрируется на сервисе Busch Jaeger (выполняет интегратор)
  • в шлюз импортируются команды KNX сети (выполняет интегратор)
  • на личный смартфон устанавливается специальная программа. Для разных голосовых помощников она своя и не работает с другим помощником. (выполняет клиент)
  • клиентский смартфон сопрягается с зарегистрированным устройством и синхронизирует команды KNX (выполняет интегратор или клиент)
  • клиент самостоятельно выбирает какие команды он будет использовать и в виде виджетов размещает в установленной программе.

Настройка устройства

При подключении устройства к IP сети у него сразу задействован протокол динамического присвоения IP адреса. Зайдя по IP адресу непосредственно на устройство, лучше всего сразу настроить статический IP адрес. Особых сложностей настройка не вызывает, за исключением того, что необходимо разрешить необходимые протоколы голосового управления. Изначально разрешен только HomeKit.

Регистрация на сервисе

Зайдя на сервис Busch Jaeger и создав аккаунт, в нем с помощью серийного номера шлюз необходимо зарегистрировать. Возможна регистрация на другом сервисе ABB. Предварительно шлюз необходимо в обязательном порядке подключить к местной IP сети и прописать в нем необходимые настройки. Без этого этапа регистрация на сервисе Busch Jaeger невозможна.

Настройка команд KNX сети

Перейдя на вкладку «Проекты» необходимо импортировать KNX адреса по которым будут отправляться команды или написать их вручную.

В результате получаем список адресов (команд) которые будут исполняться голосовым управлением. Как видите, в различных голосовых помощниках, адреса могут быть различны и даже не повторять друг друга. Всего таких адресов в памяти устройства может быть не более 150 шт.

Итоговый список адресов успешно импортирован в шлюз, теперь можно переходить непосредственно к настройке смартфона.

Настройка смартфона для управления голосом в системе «Умный дом»

Уже было упомянуто ранее, что дальнейшее описание настроек смартфона имеет отношение только к голосовому помошнику Google Assistant. Для начала необходимо на смартфоне установить программу Google Home.

После чего сразу попадаем в раздел добавления дома

Далее в дом необходимо добавить устройство которым будем управлять.

Далее идет важный момент. Не смотря на то, что устройство уже непосредственно может быть физически находиться в сети дома, оно не будет определяться программой Goole Home. Его нужно добавить ручным способом кликнув по разделу «Устройства поддерживающие сервисы Google»

После чего появится список устройств которые могут быть интегрированы для работы с Goole Home. Ищем в нем необходимое нам Busch-VoiceControl.

Далее попадаем на страницу ввода логина и пароля аккаунта интегратора. Почему именно так, разумеется можно переписать аккаунт на пользователя, но тогда интегратор уже ничего не сможет добавить( убавить) из адресов KNX сети. Сможете ли вы самостоятельно это сделать, решите посмотрев раздел Настройка команд KNX сети. В пользу решения оставить аккаунт за интегратором, можно сказать еще и следующее. Команда разработчиков системы визуализации и контроля iRidium Mobile однозначно рекомендует серверы iRidium оставлять в аккаунтах инреграторов, а не пользователей.

Программа Goole Home подключается к облачному сервису Busch-Jaeger и считывает настройки устройства VoiceControl. Как результат появляется список доступных команд, которые необходимо разместить «по комнатам».

Вот теперь можно и задействовать голосовое управление умным домом. Обратите внимание на чат сверху скриншотов. Справа вверху это голосовая команда пользователя, строка ниже это ответ Google Assistant и результат выполнения команды.

Читать еще:  Suzuki Vitara S 2017

Голосовые команды нужно проговаривать достаточно четко с паузой между словами. Сначала необходимо произносить комнату, затем название оборудования которому необходимо выполнить команду и затем «что сделать». Правильно построенная фраза для включения света в гостиной звучит так — «Гостиная группа один включить». Если бы в настройках устройства голосового управления прописать на адресе KNX вместо «Группа (1)» например «люстру» Именно так !! не «люстра», а «люстру», то команда будет более привычная нам — «Гостиная люстру включить». Для проверки, произнесенная фраза «Включи группа один в гостиной» была отправлена в поисковик Google и в результате был показан поиск по этой фразе из интернета.

Вывод: Голосовые команды Goole Assistant не воспринимает по смыслу. Команда исполняется только тогда, когда ее произношение четко соответствует шаблону написанному в настройках голосового интерфейса. Голосовое управление умным домом достаточно удобная функция, но лучше ее использовать как дополнение к настенным пультам управления.

Из приятного: При покупке устройства в представительстве ABB сказали, что русский язык не будет восприниматься Google Assistant. Действительность показала, что интерфейс оказался полностью русифицирован. Для восприятия команды смартфоном, нужно просто включить экран, его даже не нужно разблокировать и достаточно произнести «Окей гугл гостиная группа один включить», команда воспринималась и исполнялась.

Как работает управление голосом?

Сама схема достаточно проста, ее основой служит микроконтроллер Arduino, который и будет обрабатывать сигнал от сенсора, производя в зависимости от поступившей команды, посредством исполняющей части, необходимое действие. Выбор именно его – ориентированность и модульность. Он наиболее полно вписывается в понятие «умный дом», позволяя расширять свои возможности практически безграничным количеством внешних модулей, удобной системой программирования и интерфейсным взаимодействием с компьютером.

С основой разобрались, осталось выбрать принцип функционирования самого распознавания голоса, а соответственно и вид сенсора. Их несколько:

  • использовать связь с online – службами обработки голоса, наподобие Google или Yandex, с последующей реакцией контроллера на переданные результаты, причем в таком случае будет использоваться более «умное» устройство – посредник, компьютер или смартфон;
    Пример взаимодействия с сервисом Google
  • распознавание голосовых фонем силами самого микроконтроллера;
  • обработка звуковых сигналов дополнительным модулем, подключаемым к Arduino.

Понятно, что в первом случае наличие подключенного микрофона к самой плате контроллера не нужно. Достаточно будет или прямого присоединения интерфейсных проводов от компьютера, или использования дополнительного Bluetooth – модуля для обеспечения связи в случае смартфона. Последний вариант и будет рассмотрен.

Представленная схема голосового управления на базе Ардуино будет демонстративной, максимально быстрого изготовления. Но на ее основе уже можно создавать реальные системы обработки голосовых команд.

Запуск голосового управления

Нажмите на кнопку управления голосом на рулевом колесе, чтобы активировать систему и начать диалог с помощью голосовых команд. При этом на экране центральной консоли система показывает наиболее часто встречающиеся команды.

Клавиатура на рулевом колесе.

При использовании системы управления голосом не забывайте о следующем:

  • При подаче команды – говорите после сигнала нормальным голосом и в обычном темпе.
  • Не давайте команды, когда система отвечает (система не воспринимает команды в это время).
  • Двери, окна и люк в крыше

Примечание

В случае сомнений в том, какую команду следует использовать, водитель может сказать » Помощь » – система называет несколько команд, которые можно использовать в данной ситуации.

Голосовое управление можно прервать:

  • сказать » Отменить «
  • Нажмите EXIT или кнопку какого-либо основного источника звучания (например, MEDIA ).

Системы умного дома

Теперь разберемся в вопросе подключения системы умного дома. Это еще одно обязательное условие для голосового управления в вашем доме.

Особенность работы голосовых помощников – все они работают через “облако” в интернете. В нем происходит распознавание голосовой команды, после чего она поступает в систему умного дома, и уже затем ее получает источник света.

Система умного дома может быть как очень сложной – с множеством подключенных в нее устройств, так и очень простой – состоящей, например, всего из одной умной лампочки.

Можно выделить всего два типа систем умного дома:

  1. С облачным сервером управления.
  2. С физическим сервером управления.

Сервер умного дома – это “мозг” всей системы управления, который получает и хранит данные о всех подключенных устройствах и их текущем состоянии.

Системы с физическим сервером стабильнее и быстрее, чем с облачным, так как физический сервер позволяет умному дому работать и без интернета. Да, для голосового управления вам в любом случае понадобится интернет. Но, например, для управления умным домом через приложение при отсутствии интернета подойдет только система с сервером.

Мы в HiTE PRO предлагаем именно этот тип системы умного дома.

В нашей линейке беспроводных устройств вы найдете все необходимые модификации реле для управления светом, шторами, а также сам сервер умного дома с возможностью подключения к голосовым помощникам.

Так MBUX превращается в Ваш личный опыт.

С помощью меню «Темы» Вы можете нажатием кнопки создать в Вашем автомобиле одно из предустановленных настроений. Визуализация на дисплее комбинации приборов и мультимедийном дисплее соответственно адаптируется, также как и световой сценарий и режим движения. Но самое приятное заключается в том, что водитель может настроить также темы в соответствии с собственными предпочтениями.

User Action Prediction

MBUX превращает Ваш автомобиль в надежного партнера. Каждый день система учится новым вещам, в первую очередь – знакомится со своим водителем. Она может запоминать любимые песни и дорогу на работу, а также часто набираемые номера телефонов. При желании она автоматически установит правильную радиостанцию или покажет более быстрый путь, если на Вашей привычной дороге образовалась пробка. Все происходит автоматически и незаметно, согласно Вашим пожеланиям.

Вы можете индивидуально менять дизайн и стиль индикации широкоформатного дисплея передней панели. На выбор предлагается четыре стиля индикации: «Classic», «Sport», «Progressive» и «Decent». В сочетании с опциональной светодиодной подсветкой салона выбранный стиль существенно определяет атмосферу салона.

У каждого свое

Не все производители используют разработку голосового управления сторонних компаний. У многих есть собственные достижения в этой области. Среди последних упомянутых, наиболее развитыми можно назвать Ford Sync, CUE для Cadillac (мультимедийная система собственной разработки с голосовыми возможностями), SDS для Audi, Linguatronic для Mercedes-Benz.

Все они имеют свои преимущества и недостатки. Так, система Ford Sync «владеет» 19-ю языками, включая разновидности французского и английского. CUE распознает произвольные фразы, а не только заранее предусмотренные. Название города или улицы, произнесенное для некоторых версий SDS, должно быть озвучено по буквам.

Многие минусы, выявленные водителями, не столь значительны, чтобы система, понимающая устные команды, оставалась без участия. Безусловно, это удобно, а на этапе знакомства кому-то даже интересно. Привыкнув со временем разговаривать со своим автомобилем, некоторые сразу и не скажут, где находится, например, блок управления климатом…
» alt=»»>

Цель оптимизации

Фирма «Валио» — один из крупнейших производителей молочной продукции в Финляндии. Она поставляет продукцию не только в столицу, но и в регионы, работая с несколькими крупными распределительными центрами. Объем поставок достигает 110 млн. килограмм молочной продукции в год. При таком товарообороте возрастает и риск человеческой ошибки.

Алгоритм действий комплектовщика при традиционной организации процесса:

  • посмотреть на мобильный терминал, изучить задание на подбор;
  • считать штрих-код первой товарной позиции;
  • посмотреть на мобильный терминал для получения подтверждающего сообщения;
  • начать отбор нужного количества.

И так по всем товарам в списке. Голосовое управление позволяет намного сократить этот процесс. Новая технология освоена уже на нескольких крупных складах «Валио» с системами идентификации по штрих-коду и RFID-меткам.

Голосовое управление Arduino средствами Processing и Google Speech API

Идея:

Поиск решения:

BitVoicer

Натыкался на разного рода статьи с применением BitVoicer в связке с Arduino, но вся проблема в том, что BitVoicer работает только на Windows, а это не позволяет использовать систему на простых устройствах типа Rasberry Pi под управлением Unix.

Arduino Voice Recognition

Так же Arduino можно управлять голосом благодаря модулю распознавания голоса, но пока у меня нет срадств на его приобретение и есть ряд неудобств при использовании этого модуля: ограниченное количество команд, нудное обучение, для новых команд требуется перепрошивка модуля, что уже является минусом, если система отлажена и установлена.

Решение

Для того, чтобы в дальнейшем было проще ориентироваться по тексту, я прикладываю все исходники, в которых уже прописаны голосовые команды, подключение к плате Arduino, скетч для платы Arduino, голосовое подтверждение фраз и все остальное, что сейчас уже есть и работает: исходники. После скачивание папку GoogleTTS помещаем в библиотеки Processing’a. Скетч для Arduino лежит в папке GoogleTTS/ArduinoSerial. Все писалось на Processing 3.0a4, доступный в пре-релизе на официальном сайте.

Реализация («Слушай мою команду!»):

С распознаванием определились. Теперь нужно отлавливать нужные нам команды и по ним принимать решения. За это отвечает секция:

Голосовой ответ

Теперь нам нужен инструмент, который будет нам отвечать человеческим голосом в случае найденного соответствия. В качестве инструмента реализации был выбран Google Translate, а вернее модуль, который конвертирует текст в голос. Текст оправляется запросом на сервер Google, преобразуется в звуковой файл и отправляется нам обратно в формате mp3. За это отвечает секция:

За обработку непосредственно текстовых фраз отвечает секция:

Пример реализации распознавания и голосового подтверждения:

He is alive!

Processing + Arduino

Ну вот вроде и заработало, но чего-то не хватает. Теперь «подружим» это все с Arduino.
Инициализируем serial подключение в Processing для отправки данных на Arduino (для пользователей Mac и Unix):

Для Windows пользователей:

И отправим туда команду при найденном голосовом соответствии:

Теперь займемся платой Arduino. Нам нужно слушать Serial порт и при нахождении команды из списка, выполнять требуемое действие согласно команде. Скетч очень прост:

Проблемы и планы:

Т.к. я не занимался программирование до этого времени, я не до конца понимаю некоторые вещи в процессе отладки. Буду признателен, если кто-нибудь подскажет как решить проблемы из перечня ниже:

— Самая основная проблема — голосовая фраза не проговаривается целиком. Пропадают последние буквы. Хотя звуковой файл приходит с сервера Google в нормальном виде. Как я понимаю ситуацию: проблема аудио-плеера, но где именно пока не ясно.
— Уже писал, что у Google Speech API есть ограничение на 50 запросов в сутки, но по факту получается больше. В любом случае этого мало. Планирую прописать локальное распознавание главной команды и только после ее распознавания, остальной текст отправлять на обработку Google’у. Ищу решение.
— Думаю не помешает отправка команд на Ethernet-шилд Arduino, т.к. некоторые системы могут находиться на приличном расстоянии от главного компьютера и Serial подключение тут уже не подойдет. Займусь этим решение на днях, т.к. нет у меня в наличии роутера для подключения к нему Arduino с Ethernet-шилдом.

На этом собственно все! Прошу строго не судить за строки кода! Я только начал изучать этот плацдарм и буду крайне признателен, если вы меня ткнете носом в то, как делать не нужно и покажете как нужно. Так же буду рад, если к этому проекту подключатся другие заинтересованные лица — всегда открыт к общению!

Что такое управление голосом и речевые помощники

Голосовое управление – важный тренд развития современных технологий. Это новый способ управления оборудованием, чем такое взаимодействие отличается от обычного распознавания речи.

Крупнейшие инновационные холдинги конкурируют и работают над собственным ассистентом, встраивая его в разные гаджеты: смартфоны, компьютеры, смарт-колонки.
Несколько лет назад виртуальные ассистенты были просто поисковыми системами, управляемыми с применением речи. Сегодня помощники намного эффективнее:

  • они воспринимают естественную речь;
  • всё реже допускают ошибки при обработке запросов;
  • интегрируются с приложениями;
  • имеют пополняемую базу знаний;
  • понимают контекст;
  • учитывают историю запросов;
  • предугадывают потребности пользователей.

И это не предел: звуковые команды могут стать ключевым звеном для координации всех сервисов. Речь помогает намного быстрее дать им команду, чем если печатать текст или использовать сенсорный ввод. Если руки заняты, достаточно вслух сформулировать запрос.

Эти разработки ориентированы прежде всего на американский и европейский рынок. В России, как и в большинстве других стран, они имеют ограниченный функционал (не поддерживается русский язык, нет интеграции с местными приложениями и сервисами) и пользуются незначительным спросом. Но с развитием методов ситуация меняется.

Как речевые инновации связаны с «Умным домом»

Жилые помещения – то место, где умные помощники способны найти массовое применение. Через смартфон, планшет или компьютер они уже используются. Но удобнее иметь специальный гаджет с динамиком и чувствительными микрофонами. То есть умную колонку.

Сложная автоматизация, состоящая из большого набора аппаратуры на площади в сотни метров, недостаточно эффективно управляется речью. А вот для работы с ограниченным количеством техники (например, в небольшой квартире) востребована концепция динамика с собеседником «на борту». Часть производителей уже выпустили такую технику, часть только собирается.

Если она используется в основном дома, почему бы не добавить ей способность воздействовать голосом на другие гаджеты? Разработчики уже работают над этим, но есть проблемы: круг совместимости ограничен, динамик принимает сигналы лишь в непосредственной близости от владельца и так далее. Если устранить эти недочёты, жилье станет интуитивным, быстрым и более удобным.

Чем в быту можно управлять голосом

С применением речи уже реализован контроль отдельных домашних систем:

  • Освещение. Включить или выключить свет везде или в определённой комнате.
  • Бытовая техника. Взаимодействовать с бытовой техникой, аудио- и видеокомпонентами.
  • Климат. Управлять кондиционером, радиатором, шторами и жалюзи.
  • Двери и домофон. Открыть или закрыть двери, ворота или окна.
  • Безопасность. Активировать и выключать сигнализацию и камеры слежения.

Также создаются сценарии для многозадачных запросов. Проблема в том, что в данном случае надо запоминать все команды и чётко их произносить.

Команды голосом способны сделать контакт с домашней техникой более неформальным. Они свяжут управление и будут способствовать проникновению в наш быт интернета вещей. Его суть в том, что аппаратура будет общаться между собой без обязательного участия человека.

К примеру, дом напомнит вам взять зонт, если вы забыли его, выходя на улицу. Сам выключит за вами свет или утюг. Проследит за безопасностью и отчитается о происшествиях. Или проанализирует ваш рацион питания и подскажет, что лучше приготовить на ужин. Ещё недавно это воспринималось как фантастика, но все быстро движется к этому сценарию, в чем виртуальные ассистенты играют значимую роль.

Ссылка на основную публикацию
ВсеИнструменты
Adblock
detector