Двигатель Huawei, что это такое

Обновлено: 21.11.2024

На состоявшейся сегодня конференции Future Business Ecolink 2021 (FBEC2021) Ли Тэньюэ, президент линейки продуктов виртуальной и дополненной реальности Huawei, заявил, что Huawei AR Engine был установлен 1,1 миллиарда раз, применялся в 106 моделях и имеет доступ к более 2000 приложений.

По данным компании, AR Engine предназначен для приложений дополненной реальности на устройствах Android. AR Engine предоставляет базовые возможности, такие как отслеживание движения, отслеживание окружающей среды, отслеживание человеческого тела и лица, путем интеграции основных алгоритмов дополненной реальности, а также предоставляет совершенно новый визуальный опыт и интерактивный режим для приложений.

Возможность отслеживания движения в AR Engine в основном заключается в определении избранных точек с помощью камер в терминальном оборудовании, а также в отслеживании движения и изменения этих избранных точек, чтобы постоянно отслеживать положение и позу конечного оборудования.

Благодаря возможности отслеживания окружающей среды AR Engine может идентифицировать плоскости (например, землю, стены и т. д.) и объекты (например, кубы, прямоугольники, круги и т. д.), а также может оценивать интенсивность света вокруг плоскостей.

Отслеживание человеческого тела и лица движка дополненной реальности позволяет терминальным устройствам понимать людей. Определяя положение рук людей и распознавая определенные жесты, виртуальные объекты или специальные эффекты контента можно размещать на руках людей. В сочетании с устройствами он может точно восстанавливать отслеживание движения 21 костной точки рук и выполнять более точное интерактивное управление и суперпозицию спецэффектов. Когда диапазон распознавания распространяется на все тело, 23 ключевых положения человеческого тела используются для определения осанки человеческого тела в режиме реального времени, что обеспечивает поддержку способностей для развития приложений соматосенсорного и спортивного здоровья.

AR Engine обладает преимуществом интеграции модулей, чипов, алгоритмов и системы HarmonyOS, а также внедрения аппаратного ускорения для обеспечения возможностей дополненной реальности с лучшим эффектом и меньшим энергопотреблением. Кроме того, на основе уникального аппаратного обеспечения оборудования Huawei, базовых возможностей позиционирования SLAM и понимания окружающей среды, AR Engine также предоставляет возможности взаимодействия с распознаванием жестов и конечностей. Он также поддерживает интеграцию HUAWEI AR Engine на многих устройствах Huawei. На данный момент его скачали более 1,1 миллиарда раз.

Эта лабораторная работа поможет вам изменить цвет, начальный угол и масштабирование логотипа дополненной реальности путем изменения исходного кода в демонстрации.

Что такое WorldAR

HUAWEI AR Engine — это платформа для создания приложений дополненной реальности на смартфонах Huawei. WorldAR — это подсистема HUAWEI AR Engine, которая позволяет вашему приложению:

  • Поддерживать функцию отслеживания движения, чтобы устройство могло воспринимать и отслеживать свое местоположение и позу относительно реального мира.
  • Понимать окружающую среду, чтобы устройство могло обнаруживать и определять размер и расположение различных плоскостей (например, рабочего стола, стены и т. д.).
  • Оцените освещенность, чтобы устройство могло определить интенсивность освещения в текущей среде.

Что вы создадите

В этой лабораторной работе вы создадите приложение, способное сканировать окружающую среду с помощью камеры, определять плоскость в среде, размещать виртуальный объект на плоскости, а также выбирать и перетаскивать объект.

Чему вы научитесь

В этой лаборатории кода вы узнаете, как:

  • Интеграция HUAWEI AR Engine в приложение.
  • Увеличивайте и уменьшайте масштаб 3D-модели в реальном мире.
  • Поворот 3D-модели в реальном мире.

Требования к оборудованию

  • Компьютер (настольный или портативный).
  • Телефон Huawei, поддерживающий HUAWEI AR Engine, может быть подключен к компьютеру через USB-кабель, и его камера работает правильно.

Требования к программному обеспечению

  • Java JDK (1.8 или более поздней версии).
  • Android Studio (3.1 или более поздняя версия).
    • minSdkVersion: 26 или выше
    • targetSdkVersion: 27 (рекомендуется)
    • compileSdkVersion: 28 (рекомендуется)
    • Версия Gradle: 6.1.1 или более поздняя (рекомендуется)

    Необходимые знания

    • Основы разработки для Android
    • Основы разработки OpenGL

    Открытие примера программы HwAREngineDemo

    1. Загрузите hms-AREngine-demo-master.zip из Sample Code и распакуйте его.
    2. Запустите Android Studio и откройте существующий проект Android Studio.
    3. Откройте каталог hms-AREngine-demo-master и подождите, пока Android Studio завершит синхронизацию проекта.


    Когда отобразятся настройки домашней страницы Gradle, выберите домашнюю страницу Gradle, установленную на локальном хосте.

    Обновление AndroidManifest.xml

    Подать заявку на разрешение камеры для приложения.

    Сборка и запуск программы

    1. Используйте физическое устройство для запуска примера программы в лаборатории кода (эмулятор Android не поддерживается). В качестве примера здесь используется HUAWEI P40 Pro. Подключите телефон к устройству разработки через USB. (Откройте параметры разработчика и включите отладку по USB. Когда на мобильном телефоне отобразится доверенный компьютер, согласитесь и перейдите к следующему шагу.)
    2. Выполните следующую команду, чтобы проверить, подключено ли устройство к компьютеру:

    Изменение факторов рендеринга виртуальных объектов

    Добавьте интерфейс для обновления коэффициента масштабирования и угла поворота в файл world/rendering/VirtualObject.java и укажите обновленные значения перед рендерингом.

    Добавление панелей поиска в интерфейс

    В основной интерфейс приложения добавлены две панели SeekBars для управления параметрами масштабирования и поворота соответственно. Добавьте следующий код в файл res/layout/world_java_activity_main.xml.

    Установка коэффициентов поворота и масштабирования

    Получите соответствующий SeekBar из файла world/rendering/WorldRenderManager.java и установите его для выбранной модели. Код реализации выглядит следующим образом.

    Компиляция и запуск модифицированной программы

    Запустите программу в Android Studio и выберите физическое устройство. Переместите свое устройство, чтобы сканировать окружающую среду. После обнаружения самолета коснитесь его, чтобы добавить виртуальные объекты в реальный мир. Вы также можете выбрать виртуальный объект и перетащить панель поиска на страницу, чтобы увеличить или уменьшить масштаб и повернуть модель.

    Молодец. Вы успешно завершили эту лабораторную работу и узнали, как:

    Huawei Mobile Services, или HMS, – это альтернатива Huawei GMS, которая также состоит из пользовательских приложений и основных фоновых служб. HMS обеспечивает работу, единую для всех устройств и независимую от версии платформы. Экосистема HMS состоит из приложений HMS, ядра HMS и возможностей HMS, которые ядро ​​обеспечивает с помощью доступных API. В последнем важном обновлении HMS Core 5.0 представлено несколько API и улучшены существующие API.

    Huawei удвоила усилия по улучшению HMS Core и сопутствующих сервисов. В конце концов, эти сервисы и сервисные платформы составляют основу текущего опыта Huawei и Honor. По состоянию на март 2020 года число активных пользователей Huawei в месяц по всему миру достигло 650 миллионов человек, что на 25% больше, чем в предыдущем году. Количество зарегистрированных разработчиков на платформе Huawei также достигло 1,4 млн, увеличившись на 115% в годовом исчислении. Общее количество приложений HMS Core также превысило 60 000 по всему миру, что на 67% больше, чем в предыдущем году. Huawei делает ставку на собственную экосистему, и постоянные улучшения в HMS Core свидетельствуют о ее долгосрочной приверженности концепции HMS.

    HMS Core 4.0 был запущен еще 15 января 2020 г. и представляет новые API в виде Map Kit, Machine Learning Kit, Scan Kit, WisePlay DRM и других. Теперь, с HMS Core 5.0, Huawei представляет еще несколько новых API: AR Engine, Computer Graphics Kit, Accelerate Kit.

    Движок дополненной реальности

    Huawei AR Engine аналогичен службе Google Play ARCore. Thie AR Engine в HMS Core служит платформой для создания приложений дополненной реальности (AR) на смартфонах Android с чипами HiSilicon Kirin. Он объединяет основные алгоритмы для AR, чтобы обеспечить основные возможности AR, такие как отслеживание движения, отслеживание окружающей среды, а также отслеживание тела и лица. С помощью AR Engine вы можете создавать приложения, соединяющие виртуальный мир с реальным.

    Короче говоря, Huawei AR Engine постоянно отслеживает местоположение устройства и его позы, чтобы обеспечивать возможности отслеживания движения и окружающей среды. Он использует камеру устройства для определения характерных точек в заданном пространстве, а затем отслеживает движение относительно этих точек, а затем интегрирует эти изменения с данными, сообщаемыми инерционным датчиком на устройстве. Он также может распознавать плоские плоскости, такие как пол и стены, а также оценивать интенсивность освещения вокруг них при определении характерных точек.

    Что делает движок дополненной реальности Huawei особенным, так это его способность также включать отслеживание движений людей. Это может позволить определить местоположение рук и распознать определенные жесты. В API также есть компонент глубины, который затем объединяется, чтобы позволить API отслеживать до 21 точки скелета руки для реализации точных интерактивных элементов управления и наложения специальных эффектов. Он также может отслеживать 23 точки скелета тела для определения осанки человека в режиме реального времени, и Huawei предполагает, что вы можете использовать эти данные для создания инновационных приложений для фитнеса и здоровья.

    Компьютерная графика

    Компьютерная графика Huawei — это высокопроизводительная платформа для рендеринга компьютерной графики на основе Vulkan.Эта структура состоит из материала PBR (физический рендеринг), моделей, текстур, света, систем компонентов и многого другого. Идея платформы рендеринга состоит в том, чтобы обеспечить наилучшие возможности 3D-рендеринга на устройствах Huawei, использующих чипы HiSilicon Kirin. Платформа также поддерживает вторичную разработку с меньшей сложностью и сложностью, что, по утверждению Huawei, помогает значительно повысить эффективность разработки.

    Набор компьютерной графики Huawei можно использовать для сценариев использования 3D-приложений, поскольку он инкапсулирует необходимые методы вызова Vulkan API, а также осуществляет специальную оптимизацию графического процессора Huawei. Это значительно снижает нагрузку на разработку высококачественных статических 3D-моделей. В комплект также входит высокопроизводительный модуль многопоточного рендеринга, который объединяет передовой опыт использования специальных улучшений и расширений Vulkan, разработанных Huawei. По сути, Computer Graphics Kit помогает ускорить внедрение компьютерной графики в приложения, предлагая разработчикам передовые инструменты, необходимые для их интеграции в свое программное обеспечение.

    Набор для ускорения

    Комплект Huawei Accelerate Kit обеспечивает возможность многопоточного ускорения, которая, как утверждается, эффективно улучшает параллельное выполнение нескольких потоков, тем самым оптимизируя приложения. Этот комплект открывает эту возможность для разработчиков в виде набора API-интерфейсов языка C. Это даст разработчикам гораздо больше гибкости на устройствах Android текущего поколения, которые работают на многоядерной установке. Многопоточное программирование обычно достигается за счет управления выполнением задач путем управления потоками. С Accelerate Kit разработчики освобождаются от деталей управления потоками, поэтому они могут больше сосредоточиться на своем приложении, не теряя при этом эффективности.

    Аудиокомплект, комплект изображений, комплект видео в HMS Core

    В HMS Core 5.0 также добавлены три новых набора, связанных с возможностями телефона в отношении аудио, видео и изображений. Audio Kit обеспечивает возможности воспроизведения звука на основе экосистемы HMS Core, включая возможности кодирования и декодирования звука на аппаратном уровне и на нижнем уровне системы. Image Kit позволяет включать в приложение функции проектирования и создания анимации для конкретных сцен. В настоящее время Video Kit предоставляет возможности воспроизведения видео, и в более поздних версиях ведется работа по включению API редактирования видео и даже видеохостинга. Это позволит вам легко создавать приложения, которые могут воспроизводить потоковое мультимедиа с адреса, предоставленного третьей стороной.

    Другие обновления HMS Core

    Несмотря на то, что основное внимание в выпуске версии уделяется новым API, некоторые новые API также получают новые функции. Например, Scan Kit теперь содержит коды сканирования на основе глубокого обучения для повышения точности сканирования в более сложных ситуациях с более высокой скоростью отклика. Map Kit получил информацию о планировании маршрутов автобусов и метро, ​​поэтому разработчики теперь могут использовать ее для улучшения функций в своих приложениях. Location Kit теперь поддерживает возможности управления забором.

    HMS представляет собой окно возможностей для снижения зависимости вашего приложения от сервисов Google, а также открывает доступ к экосистеме устройств Huawei и Honor, которая по-прежнему составляет значительную и непререкаемую часть рынка. Huawei находится в одном из редких мест, когда может предложить надежный набор альтернативных API, которые обеспечивают аналогичный набор ожидаемых функций как для разработчиков, так и для пользователей. Huawei намерена интегрировать HMS Core в свои устройства, поэтому как разработчик вы действительно можете позволить себе игнорировать эту важную часть рынка?

    10 декабря на FBEC2021 президент линейки продуктов Huawei для виртуальной и дополненной реальности Ли Тэньюэ заявил, что движок Huawei AR был загружен 1,1 миллиарда раз, включая 106 моделей и более 2000 приложений.

    Движок дополненной реальности Huawei:

    Huawei AR Engine – это платформа для создания приложений дополненной реальности на смартфонах Huawei. WorldAR — это подсистема Huawei AR Engine, которая позволяет вашему приложению поддерживать функцию отслеживания движения, окружающей среды, оценивать освещенность, чтобы устройство могло знать интенсивность освещения в текущей среде.

    • Отслеживание движения
    • Отслеживание среды
    • Отслеживание человеческого тела и лица

    Отслеживание движения:

    Отслеживает местоположение устройств и положение относительно их среды и устанавливает единое геометрическое пространство между цифровым и физическим мирами, включая:

    • Отслеживание движения
    • Обнаружение попадания
    • Пользователь может выбирать достопримечательности в реальном окружении, касаясь экрана терминального устройства и т. д.

    Отслеживание среды:

    • Оценка освещенности
    • Обнаружение плоскости
    • Экологическая сетка
    • Плоская семантика
    • Распознавать семантику плоскостей (например, рабочие столы, полы, двери и т. д.)
    • 3D-распознавание облаков
    • Идентифицируйте и отслеживайте данные облачных 2D-изображений и многое другое.

    Отслеживание человеческого тела и лица:

    • Распознавание жестов
    • Распознавать определенные жесты и определенные действия
    • Отслеживание костей рук и многое другое.

    Преимущества:

    • Оптимизирует модули, чипы, алгоритмы и HarmonyOS с аппаратным ускорением, чтобы обеспечить более экологичные эффекты дополненной реальности и снизить энергопотребление.

    Дифференцированные возможности

    • Он предлагает распознавание жестов и тела и взаимодействие благодаря уникальному аппаратному обеспечению устройств Huawei, в дополнение к SLAM и пониманию окружающей среды.

    Поддержка нескольких устройств

    • Интегрируется с широким спектром устройств Huawei, а Huawei AR Engine уже загрузили 1,1 млрд загрузок.

    Huawei Cloud получает первый в мире облачный спутник с созвездием небесных вычислений в космосе

    Первый сертификат проверки совместимости версии OpenHarmony 3.0 LTS, полученный Midea

    Эми — наш специалист по прошивке и программному обеспечению. Она зорко следит за выпусками нового программного обеспечения, бета-программами и другими действиями, связанными с программным обеспечением, а также за выпуском новых смартфонов.

    Вам может понравиться

    Список обновлений Huawei HarmonyOS за март 2022 г.

    Huawei FreeBuds Lipstick получает последнее обновление 1.0.1.276 [март 2022 г.]

    Huawei Watch GT Runner получила первое обновление программного обеспечения на мировом рынке

    17 марта компания Huawei выпустила в Китае новые устройства, в том числе новую камеру с разрешением 108 Мп — Huawei Nova 9 SE. К вашему сведению, это первый в мире телефон, оснащенный такой масштабной качественной системой камер. Однако месяц назад он уже вышел на мировой рынок.

    Huawei Nova 9 SE:

    Этот телефон с камерой — Nova 9 SE оснащен восьмиъядерным процессором Qualcomm Snapdragon 680 4G — восьмиядерным, 4 ядра Cortex-A73 с тактовой частотой 2,4 ГГц + 4 ядра Cortex-A53 с тактовой частотой 1,9 ГГц и графическим процессором Adreno 610.< /p>

    Телефон работает под управлением операционной системы HarmonyOS 2.0 по сравнению с аналогом EMUI 12 на мировом рынке. Кроме того, этот телефон представляет собой камеру, поэтому он имеет систему с четырьмя задними камерами, состоящую из 108-мегапиксельной камеры высокого разрешения (диафрагма f / 1,9), 8-мегапиксельной сверхширокоугольной камеры (диафрагма f / 2,2) и 2-мегапиксельной камеры глубины. (диафрагма f/2,4) и макрокамера 2 Мп (диафрагма f/2,4).

    На передней панели телефона находится 16-мегапиксельная селфи-камера, которая поможет вам делать потрясающие селфи на ходу. Huawei Nova 9 SE оснащен аккумулятором емкостью 4000 мАч со сверхбыстрой зарядкой мощностью 66 Вт.

    10 декабря компания IT House сообщила, что на сегодняшней конференции FBEC2021 президент линейки продуктов виртуальной и дополненной реальности Huawei Ли Тэньюэ заявил, что модуль дополненной реальности Huawei был установлен 1,1 миллиарда раз и охватывает 106 моделей и более 2 000 приложений. оплата.

    Сервис AR Engine – это движок, используемый для создания приложений дополненной реальности на Android. AR Engine предоставляет базовые возможности дополненной реальности, такие как отслеживание движения, отслеживание окружающей среды, отслеживание человеческого тела и лица, путем интеграции основных алгоритмов дополненной реальности. Благодаря этим возможностям ваше приложение может интегрировать виртуальный мир и реальный мир, а также предоставить новое видение вашего приложения. Опыт и методы взаимодействия.

    С помощью AR Engine разработчики могут предоставить вашему приложению возможности дополненной реальности, такие как отслеживание движения, отслеживание человеческого тела и лица, а также отслеживание окружающей среды, помогая приложениям интегрировать виртуальный мир с реальным миром и создавать новый визуальный опыт и метод взаимодействия. .

    В настоящее время AR Engine может предоставлять три типа возможностей, включая отслеживание движения, отслеживание окружающей среды, отслеживание человеческого тела и лица.

    AR Engine использует эти возможности, чтобы лучше понять реальный мир и предоставить пользователям новый интерактивный опыт, объединяющий виртуальный и реальный:

    Возможность отслеживания движения в AR Engine в основном использует камеру конечного устройства для определения характерных точек и отслеживания изменений движения этих характерных точек, чтобы постоянно отслеживать положение и позу конечного устройства.

    Возможность отслеживания окружающей среды в AR Engine может идентифицировать плоскости (например, землю, стены и т. д.) и объекты (например, кубы, прямоугольники, круги и т. д.), а также оценивать интенсивность света вокруг плоскости.< /p>

    Отслеживание человеческого тела и лица в AR Engine дает вашему терминальному устройству возможность понимать людей. Определяя положение руки человека и распознавая определенные жесты, виртуальные объекты или специальные эффекты контента можно размещать на руке человека; в сочетании с устройством глубины он также может точно восстанавливать отслеживание движения 21 точки скелета руки и делать больше Уточненный интерактивный контроль и наложение специальных эффектов; когда диапазон распознавания распространяется на все тело человека, 23 ключевых положения человеческого тела можно использовать для определения положения тела в режиме реального времени и обеспечения поддержки возможностей для разработки соматосенсорных и спортивных приложений для здоровья.< /p>

    Отслеживание движения

    Непрерывно отслеживайте положение и траекторию изменения позы устройства относительно окружающей среды, устанавливайте единое геометрическое пространство между виртуальным цифровым миром и реальным физическим миром и предоставляйте вашему приложению интерактивную базовую платформу для интеграции виртуальных и настоящий. В настоящее время отслеживание движения в основном включает следующие возможности: отслеживание движения, обнаружение ударов.

    Непрерывно и постоянно отслеживайте изменения положения и позы терминального устройства относительно окружающей среды, выводя информацию о трехмерных координатах характеристик окружающей среды.

    AR Engine в основном идентифицирует характерные точки с помощью камеры оконечного устройства и отслеживает изменения перемещения этих характерных точек. В то же время изменения движения этих точек объединяются с инерционными датчиками терминального устройства для непрерывного отслеживания положения и позы терминального устройства.

    Совместив положение камеры устройства, предоставляемое AR Engine, с положением виртуальной камеры, которая отображает 3D-контент, вы можете визуализировать виртуальные объекты с точки зрения наблюдателя и накладывать их на изображение с камеры для достижения виртуального и реального слияния.

    Пользователь может выбирать точки интереса в реальном окружении, касаясь экрана терминального устройства.

    AR Engine использует технологию обнаружения попаданий, чтобы сопоставить точки интереса на экране терминального устройства с точками интереса в реальной среде и использует точку интереса в качестве источника для отправки луча, связанного с местоположением камеры. , а затем вернитесь к лучу и плоскости (или характерной точке). Точка пересечения. Возможности обнаружения попаданий позволяют вам взаимодействовать с виртуальными объектами.

    Отслеживание окружающей среды

    Отслеживайте освещение, плоскости, изображения, объекты, поверхности окружающей среды и другую информацию об окружающей среде вокруг устройства и помогайте вашему приложению понять, что виртуальные объекты реалистично интегрированы в реальный физический мир на основе сцен. В настоящее время отслеживание среды в основном включает следующие возможности: оценка освещенности, обнаружение плоскости, отслеживание изображения, сетка среды, семантика плоскости, распознавание трехмерного облака, семантика цели.

    Отслеживайте информацию об освещении вокруг устройства, помогайте оценивать интенсивность окружающего света.

    AR Engine может отслеживать информацию об освещении вокруг устройства и вычислять среднюю освещенность изображения с камеры. Возможность оценки освещенности позволяет интегрировать виртуальные объекты в реальную среду освещения и выглядеть более реалистично.

    Обнаружение горизонтальных и вертикальных плоскостей (например, полов или стен).

    AR Engine может распознавать группы характерных точек на горизонтальной и вертикальной плоскостях (земля или стена), а также распознавать границы плоскости. Ваше приложение может использовать эти плоскости для размещения необходимых вам виртуальных объектов.

    Распознавание и отслеживание положения и положения 2D-изображений.

    AR Engine обеспечивает возможности распознавания и отслеживания изображений, определяет, есть ли в сцене изображение, предоставленное пользователем, и распознает положение выходного изображения.

    Благодаря функциям распознавания и отслеживания изображений вы можете создавать дополненную реальность на основе изображений (постеров, обложек и т. д.) в реальных сценах. Вы можете предоставить набор эталонных изображений. Когда эти изображения появляются в поле зрения камеры терминального устройства, AR Engine может отслеживать изображения для вашего приложения дополненной реальности в режиме реального времени, улучшая понимание сцены и интерактивный опыт.

    Вычисление и вывод данных сетки окружающей среды в реальном времени на текущем экране можно использовать для обработки виртуальной и реальной окклюзии и других сценариев применения.

    AR Engine обеспечивает возможности Mesh среды вывода в реальном времени. Выходное содержимое включает в себя положение терминального устройства в пространстве, трехмерную сетку под текущей перспективой камеры, поддерживается текущая модель с задней камерой глубины, а поддерживаемая среда сканирования — статическая сцена.

    Благодаря возможностям экологической сетки вы можете размещать виртуальные объекты на любой реконструируемой поверхности и больше не ограничиваться горизонтальными и вертикальными поверхностями. В то же время вы можете использовать реконструированную сетку среды для достижения виртуальной и реальной окклюзии и обнаружения столкновений, чтобы виртуальный персонаж мог точно знать текущую ситуацию в окружающем трехмерном пространстве и помочь вам добиться лучшего погружения в AR.

    Распознавать семантику плоскостей (например, рабочие столы, полы, двери и т. д.).

    AR Engine может распознавать семантику текущей плоскости, и в настоящее время он может распознавать рабочие столы, полы, стены, сиденья, потолки, двери, окна и кровати.

    3D-распознавание облаков

    Распознавайте и отслеживайте положение и положение 3D-объектов.

    AR Engine определяет, есть ли в сцене 3D-объекты, настроенные пользователем на стороне облака. Когда эти объекты появляются в поле зрения камеры терминального устройства, облачная сторона возвращает результат распознавания терминальному устройству в режиме реального времени, реализуя улучшение на основе 3D-объектов в реальной сцене Reality.

    Определите метку и форму объекта.

    AR Engine может распознавать теги и формы объектов. В настоящее время он может распознавать столы и стулья. Поддерживаемые формы включают кубы, круги и прямоугольники.

    Распознавание двухмерных облаков

    Идентифицируйте и отслеживайте данные облачных 2D-изображений.

    AR Engine определяет, есть ли в сцене 2D-изображения, настроенные пользователем на стороне облака. Когда эти изображения появляются в поле зрения камеры терминального устройства, облачная сторона возвращает результат распознавания терминальному устройству в режиме реального времени, реализуя взаимодействие на основе 2D-изображения в реальном мире.

    Отслеживание тела и лица человека

    Отслеживайте информацию в реальном времени, такую ​​как лица, человеческие тела и жесты, чтобы помочь вашему приложению реализовать способность пользователей взаимодействовать с виртуальными объектами.

    Распознавать определенные жесты и определенные действия.

    AR Engine обеспечивает распознавание множества определенных жестов, выводит результаты распознанной категории жестов и предоставляет экранные координаты кадра обнаружения ладони, которые могут поддерживаться как левой, так и правой рукой. Когда на изображении появляется несколько рук, возвращается результат распознавания и информация о координатах только одной руки (наиболее четкой и достоверной). Поддержка переключения передней и задней камеры.

    Благодаря возможностям распознавания жестов виртуальные объекты могут быть наложены на положение руки человека, а определенное переключение состояний может быть активировано в соответствии с различными изменениями жестов, что может предоставить вашему приложению AR базовые интерактивные функции и добавить новый игровой процесс.< /p>

    Отслеживание костей руки

    Распознавание и отслеживание положения и позы 21 точки сустава руки для создания модели скелета руки, а также способность различать левую и правую руки.

    AR Engine обеспечивает возможности распознавания суставных точек и костей одной руки, а также выводит расширенные функции рук, такие как конечные точки пальцев и кости кисти. Когда на изображении появляется несколько рук, возвращается результат распознавания и информация о координатах только одной руки (наиболее четкой и достоверной). В настоящее время поддерживаются только передние камеры глубины Mate 20 Pro и Mate 20 RS.

    Благодаря возможностям распознавания костей рук вы можете накладывать виртуальные объекты на более точные положения рук, например на кончики пальцев, ладони и т. д.; используя кости руки, вы можете управлять виртуальной рукой, чтобы делать более богатые и детальные движения. Он может предоставить вашему приложению AR расширенные интерактивные функции и невероятный новый игровой процесс.

    Распознавание жестов человеческого тела

    Распознавать определенные позы человека, в настоящее время поддерживает 6 определенных поз.

    AR Engine обеспечивает возможности распознавания положения тела одного человека, распознает шесть статических поз тела и выводит результаты распознавания, а также поддерживает переключение передней и задней камеры.

    Вы можете использовать возможность распознавания жестов человеческого тела в сценариях приложений, которым необходимо распознавать действия и инициировать определенные события, например управление интерактивным интерфейсом, распознавание действий игровых операций и другие интерактивные действия. Это основная основная функция соматосенсорных приложений, которая предоставляет вам приложения дополненной реальности. Возможности удаленного управления и совместной работы расширяют интерактивные возможности приложений.

    Отслеживание скелета человека

    Распознавание и отслеживание положения 23 точек костей тела в 2D (или 15 точек костей в 3D), поддержка одиночных и двойных точек.

    AR Engine обеспечивает возможности распознавания одиночных и двойных точек соединения тела. Он поддерживает вывод 2D-костей (экранная система координат) и 3D-костей (пространственная система координат в сочетании с SLAM), а также поддерживает переключение передней и задней камеры.

    Благодаря способности распознавания костей человека вы можете накладывать виртуальные объекты на обозначенные части человеческого тела, такие как левое плечо, правая лодыжка и т. д.; используя человеческие кости, вы можете управлять виртуальной куклой, чтобы делать более богатые и подробные движения, которые могут дать вам AR. Приложение предоставляет широкий спектр интерактивных функций и невероятный новый игровой процесс.

    Маска человеческого тела

    Определите и отследите область, где находится человеческое тело на текущем изображении, и предоставьте информацию о глубине этой области.

    AR Engine обеспечивает возможности распознавания и отслеживания одиночных или двойных контуров тела, а также выводит информацию о масках контуров человека и соответствующую информацию о точках костей в режиме реального времени.

    Благодаря функции отслеживания контуров человека вы можете использовать информацию о маске контура человека для маскирования виртуальных объектов и сцен. Например, изменение виртуального фона при фотосъемке в AR, разрешение виртуальным куклам прятаться за людьми и т. д. может использовать способность «Маска» для достижения более естественного эффекта окклюзии, что может еще больше повысить реалистичность и удобство просмотра в приложениях AR.

    Отслеживание выражения лица

    Вычисление в реальном времени позы лица и значения параметра, соответствующего каждому выражению, можно использовать для непосредственного управления выражением аватара.

    AR Engine предоставляет возможность отслеживать выражения лица, отслеживать и получать информацию об изображении лица, понимать содержание выражений лица взрослых в режиме реального времени и преобразовывать их в различные параметры выражения. Параметры выражения можно использовать для управления выражением лица аватара.

    AR Engine поддерживает 64 типа мимики, включая мимику глаз, бровей, глазных яблок, рта, языка и других основных лицевых органов.

    Данные о позе и меш-модели лица рассчитываются в режиме реального времени, а данные меш-модели отслеживают форму и движение лица в реальном времени.

    AR Engine обеспечивает высокоточное моделирование и отслеживание лицевых сеток. После получения информации об изображении лица он строит реалистичную модель Mesh в режиме реального времени. Сетчатая модель претерпевает соответствующие изменения положения и формы в зависимости от движения и деформации человеческого лица, что обеспечивает эффект точного захвата действий в реальном времени.

    Движок дополненной реальности предоставляет сетку с более чем 4000 вершин и более чем 7000 треугольных граней, которые могут точно обрисовывать контуры лица и улучшать впечатление.

    Обнаружение здоровья лица

    Расчет информации о здоровье лица в режиме реального времени и расчет ключевой информации о здоровье человека (например, частота сердечных сокращений и т. д.).

    AR Engine предоставляет возможности обнаружения состояния здоровья человека, включая информацию о состоянии здоровья, такую ​​как частота сердечных сокращений, частота дыхания, состояние здоровья лица и сигналы пульса.

    IT Home понимает, что преимущества AR Engine включают в себя:

    Оптимизация программного и аппаратного обеспечения: интегрируйте модули, микросхемы, алгоритмы и системы HarmonyOS и используйте аппаратное ускорение, чтобы обеспечить расширенные возможности реальности с лучшими эффектами и меньшим энергопотреблением.

    Возможности дифференциации: благодаря уникальному аппаратному обеспечению оборудования Huawei, в дополнение к базовым возможностям позиционирования SLAM и понимания окружающей среды, он также обеспечивает возможности взаимодействия с помощью жестов и распознавания тела.

    Поддержка нескольких устройств: он поддерживает интеграцию HUAWEI AR Engine на многих устройствах Huawei, а объем загрузок превысил 1,1 миллиарда.

    Читайте также: