Ар эффект что это за программа для андроида

Обновлено: 21.11.2024

Дополненная реальность (AR) может быть интересной технологией. Основная предпосылка AR — наложение цифрового контента поверх реальных вещей с использованием чего-то вроде карты, камеры или иногда неба. В отличие от VR, он медленно рос в фоновом режиме в течение многих лет. Пока еще не так много огромных, отличных продуктов AR, но их список медленно растет с каждым годом. AR имеет множество потенциальных приложений, и это только вопрос времени, когда они станут более безудержными. Вот лучшие приложения дополненной реальности для Android

Лучшие приложения дополненной реальности для Android

Фейсбук

Цена: бесплатно

Facebook дал много обещаний в отношении дополненной реальности. В их приложении уже есть немного этого обещания. При использовании Facebook Stories вы можете использовать различные фильтры AR, чтобы украсить свои фотографии. Это очень похоже на Snapchat. Некоторые из их усилий по дополненной реальности также включают платформу разработки Camera Effects, AR Studio и другие. Это не самое мощное приложение AR. Тем не менее, Facebook собирается делать забавные вещи с AR в будущем. Кроме того, Facebook Stories — это довольно весело, даже если это вопиющая копия Snapchat Stories.

Карты Google

Цена: бесплатно

Карты Google — одно из лучших приложений дополненной реальности на сегодняшний день. Приложение недавно добавило Live View, способ навигации с помощью видоискателя камеры из приложения. Затем Карты накладывают на экран информацию о предприятиях и направлениях, когда вы идете или двигаетесь по дороге. Это супер-аккуратная концепция, которая отлично подходит для маршрутов в городах, где вы можете не знать всех названий улиц. Кроме того, мы видим, что со временем эта технология совершенствуется и работает даже лучше, чем сейчас.

Google Переводчик

Цена: бесплатно

Google Translate, пожалуй, лучшее приложение для перевода. Он поддерживает массу языков. Вы можете переводить туда и обратно практически между любым из них. Вы даже можете перевести его в режиме реального времени, чтобы общаться с людьми. Часть дополненной реальности приложения позволяет наводить камеру на текст на другом языке. Затем приложение переводит его в режиме реального времени. Это может помочь вам делать такие вещи, как чтение уличных знаков или меню. Как и сканер штрих-кода выше, это одно из тех очень удобных приложений AR, которые устанавливают многие люди. Microsoft Translator также имеет много таких же функций.

Инхантер

Цена: бесплатно

Inkhunter – одно из самых уникальных приложений дополненной реальности. Что он делает, так это позволяет вам проверить, как татуировки будут выглядеть на вашем теле, прежде чем вы их сделаете. Вы рисуете несколько линий на своем теле. Оттуда наведите камеру на эти линии, и приложение автоматически поместит туда татуировку. Оно не подойдет для сверхсложных или больших работ, но те, кто ищет что-то управляемое, могут ожидать от этого приложения достаточно хороших результатов. Существует также фоторедактор на тот случай, если вы хотите больше возиться с дизайном. Это очень хорошо.

Просто линия

Цена: бесплатно

Just a Line — еще одно приложение ARCore от Creative Lab Google. Это позволяет вам рисовать вещи в пространстве дополненной реальности. Они остаются в том месте, где вы их нарисовали. Таким образом, вы можете нарисовать линию, а затем обойти эту линию, если хотите. Конечно, все это происходит с вашей мобильной камерой. Вы также можете записывать то, что вы рисуете, и делиться ими с другими. С ним можно играть совершенно бесплатно, и это отличная демонстрация того, каким может быть хороший опыт работы с дополненной реальностью. К сожалению, Google не обновлял его более года, а это означает, что ошибки не исправляются. Скорее всего, мы заменим его в следующем обновлении, если он не получит поддержки.

Скетчфаб

Цена: бесплатно

Sketchfab – это развлекательное приложение с дополненной реальностью. Это приложение для 3D-моделирования с миллионами 3D-моделей. Вы можете просматривать их в VR, AR или просто в самом приложении. Для такого приложения не так много функций. В основном это развлекательная ценность. Вы можете использовать видоискатель камеры, чтобы посмотреть на объект, а затем добавить модели из Sketchfab в кадр и сделать снимки. Опять же, это не совсем функционально, просто развлекает. Кроме того, приложение бесплатное, и в нем удобно использовать дополненную реальность для демонстрации людям.

Карта звездного неба

Цена: бесплатно

Sky Map — одно из старейших приложений дополненной реальности. Первоначально он был разработан Google. Вы включаете его, и телефон отображает карту звездного неба. Ты держишь телефон к небу. Дисплей покажет звезды в небе прямо над ним. Вы можете использовать его для поиска созвездий. Сначала его немного сложно откалибровать, но он достаточно точен, как только вы разберетесь. Это весело для развлечения, особенно когда вы наслаждаетесь на свежем воздухе. Это совершенно бесплатно и без покупок в приложении.

Снэпчат

Цена: бесплатно

Snapchat — одна из самых популярных платформ для обмена сообщениями. Вы связываетесь с человеком в приложении, а затем можете отправлять фотографии и видео о том, что вы делаете. В приложении есть множество специальных фильтров, которые вы можете дополнить прямо поверх своего лица. Это может выглядеть так, будто вы собака, кошка или что-то еще, что Snapchat может иметь в наличии в любой день. Это действительно простая дополненная реальность, но она работает на удивление хорошо. Приложение жрет батарею и не слишком оптимизировано. Тем не менее, им все равно интересно пользоваться.

Звездная карта

Цена: бесплатно / 2,99 доллара США

Звездная карта очень похожа на карту звездного неба. Вы можете использовать его для просмотра звезд на небе. Это может помочь найти такие вещи, как созвездия, планеты и другие небесные тела. Всего он может показать около 120 000 звезд и планет. Помимо возможности просматривать их из вашего текущего местоположения, вы также можете путешествовать в приложении, чтобы поближе рассмотреть все, что может вас заинтересовать. Это отличное образовательное приложение, которое также интересно использовать. Он не всегда точен на 100 %, но обычно достаточно близок, чтобы дать вам представление о том, где искать.

ТикТок

Цена: бесплатно

TikTok находится в этом списке по той же причине, что и Facebook и Snapchat. У компании есть платформа дополненной реальности, на которой разработчики могут создавать возможности дополненной реальности для пользователей. Новость была объявлена в августе 2021 года, поэтому на момент написания этой статьи не так много примеров. Однако по мере расширения платформы все больше и больше AR-эффектов должно становиться доступным в TikTok Effect Studio для создателей. Социальные сети долгое время были одной из самых больших движущих сил для AR, и я думаю, что TikTok способствует этому. Учитывая то, что мы видели в Facebook и Snapchat, результаты могут быть очень интересными.

Если мы пропустили какие-нибудь замечательные приложения с дополненной реальностью для Android, расскажите о них в комментариях! Вы также можете нажать здесь, чтобы ознакомиться с нашими последними списками приложений и игр для Android!

Самое лучшее время, чтобы попробовать лучшие приложения дополненной реальности для мобильных устройств. Дополненная реальность появилась на вашем смартфоне, так как современные телефоны оснащены более мощными процессорами, а также камерами, способными накладывать захватывающую графику на экран вашего смартфона.

Например, Galaxy S20 Ultra оснащен датчиком времени полета, и хотя он в основном предназначен для улучшения эффектов боке на портретных снимках, он также может лучше поддерживать приложения AR. iPad Pro 2020, iPhone 12 Pro и iPhone 12 Pro Max от Apple оснащены датчиком LiDAR для поддержки более стабильных и мощных сред AR — ожидается, что эта функция вернется в iPhone 13 этой осенью. (Если вы хотите узнать, как последние версии iPhone справляются с дополненной реальностью, ознакомьтесь с нашим обзором лучших приложений дополненной реальности для iPhone, чтобы узнать о некоторых качественных предложениях только для iOS.)

Что вам нужно знать об очках Apple: почему лучше купить старые очки?

Но какое бы совместимое оборудование у вас ни было, пришло время познакомиться с дополненной реальностью. Благодаря великолепным приложениям, сочетающим виртуальный и реальный миры, вы можете более полно погрузиться в игры, социальные сети и практические утилиты.

Лучшие приложения дополненной реальности для Android и iOS

Просто строчка (Android, iOS: бесплатно)

Дудлы стали намного интереснее. Google использовала собственные инструменты разработчика ARCore для создания Just a Line, который оживляет ваши рисунки с помощью дополненной реальности. Хотя Just a Line начиналась как приложение для Android, пользователи iPhone также могут присоединиться к веселью, выпустив версию для iOS.

Все, что вам нужно, чтобы играть с Just a Line, — это смартфон, палец и воображение. После того, как вы закончите свой шедевр дополненной реальности, вы можете записать его на видео и поделиться им с друзьями.Хотя Just a Line может быть интересным занятием в одиночку, гораздо лучше играть с парой друзей, что делает его одним из лучших приложений дополненной реальности для погружения в дополненную реальность.

Google Объектив (Android, iOS: бесплатно)

Google не дурачится, когда речь заходит о лучших приложениях дополненной реальности. Google Lens — это последняя версия концепции Google Goggles, в которой поисковый гигант использует мощь своего вычислительного облака, чтобы идентифицировать текст, изображения, объекты и ориентиры на ваших фотографиях, чтобы получить больше информации.

Это приложение доступно в виде отдельной версии для Android, а также интегрировано в последние версии Google Фото для Android и iOS, а также в приложение Google для iOS.

Карты Google (Android, iOS: бесплатно)

Интерес Google к дополненной реальности выходит за рамки фотографии и творчества, предлагая более практическое использование Карт Google. В популярном картографическом приложении есть режим дополненной реальности, который помогает вам перемещаться к месту назначения, добавляя виртуальные знаки и стрелки направления в режиме реального времени на вашем телефоне, чтобы указать путь.

Это явное улучшение по сравнению со старым способом навигации: стрелки добавляют удобную визуальную подсказку, которая избавляет от догадок при перемещении из пункта А в пункт Б.

Миссия на Марс с дополненной реальностью (Android, iOS: бесплатно)

Ступить на Луну — это старая традиция. Взгляды человечества теперь твердо устремлены на Красную планету. «Миссия на Марс» дает вам представление о том, каково это быть там — и как человечество в настоящее время исследует это место. (Спойлер: роботы делают всю тяжелую работу.)

Есть видео, которые можно посмотреть, и образовательные материалы, которые можно прочитать, но возможности дополненной реальности гораздо интереснее. Вы можете смотреть выпученными глазами на запуск ракеты, пытаться контролировать ужасающую последовательность посадки или ступить на Марс через виртуальный портал.

Лучше всего, однако, запустить масштабную модель марсохода и заставить его перемещаться по вашему дому или улице, издавая при этом неуместные бррммм звуки, не обращая внимания на наблюдающих за вами соседей (или марсиан).

Civilisations AR (Android, iOS: бесплатно)

Civilizations AR от BBC — это приложение, связанное с документальным сериалом "Цивилизации". Он использует возможности дополненной реальности, чтобы предоставить вам более 30 различных артефактов из разных эпох и великих цивилизаций мира. Civilizations AR — лучшее, что можно сделать после того, как вы сможете управлять этими древними сокровищами и произведениями искусства.

Каждый артефакт можно просмотреть в реалистичном 3D-рендеринге, используя телефон в качестве видоискателя с дополненной реальностью. Вы также можете воспользоваться интерактивными функциями одного из лучших приложений дополненной реальности, такими как рентгеновские изображения и повествование, и узнать о секретах, происхождении и истории этих глобальных культурных сокровищ.

Quiver (Android, iOS: бесплатно)

Дети также могут получить удовольствие от дополненной реальности с такими приложениями, как Quiver, книжкой-раскраской с дополненной реальностью и приложением, которое может оживить раскрашенные страницы вашего ребенка.

SketchAR (Android, iOS: бесплатно)

SketchAR превращает экран вашего смартфона в средство для рисования с дополненной реальностью, накладывая эскиз или штриховую графику на чистый лист бумаги, который затем можно обвести или использовать в качестве основы для собственного эскиза.

Пользователи могут выбирать из библиотеки эскизов, включенных в приложение, или преобразовывать свои собственные фотографии в отслеживаемые штриховые рисунки с помощью приложения. SketchAR предназначен для работы с бумагой формата A4 или любой бумагой с четырьмя маркерами круга, нарисованными на ней, чтобы предоставить приложению маркеры масштаба.

SketchAR ни в коем случае не заменит полноценный урок рисования, но это симпатичная программная игрушка, с которой можно играть, и одно из лучших приложений дополненной реальности, которые мы видели в последнее время.

Mondly (Android, iOS: бесплатно)

Приложение для изучения языков Mondly добавляет функцию дополненной реальности с модулем для телефонов с поддержкой ARKit и AR Core. Функции дополненной реальности Mondly привлекают изучающих язык анимированным чат-ботом, а также визуализацией объектов и слов, которые помогают сделать процесс обучения более динамичным, а также предоставляют мгновенную обратную связь о произношении и любых ошибках.

Эти функции дополненной реальности дополняют уроки, игры и практические беседы Mondly, предназначенные для более чем 30 различных языков.

Макияж YouCam (Android, iOS: бесплатно)

YouCam Makeup – это селфи-камера с поддержкой дополненной реальности, которая также может выполнять функции помощника по макияжу и моде. С ее помощью вы можете просмотреть ряд косметических продуктов, таких как помада, румяна и средства для макияжа глаз, от таких брендов, как L'Oreal, Maybelline и Urban. Распад, созданный в режиме реального времени с помощью дополненной реальности.

Помимо предварительного просмотра макияжа и аксессуаров, а также ожидаемых функций редактирования селфи-камеры, YouCam Makeup также содержит живой социальный элемент, позволяющий делиться образами, следить за другими пользователями, а также покупать и просматривать рекомендуемые товары.

Машины (iOS: $1,99)

The Machines – это соревновательная многопользовательская стратегическая игра, в которой используются инструменты дополненной реальности для приложений iOS, чтобы превратить ваш рабочий стол в виртуальное поле битвы.

Игроки берут на себя командование силами машин, чтобы победить своего врага, а экран вашего телефона служит видоискателем, который вы должны физически перемещать, чтобы расположить свои силы и нацелить супероружие. Игроки могут тренироваться и учиться в режиме практики, а когда они будут готовы, они могут сражаться в многопользовательской онлайн-игре или в локальной многопользовательской игре с друзьями, собравшимися за одним столом. Это доказательство того, что лучшие приложения дополненной реальности не всегда работают, а не играют.

Евклидово небо (iOS: $4,99)

Умопомрачительные головоломки Эшера и кубика Рубика в Euclidean Lands получают достойное продолжение в Euclidean Skies, где вы должны провести искателя приключений мимо головоломок и опасных противников, сочетая умные движения и вращая сам уровень. себя.

Как и его предшественник, Euclidean Skies имеет режим дополненной реальности, который позволяет вам по-новому взглянуть на действие, проецируя уровень и его персонажей прямо в вашу гостиную.

Smash Tanks (iOS: 1,99 долл. США)

Smash Tanks превращает ваш настольный компьютер в поле битвы, где игроки командуют мультяшными танками в боевом пространстве дополненной реальности, где вы видите, как вы бросаете свои войска через поле битвы, чтобы уничтожить врага.

Простой игровой процесс, основанный на физике, а также одиночная и локальная многопользовательская игра дают вам множество способов играть в игру. В отличие от более сложных AR-приложений, Smash Tanks так же хорошо работает на ковре или на полу в гостиной, как и на открытом воздухе.

Inkhunter (Android, iOS: бесплатно)

Татуировки позволяют продемонстрировать свое чувство стиля или увековечить что-то важное для вас прямо на собственной коже. И планирование вашей татуировки особенно важно, так как результаты будут постоянными. Войдите в Inkhunter, одно из лучших приложений дополненной реальности для предварительного просмотра того, как татуировка может выглядеть на вашей коже.

Просто нарисуйте на себе маркер, наведите камеру iPhone, и Inkhunter покажет вам предварительный просмотр татуировки в динамическом режиме с возможностью поворота и настройки дизайна. Пользователи могут опробовать множество предустановленных дизайнов или загрузить свой собственный, чтобы вы никогда не пожалели о такой татуировке.

Thyng (Android, iOS: бесплатно)

Thyng — это набор инструментов для создания дополненной реальности с инструментами для реализации различных эффектов дополненной реальности, таких как размещение анимированных фигур и 3D-моделей поверх поверхностей и целей, подвешивание видео и фотографий в воздухе и более. Затем вы можете делать снимки своих творений или записывать 30-секундные видеоролики.

Приложение доступно для Android и iOS на базе ARCore и ARKit соответственно.

Vuforia Chalk (Android, iOS: бесплатно)

Vuforia Chalk входит в наш список лучших приложений дополненной реальности, превращая ваш смартфон в мощный инструмент визуальной технической поддержки.

После того, как приложение свяжет вас с другом или техническим специалистом посредством видеозвонка, вы используете заднюю камеру телефона в качестве видоискателя, чтобы показать, в чем именно вам нужна помощь. Затем обе стороны могут рисовать на экране с помощью меловых меток дополненной реальности, которые работают как визуальные аннотации, позволяя вам находить нужные кнопки, циферблаты и элементы управления без путаницы, вызванной только словесными описаниями.

IKEA Place (iOS: бесплатно)

Мебельный гигант IKEA в прошлом экспериментировал с дополненной реальностью в своих приложениях-каталогах, но приложение IKEA Place является заметным улучшением, в котором используются инструменты разработчика дополненной реальности, помогающие пользователям легко визуализировать, как различные дизайны мебели IKEA будут выглядеть в их дом.

Пользователи сканируют свой план этажа с помощью своего телефона, а затем вы можете выбрать дизайн мебели и перетащить его на нужное место, используя смартфон в качестве видоискателя.

MeasureKit (iOS: бесплатно, 2,99 доллара США за все инструменты)

Ваш iPhone поставляется со встроенным приложением Apple Measure, которое сочетает в себе виртуальный спиртовой уровень и возможности измерения «точка-точка». MeasureKit предоставляет несколько дополнительных опций за небольшую сумму в 2,99 доллара США.

С помощью MeasureKit вы можете рисовать произвольные формы в пространстве с помощью инструмента «Траектория» или проверять углы с помощью параметра «Углы». Существует инструмент Cube для проецирования виртуальных параллелепипедов, которые примерно соответствуют размеру близлежащего объекта.

Это приложение также предназначено для людей. Один инструмент позволяет быстро оценить рост человека. Более странный вариант позволяет спроецировать сетку на собственное лицо, чтобы изучить ее свойства, предположительно подготовив вас к тому дню, когда вас затянет в полностью виртуальный мир.

Измерение (Android: бесплатно)

Чтобы не отставать от Apple и разработчиков приложений для iOS, Google разработала собственный инструмент для измерения дополненной реальности, удачно названный Measure, который использует преимущества ARCore в качестве испытательного стенда и демонстрации возможностей дополненной реальности Android.

Вы можете измерять длину и высоту плоских поверхностей или объектов, переключаться между имперскими и метрическими единицами измерения, фотографировать свои измерения и копировать измерения в буфер обмена.

Звездная прогулка 2 (Android, iOS: 2,99 доллара США)

Одно из лучших приложений для наблюдения за звездами для мобильных телефонов также является одним из лучших приложений дополненной реальности. Star Walk 2 переносит дополненную реальность в небеса, используя датчики вашего телефона и данные о местоположении, чтобы представить интерактивный вид ночного неба.

Все, что вам нужно сделать, это направить свое мобильное устройство в небо, и Star Walk отобразит соответствующее изображение созвездий, планет и других небесных тел, созданных пользователем, в режиме реального времени. Более подробная информация будет доступна по запросу.

Другие функции включают режим Time Machine для просмотра звездных пейзажей в прошлые или будущие даты, наложение для просмотра неба на разных длинах волн и встроенный ночной режим, который делает приложение более удобным для использования в условиях низкой освещенности.

Holo (Android, iOS: бесплатно)

Holo позволяет пользователям помещать различные голографические модели и фигуры в сцену для фото- и видеосъемки.

Это приложение ограничивает вас одной голограммой за раз, но оно по-прежнему остается одним из лучших приложений дополненной реальности, которые вы можете загрузить сегодня, благодаря обширной библиотеке доступного контента. Вы также можете легко поделиться всеми своими творениями непосредственно с помощью встроенного доступа Holo к популярным платформам социальных сетей.

Snapchat (Android, iOS: бесплатно)

Самоуничтожающиеся сообщения Snapchat стали хитом среди пользователей, но это приложение для социальных сетей также включает в себя элементы дополненной реальности в виде различных преобразований в реальном времени, фильтров и специальных эффектов, называемых линзами, которые вы можете добавить в Snapchat. видеосообщение, которое вы отправляете своим контактам.

Правильно подобранный объектив может превратить вас в животное, заменить ваше лицо лицом другого человека или заставить вас блевать радугой, что станет забавным и глупым дополнением к вашим сообщениям в Snapchat.

Instagram (Android, iOS: бесплатно)

После добавления фильтров в стиле Snapchat в собственное приложение Facebook также перенес их в Instagram. Эти функции дополненной реальности работают как с передней, так и с задней камерой телефона, а также со всеми режимами фото- и видеосъемки в Instagram.

Заинтересованные пользователи могут примерить различные короны, превратиться в коалу или кролика или выбрать, чтобы математические уравнения плавали вокруг их головы.

WallaMe (Android: бесплатно)

Мир становится вашим холстом с WallaMe, одним из лучших приложений дополненной реальности для создания произведений виртуального искусства с геотегами, нарисованных или нарисованных на стенах, тротуарах или зданиях без единой капли краски.

Вы можете поделиться местоположением своих сообщений или рисунков с друзьями, чтобы они могли просматривать вашу работу с помощью камеры своего смартфона с помощью WallaMe. Вы также можете опубликовать свою работу, чтобы любой пользователь WallaMe мог ее обнаружить с помощью своего видоискателя. Помимо использования телефона в качестве видоискателя, вы можете искать другие созданные пользователями стены WallaMe с помощью интерфейса карты.

Переводчик Google (Android, iOS: бесплатно)

Google Translate – это удобный инструмент для перевода текста и аудио, который становится еще лучше благодаря функциям визуального перевода в режиме реального времени с дополненной реальностью. Все, что вам нужно сделать, это поднять камеру смартфона и сфокусироваться на тексте, а Google Translate обеспечит перевод слов и фраз с разных языков в режиме реального времени.

Пользователи могут загружать языковые пакеты, позволяющие выбирать офлайн-переводы вдали от сотовой сети.

В этой статье я объясню, как создавать приложения дополненной реальности для Android с помощью библиотеки VrFace с открытым исходным кодом.

Чтобы следить за нашим обсуждением, вы должны иметь базовые знания о разработке приложений для Android. т. е. как создать приложение Hello World.

Как только вы это сделаете, через десять минут вы сможете создать приложение для нанесения маски на лицо в режиме реального времени. Кроме того, это приложение также будет отслеживать выражение вашего лица.

Похожий спонсируемый контент

Связанный спонсор

Архитектура перехода к облачным технологиям с помощью AWS
Узнайте, как создавать облачные приложения, чтобы повысить скорость и упростить их с помощью методов DevOps. Зарегистрируйтесь сейчас!

Кроме того, мы сосредоточимся на создании новых эффектов на основе этой библиотеки с использованием шейдеров. Здесь вам будет дано очень краткое введение в эффекты, если вы новичок в этой теме.

В конце мы рассмотрим внутреннюю работу библиотеки.

Немного истории

Прежде чем мы углубимся в детали, позвольте мне объяснить, для чего была создана эта библиотека. Лет 5 назад я впервые увидел приложение для iPhone, которое могло применять лицевые эффекты в режиме реального времени.

Меня очень впечатлило качество приложения. Но мне не удалось найти такое приложение для Android с аналогичным уровнем качества.

По этой причине я решил написать такое приложение.

Это был очень сложный процесс, поскольку я бэкенд-разработчик и не имею профессионального опыта работы с Android. Я тратил вечера и выходные, решая одну за другой технические проблемы: как пользоваться камерами, как использовать родной язык, как пользоваться родными библиотеками, как рисовать быстрые эффекты и как все строить. В итоге все проблемы были решены. Приложение было написано, и я с друзьями попытался создать из него стартап. В конце концов, мы не смогли найти способ добиться успеха, и я почти забыл об этом. Наконец, я решил создать библиотеку из приложения и опубликовать ее как открытый исходный код, чтобы каждый мог использовать ее в своих приложениях.

Использование библиотеки VrFace для создания приложения

Прежде всего, вы должны добавить библиотеку VrFace в качестве зависимости к проекту. Формат библиотеки — AAR. Он имеет структуру, аналогичную APK, т. е. содержит ресурсы, пакеты DEX и встроенную библиотеку, созданную для архитектуры ARM, которая должна работать на большинстве устройств.

В целом нам нужно добавить зависимость, инициализировать библиотеку, предоставить конфигурации, модель и макеты экрана. Нам нужно потрогать четыре файла. Все уже сделано в репозитории примера. Вы можете разветвить и клонировать этот репозиторий, чтобы упростить чтение остальной части статьи.

Добавление библиотеки в качестве зависимости

Прежде всего нам нужно указать зависимость от maven в build.gradle:

Укажите свои учетные данные в gradle.properties:

Чтобы получить токен GitHub, перейдите в настройки своей учетной записи и создайте токен с разрешением на чтение: пакет. Чтобы узнать больше о учетных данных, пожалуйста, перейдите сюда.
После добавления этой конфигурации библиотека будет загружена из репозитория maven при первой сборке проекта.

Инициализация и настройка

Для этой библиотеки требуется внешняя модель для обнаружения и отслеживания 68 характерных точек. Поскольку эта модель имеет размер около 60 МБ, она не включена в саму библиотеку. Вместо этого вам нужно скачать модель. Разархивируйте его.

bzip2 -d shape_predictor_68_face_landmarks.dat.bz2

В результате у вас должен получиться файл shape_predictor_68_face_landmarks.dat. Переименуйте его в sp68.dat и переместите в каталог app/src/main/assets/ .

Давайте теперь подробно рассмотрим, как инициализируется библиотека. Это делается в вашем классе MainActivity, который инициализирует все макеты, загружает библиотеку и предоставляет необходимые конфигурации.

Для инициализации библиотеки мы собираемся использовать обратный вызов OpenCV, который будет вызываться после того, как OpenCV загрузит свою собственную библиотеку. Это лучшее место для загрузки родной библиотеки для VrFace. По историческим причинам эта библиотека называется discovery_based_tracker , как показано в примере OpenCV.

Макет экрана

Чтобы использовать камеру, нам нужно добавить FastCameraPreview в layout.xml.

Это гарантирует, что мы получим кадры с камеры в формате, требуемом библиотекой.

Кроме того, мы также указываем элемент просмотра для результата применения нашего эффекта к предварительному просмотру камеры:

Написание собственных эффектов

Чтобы добавить эффекты, нам нужно расширить класс ShaderEffect, как показано в классе ShaderEffectMask.

В этом классе используется только один эффект, с помощью которого можно применить маску к трехмерному лицу. Чтобы понять, как добавить больше эффектов, нужно знать, что такое шейдеры. Короче говоря, шейдеры — это сценарии, которые обрабатываются на графическом процессоре вместе с входной информацией, поступающей от текстур, например изображение с камеры или любое другое изображение, которое вы хотите применить к любой трехмерной фигуре.

После всех этих шагов вы можете создать и запустить приложение на своем телефоне. При первом запуске приложению потребуется около 30 секунд для инициализации библиотеки и модели, после чего оно должно применить эффект. Готовый двоичный файл APK можно найти здесь.

Как работает библиотека

Библиотека VrFace состоит из компонента Java, который работает с камерой, шейдеров, которые можно использовать для применения эффектов, и собственной библиотеки. В собственной библиотеке есть четыре важные части: библиотека OpenCV, которая предоставляет метод для обнаружения лица; позиционирование камеры; библиотека dlib C++, которая предоставляет метод для поиска 68 характерных точек лица, а также дополнительные методы для определения выражения лица с использованием 3D-модели лица.

Написание такой библиотеки — очень сложная задача, требующая много времени. По этой причине мы рассмотрим только основные шаги:

Как работать с камерой Android
Как использовать собственный код C/C++ на Android
Использование библиотеки OpenCV для обнаружения лиц
Использование библиотеки dlib для обнаружения черт лица
Как определить позу и выражение лица
Использование OpenGL для создания визуальных эффектов

Работа с камерой

Мы будем использовать пакет android.hardware.Camera. Первое, что нам нужно сделать, это получить количество камер, доступных на нашем устройстве, с помощью Camera.getNumberOfCameras(). Затем нам нужно получить дескриптор требуемой камеры:

Дополнительно настраиваем параметры предпросмотра:

Среди доступных размеров предварительного просмотра выберите наиболее подходящий для размера экрана.

Еще одна сложная задача – начать предварительный просмотр. Вам нужно создать буфер и настроить обратный вызов предварительного просмотра:

Для предварительного просмотра вам нужно реализовать только один метод:

void onPreviewFrame(byte[] data, Camera camera) . Здесь данные — это кадр предварительного просмотра с камеры.

Обратите внимание, что наш кадр предварительного просмотра соответствует формату NV21, что означает, что он разделен на 2 части: серое и цветное изображение. Это очень полезно, так как следующие два шага — обнаружение лица и его характерных точек, что выполняется на сером изображении. Итак, нам просто нужно получить первую часть буфера, чтобы получить серое изображение.

Использование собственного кода C/C++ на Android

Android дает вам возможность использовать собственный код, написанный на C/C++. Для этого вам необходимо предоставить нативную реализацию интерфейса в классе Java, например: private static native void nativeDetect(long thiz, long inputImage, long face);

Это связующее звено между Java и нативным кодом. Он объявляет функцию, написанную на C/C++, с использованием ключевого слова JNIEXPORT :

Последний шаг – настроить скрипт сборки для собственного кода с помощью конструктора Android NDK.

Распознавание лица

Существуют разные методы обнаружения лиц на экране. У каждого есть свои плюсы и минусы. В нашем случае это должно быть легко и быстро, потому что нам нужно делать это в реальном времени и с достаточной точностью. Нет никакой гарантии, что любая библиотека сможет сделать это надежно во всех случаях. По этой причине мы собираемся использовать хорошо известный метод Хаара.

Этот алгоритм уже доступен в OpenCV, одной из самых популярных библиотек компьютерного зрения. Он написан на C/C++. Во-первых, нам нужно обучить модель, которая будет использоваться для распознавания лиц. Для этого нам нужно иметь тысячи фотографий с лицами и без лиц, т.е. положительные и отрицательные кейсы. Затем нам нужно обучить алгоритм. Весь процесс описан здесь.

К счастью, в библиотеке есть предварительно обученные модели. Если вы удовлетворены полученным результатом, все готово.

Как правило, вам нужно загрузить модель и применить ее к изображению:

Это возвращает все лица, обнаруженные на изображении.

Обнаружение черт лица

На обнаруженном лице нам нужно найти характерные точки, чтобы понять ориентацию лица и его выражение. Для этого мы будем использовать библиотеку dlib. Это популярная библиотека для машинного обучения, написанная на C++. Вы можете найти пример того, как определить черты лица здесь. Вы также можете использовать предварительно обученную модель.
Эта библиотека дает вам 68 черт лица. Более того, он очень быстрый и может обрабатывать один кадр примерно за 100 миллисекунд.

Ориентация и выражение лица

Когда у нас есть 68 характерных точек, нам нужно рассчитать ориентацию лица и выражение лица, например. открытая челюсть. По этой причине вам необходимо иметь 3D-модель лица и различные выражения: улыбка, грусть и т. д. Примером такой 3D-модели является CANDIDE. Между точками 3D-модели и характерными точками должна быть связь, например. мы говорим, что точка в углу глаза должна быть как на 2D, так и на 2D модели. Имея такое соответствие, мы могли вычислить положение камеры методом из библиотеки OpenCV.

Если мы хотим найти выражение лица, мы должны решить следующее уравнение, используя разложение SVD:

scr1 — 3D-модель
X — преобразования на модели, включая проекцию на поверхность
scr2 — найденные точки на изображении

Другими словами, мы пытаемся найти те X, которые минимизируют ошибку. Это будут наши лицевые коэффициенты.

В итоге у нас должно получиться положение камеры и коэффициенты лица, которые позже будут использованы для отрисовки.

Эффекты рисования

Если мы знаем ориентацию лица и выражение лица, мы можем нарисовать результат, используя OpenGL (открытая графическая библиотека), кроссплатформенный язык для программирования графических процессоров (графических процессоров) для 2D- и 3D-графики. Он может выполнять множество простых вычислений параллельно.

Ключевой концепцией OpenGL являются шейдеры. Шейдеры — это программы, которые выполняются на графическом процессоре.Есть два основных шейдера: вершинный и фрагментный. Вершинные шейдеры используются для вычисления точек, т.е. для данной точки в трехмерном пространстве нам нужно вычислить ее проекцию на экран. Фрагментные шейдеры используются для предоставления цветов для каждого пикселя, используя точки на экране в качестве входных данных.

Фрагментные шейдеры могут использовать текстуры. Текстура — это 2D-изображение, например, маска лица или ввод с камеры. Смешивая эти две текстуры, мы создаем эффекты.

Заключение

В этой статье мы показали, как создать приложение для создания лицевых эффектов для Android с помощью библиотеки VrFace. Для этого мы добавили библиотеку в качестве зависимости к нашему файлу проекта, выполнили все необходимые инициализации, настройки и добавили код.

Мы также немного узнали, как работает библиотека, описав ее основные обязанности:

Работа с камерой Android
Использование OpenCV для обнаружения лиц и использование вычислений для определения положения камеры.
Использование dlib для поиска черт лица
Что такое OpenGL и шейдеры

Создание такой библиотеки требует больших усилий. Открытие исходного кода поможет вам создать приложение дополненной реальности за несколько простых шагов, как описано в этой статье.

Об авторе

Олег Стадниченко — бэкенд-разработчик программного обеспечения. Обладая более чем 10-летним опытом работы, в основном в крупных банках и финансовых технологиях, он является энтузиастом разработки дополненной и виртуальной реальности.

Бета-тестирование

В течение 6 месяцев мы в бета-версии публиковали в Instagram нефирменные эффекты камеры, которые набрали миллионы просмотров. GlitchyCam преодолела отметку в 200 миллионов показов за 100 дней с пиковыми значениями в 20 миллионов в неделю.

В июне мы опубликовали бета-версию фирменных эффектов камеры в Instagram для ведущих брендов очков Transitions и Essilor.

Щелковые линзы

В июле мы разработали и опубликовали линзы Snap с точным методом сегментации волос для поп-исполнителей, таких как Мэйбл и других.

Пещера Альтамира

В ноябре мы опубликовали фильтр Альтамира для признанной ЮНЕСКО пещеры и музея в Кантабрии, Испания, который широко освещался в национальных СМИ в честь 140-летия открытия наскальных рисунков первобытного человека.

ОДИН фильтр, ОДИН миллиард

До конца года мы набрали ОДИН МИЛЛИАРД показов GlitchyCam. Известные издатели истории ретро-фильтра включают Рианну, которая спровоцировала 10 миллионов впечатлений за ночь.

Десятилетие рекламы начинается

Мы оглянулись на рекордный рост в прошлом квартале благодаря кампаниям таких компаний, как Freixenet, Carrefour, Repsol, и начали новое десятилетие с неизбежных проектов AR-рекламы с большим количеством национальных и международных кампаний.

Фильтры растут во время пандемии

Несмотря на непростые времена в первой половине 2020 года, мы продолжали удовлетворять спрос брендов и поклонников на фильтры дополненной реальности для таких компаний, как Facebook, Polydor и Seat, поскольку использование мобильных устройств резко возросло.

Сертифицированные партнеры

Мы продолжили диверсифицировать предложения дополненной реальности и стали сертифицированным творческим партнером Snapchat Lens, публикуя новые линзы Snap для победительницы британской премии Мэйбл, такие как Boyfriend.

Разработка Twitch

Помедленнее? Вечеринка в прямом эфире. Мы сделали расширение для голосования на Twitch для финального конкурса Pepsi Sound of Tomorrow DJ и продолжили проекты по интеграции фильтров дополненной реальности для брендов на Twitch.

Партнер Spark AR

Мы завершили бета-тестирование и стали официальным партнерским агентством Facebook Inc. Spark AR Partner Network. Это признание после трех лет и более чем шестидесяти фирменных эффектов камеры дает ряд преимуществ нашим клиентам для следующего этапа ARvalanche.

Обновление логотипа

Назад в будущее 4YFN

Мы вернулись к летнему Всемирному мобильному конгрессу после череды многопрофильных брендовых глобальных фильтров для Fujifilm, ManCity, Dazn. Мы выпустили БУМ! - один из первых эффектов видеовызовов с дополненной реальностью для социальных сетей в Messenger, предшественник других социальных интерфейсов дополненной реальности в рамках многопользовательского API Spark AR.

Компания Metaverse

На конференции Connect 2021 генеральный директор Марк Цукерберг представил Meta, объединяющую приложения и технологии под одним новым брендом компании. Цель Meta будет заключаться в том, чтобы оживить метавселенную и помочь людям общаться, находить сообщества и развивать бизнес. Объявления для Spark AR включают в себя AR Calling in Meta (Quest), отслеживание рук и тела, сертификацию, постоянство геозоны, такое как экскурсии с гидом, охота за мусором. Смелое и смелое видение функциональной совместимости и бесконечных горизонтов. Больше поверхностей, больше размеров, больше воу ✨

Куда мы движемся

Мы создаем эффекты камеры Spark AR для ведущих брендов, которые пользуются популярностью у миллионов поклонников.

Мы стремимся проводить успешные привлекательные кампании с технологиями Spark AR в семействе приложений Meta (Facebook) Inc.

Мы считаем, что контент с эффектом погружения — это то, что воу сейчас происходит, и мы всегда стремимся воу.

Читайте также: