Нейронный движок что такое яблоко

Обновлено: 21.11.2024

Еще в 2017 году Apple представила A11, который включал в себя первое специализированное оборудование для нейронных сетей, которое Apple называет Neural Engine. В то время аппаратное обеспечение нейронной сети Apple могло выполнять до 600 миллиардов операций в секунду и использовалось для Face ID, Animoji и других задач машинного обучения. Нейронный движок позволяет Apple реализовывать нейронную сеть и машинное обучение более энергоэффективным способом, чем при использовании основного процессора или графического процессора. По данным Apple, сегодня Neural Engine от Apple перешел на новый процессор M1, который обеспечивает в 15 раз более высокую производительность машинного обучения по сравнению с Neural Engine.

В четвертом квартале Apple сообщила, что «M1 оснащен новейшим Neural Engine. Его 16-ядерный дизайн способен выполнять колоссальные 11 триллионов операций в секунду. Фактически, с мощным 8-ядерным графическим процессором, ускорителями машинного обучения и Neural Engine, весь чип M1 предназначен для машинного обучения». Есть большая вероятность, что сегодняшний патент распространяется на технологию, встроенную в процессор M1, которая поможет ему достичь своей прорывной производительности. Хотя патент был опубликован сегодня, он был подан в четвертом квартале 2019 года, до появления M1.

Сегодня Патентное ведомство США опубликовало патентную заявку Apple под названием «Многорежимный планарный движок для нейронного процессора». Изобретение Apple относится к схеме для выполнения операций, связанных с нейронными сетями, а точнее к нейронному процессору, который включает в себя множество схем нейронных движков и одну или несколько схем многорежимных планарных движков.

Искусственная нейронная сеть (ИНС) – это вычислительная система или модель, использующая набор связанных узлов для обработки входных данных. ИНС обычно организована в слои, где разные слои выполняют различные типы преобразования на входе. Расширения или варианты ANN, такие как сверточная нейронная сеть (CNN), рекуррентные нейронные сети (RNN) и сети глубокого доверия (DBN), привлекли большое внимание. Эти вычислительные системы или модели часто включают обширные вычислительные операции, включая умножение и накопление. Например, CNN — это метод машинного обучения, в котором в основном используется свертка между входными данными и данными ядра, которые можно разложить на операции умножения и накопления.

В зависимости от типов входных данных и выполняемых операций эти системы или модели машинного обучения можно настроить по-разному. Такая изменяющаяся конфигурация может включать, например, операции предварительной обработки, количество каналов во входных данных, используемые данные ядра, применение нелинейной функции к результату свертки и применение различных операций постобработки. Использование центрального процессора (ЦП) и его основной памяти для создания и выполнения систем машинного обучения или моделей различной конфигурации относительно просто, поскольку такие системы или модели могут быть созданы с помощью простых обновлений кода. Однако если полагаться исключительно на ЦП для различных операций этих систем или моделей машинного обучения, потребуется значительная пропускная способность центрального процессора (ЦП), а также увеличится общее энергопотребление.

Изобретение Apple конкретно относится к нейронному процессору, который включает в себя множество цепей нейронного двигателя и планарную схему двигателя, работающую в нескольких режимах и связанную с множеством схем нейронного двигателя.

По крайней мере, одна из схем нейронного движка выполняет операцию свертки первых входных данных с одним или несколькими ядрами для создания первого вывода. Схема планарного двигателя генерирует второй выход из вторых входных данных, который соответствует первому выходу или соответствует версии входных данных нейронного процессора.

Входными данными нейронного процессора могут быть данные, полученные из источника, внешнего по отношению к нейронному процессору, или выходные данные схем нейронного двигателя или схемы планарного двигателя в предыдущем цикле. В режиме объединения планарная схема двигателя уменьшает пространственный размер версии вторых входных данных. В поэлементном режиме схема планарного двигателя выполняет поэлементную операцию над вторыми входными данными. В редукционном режиме планарная схема двигателя уменьшает ранг тензора.

Патент Apple РИС. 3 ниже показана блок-схема, иллюстрирующая схему нейронного процессора; ФИГ. 6A, 6B и 6C представляют собой концептуальные схемы, соответственно иллюстрирующие операцию объединения, поэлементную операцию и операцию сокращения.

Чтобы ознакомиться с более подробной информацией, ознакомьтесь с патентной заявкой Apple 20210103803.

Учитывая, что это заявка на патент, сроки выхода такого продукта на рынок в настоящее время неизвестны.

M1 — это первый чип Apple, разработанный специально для Mac, и самый мощный из когда-либо созданных процессоров.

Купертино, Калифорния — Сегодня Apple анонсировала M1, самый мощный чип из когда-либо созданных и первый чип, разработанный специально для Mac. M1 оптимизирован для систем Mac, в которых малый размер и энергоэффективность имеют решающее значение. Являясь системой на кристалле (SoC), M1 объединяет многочисленные мощные технологии в одном чипе и имеет унифицированную архитектуру памяти для значительного повышения производительности и эффективности. M1 — это первый чип для персонального компьютера, созданный с использованием передовой 5-нанометровой технологии. Он содержит поразительные 16 миллиардов транзисторов — это больше, чем Apple когда-либо помещала в чип. Он оснащен самым быстрым в мире процессорным ядром из кремния с низким энергопотреблением, лучшей в мире производительностью процессора на ватт, самой быстрой в мире встроенной графикой в персональном компьютере и революционной производительностью машинного обучения с Apple Neural Engine. В результате M1 обеспечивает до 3,5 раз более высокую производительность процессора, до 6 раз более высокую производительность графического процессора и до 15 раз более быстрое машинное обучение, при этом время автономной работы увеличивается до 2 раз по сравнению с Mac предыдущего поколения. Благодаря значительному повышению производительности и эффективности, M1 обеспечивает самый большой скачок для Mac. 1

«Никогда не было такого чипа, как M1, нашего революционного SoC для Mac. Он основан на более чем десятилетнем опыте разработки лучших в отрасли чипов для iPhone, iPad и Apple Watch и открывает совершенно новую эру для Mac», — сказал Джонни Сроуджи, старший вице-президент Apple по аппаратным технологиям. «Что касается кремния с низким энергопотреблением, M1 имеет самое быстрое в мире ядро ЦП, самую быструю в мире встроенную графику в персональном компьютере и потрясающую производительность машинного обучения Apple Neural Engine. Благодаря уникальному сочетанию замечательной производительности, мощных функций и невероятной эффективности M1, безусловно, является лучшим чипом, который мы когда-либо создавали».

M1 — это первый чип для персонального компьютера, созданный с использованием передового 5-нанометрового техпроцесса и содержащий поразительные 16 миллиардов транзисторов.

Первая система на чипе для Mac

В компьютерах Mac и ПК традиционно используется несколько микросхем для ЦП, ввода-вывода, безопасности и многого другого. Теперь с M1 эти технологии объединены в единую SoC, обеспечивая совершенно новый уровень интеграции для повышения производительности и энергоэффективности. M1 также имеет унифицированную архитектуру памяти, которая объединяет память с высокой пропускной способностью и малой задержкой в единый пул в пользовательском пакете. Это позволяет всем технологиям SoC обращаться к одним и тем же данным, не копируя их между несколькими пулами памяти, что еще больше повышает производительность и эффективность.

Лучшая в мире производительность процессора на ватт

Четыре высокоэффективных ядра обеспечивают выдающуюся производительность при энергопотреблении в десять раз меньше. Сами по себе эти четыре ядра обеспечивают такую же производительность, как двухъядерный MacBook Air текущего поколения, но потребляют гораздо меньше энергии. Это самый эффективный способ выполнять легкие повседневные задачи, такие как проверка электронной почты или просмотр веб-страниц, и экономить заряд батареи, как никогда раньше. И все восемь ядер могут работать вместе, обеспечивая невероятную вычислительную мощность для самых ресурсоемких задач и обеспечивая лучшую в мире производительность ЦП на ватт.

Самая быстрая интегрированная графика в мире

M1 включает в себя самый передовой графический процессор Apple. Он извлекает выгоду из многолетнего анализа приложений Mac, включая повседневные приложения и сложные профессиональные рабочие нагрузки. Обладая лучшей в отрасли производительностью и невероятной эффективностью, графический процессор в M1 сам по себе находится в своем классе. Благодаря наличию до восьми мощных ядер, способных одновременно выполнять почти 25 000 потоков, графический процессор может легко справляться с чрезвычайно ресурсоемкими задачами, от плавного воспроизведения нескольких видеопотоков 4K до рендеринга сложных 3D-сцен. Благодаря пропускной способности 2,6 терафлопс M1 имеет самую быструю в мире встроенную графику в персональном компьютере.

Графический процессор в M1 — это самый совершенный из когда-либо созданных Apple графических процессоров и самая быстрая в мире встроенная графика в персональном компьютере.

Сверхбыстрое машинное обучение на устройстве

Чип M1 переносит Apple Neural Engine на Mac, значительно ускоряя задачи машинного обучения (ML). Благодаря самой передовой 16-ядерной архитектуре Apple, способной выполнять 11 триллионов операций в секунду, Neural Engine в M1 обеспечивает до 15 раз более высокую производительность машинного обучения. На самом деле, весь чип M1 разработан, чтобы преуспеть в машинном обучении, с ускорителями машинного обучения в ЦП и мощным графическим процессором, поэтому такие задачи, как анализ видео, распознавание голоса и обработка изображений, будут иметь уровень производительности, невиданный ранее на Mac. .

Разработчики, использующие машинное обучение, могут в полной мере воспользоваться молниеносной производительностью Apple Neural Engine в M1.

Больше инновационных технологий в M1

Новейший процессор сигналов изображения (ISP) от Apple для видео более высокого качества с улучшенным шумоподавлением, расширенным динамическим диапазоном и улучшенным автоматическим балансом белого.

Новейшая версия Secure Enclave для лучшей в своем классе защиты.

Высокопроизводительный контроллер хранилища с аппаратным шифрованием AES для более быстрой и надежной работы твердотельных накопителей.

Малопотребляющие, высокоэффективные механизмы кодирования и декодирования мультимедиа обеспечивают высокую производительность и увеличенный срок службы батареи.

Разработанный Apple контроллер Thunderbolt с поддержкой USB 4, скоростью передачи данных до 40 Гбит/с и совместимостью с большим количеством периферийных устройств, чем когда-либо.

Контроллер Thunderbolt совместим с большим количеством периферийных устройств, чем когда-либо, включая Apple Pro Display XDR с полным разрешением 6K.

macOS Big Sur, оптимизированная для M1

macOS Big Sur спроектирована так, чтобы в полной мере использовать все возможности и мощь M1, обеспечивая значительный прирост производительности, удивительное время автономной работы и еще более надежную защиту. С M1 то, что пользователи делают каждый день, становится заметно быстрее и плавнее. Так же, как iPhone и iPad, Mac теперь мгновенно выходит из спящего режима. Работа в браузере с помощью Safari, который уже является самым быстрым браузером в мире, теперь работает в 1,5 раза быстрее при использовании JavaScript и почти в 2 раза быстрее реагирует. 2

Благодаря Big Sur и M1 пользователи Mac могут запускать больше приложений, чем когда-либо прежде. Все программное обеспечение Apple для Mac теперь является универсальным и изначально работает на системах M1. Существующие приложения Mac, которые не были обновлены до версии Universal, будут без проблем работать с технологией Apple Rosetta 2. А приложения для iPhone и iPad теперь можно запускать прямо на Mac. Кроме того, основы Big Sur оптимизированы для раскрытия возможностей M1, включая технологии разработки от Metal для графики до Core ML для машинного обучения.

Начало двухлетнего перехода на Mac

M1 работает на новом MacBook Air, 13-дюймовом MacBook Pro и Mac mini. Они присоединяются к остальной линейке продуктов Mac, чтобы сформировать самую мощную линейку Mac за всю историю. Это начало перехода на новое семейство чипов, разработанных специально для Mac. Переход на Apple Silicon займет около двух лет, и эти три системы — замечательный первый шаг.

Поскольку вся линейка M1 от M1 прошлых лет до новых M1 Pro и Max имеет специальный 16-ядерный нейронный движок, мне стало все более любопытно, поскольку я ожидаю доставки на следующей неделе.

Я вижу, что он поддерживает машинное обучение и искусственный интеллект, но что именно? Является ли это специфичным для расширенного программного обеспечения, закодированного для использования NE, подобного этому, или оно способствует повседневным задачам. Я читал, что в чипах серии A он часто используется для FaceID и Animoji, но что он делает для Mac M1? У Macrumors есть сообщение о том, что

Neural Engine предназначен для ускорения задач машинного обучения на Mac для таких вещей, как анализ видео, распознавание голоса, обработка изображений и т. д.

Это просто контроль над «базовыми» вычислительными задачами, позволяя ЦП обрабатывать только более интенсивные задачи?

Монтерей использует его для некоторых функций, в первую очередь для автономной диктовки и автономного распознавания текста. Кроме того, он позволяет быстро выполнять задачи, управляемые искусственным интеллектом, с фотографиями и видео. Два больших примера, которые Apple рекламирует на Mac, — это регулировка цветового баланса в реальном времени в видео, чтобы веб-камера выглядела намного лучше, чем должна быть, и ускорение некоторых функций AI в программном обеспечении для редактирования фотографий, таких как точное обнаружение объектов или Масштабирование на основе ИИ.

В основном он разработан для того, чтобы позволить Apple использовать больше вычислительных трюков при съемке фотографий на iPhone, и на самом деле он не меняет правила игры на Mac. Но погодите, они уже разработали его, и он действительно имеет какое-то применение, так что можно его и поставить.

Отличная информация, спасибо!

Значит, у сторонних разработчиков есть доступ к нейронным ядрам, или это что-то, что macOS решит использовать в зависимости от того, что требуется приложению?

Например, если я использую Python и применяю машинное обучение, могу ли я получить преимущество от нейронных ядер?

Разве они не назвали фотошоп и премьеру крупными сторонними приложениями, производительность которых значительно повысится за счет увеличенной мощности нейронного движка? Для таких вещей, как масштабирование с учетом содержания и отслеживание объекта

На iPhone в iOS 15 НАКОНЕЦ-то появились такие функции, как подавление фонового шума с помощью Neural Engine. Надеюсь, что скоро он перейдет на Mac, мне нравится эта функция.

Возможно, мы увидим множество небольших функций, которые его используют. Например, во время видеозвонка это поможет с освещением, улучшением изображения и т. д.

И другие «профессиональные» программы также могут использовать этот чип, например, Adobe Lightroom и Photoshop, когда они выполняют сложные фильтры (или что-то подобное).

Обязательное Apple «наконец-то», заглавными буквами не меньше.

Приятно знать! Я удивлен, что у Apple нет больше информации об этом. Я понимаю, что он делает много скрытых вещей, которые могут быть слишком подробными, чтобы объяснить их потребителю, но похоже, что это важный технологический компонент, который заслуживает большего внимания.

Вам повезло, эта функция есть в macOS Monterey!

В последние годы Apple внедряет все больше и больше крошечных функций, требующих A12 в iOS, которые предположительно каким-то образом используют нейронный движок, поскольку это быстрый процессор iPhone со значимым нейронным движком. Например, распознавание фотообъектов, размытие фона FaceTime, распознавание живого текста. Не было спешки с их внедрением до тех пор, пока большая часть пользовательской базы не была на этих чипах, поэтому я предполагаю, что функции NE появятся в приложениях macOS через несколько лет, поскольку пользовательская база Intel постепенно переходит на машины Apple Silicon в значительных количествах. Однако цикл обновления ПК медленнее, чем у телефонов, поэтому он может занять намного больше времени.

Вам не нужен графический процессор, центральный процессор может выполнять основные расчеты графического процессора для питания дисплея. Просто намного, намного, намного медленнее.

Это просто контроль над «базовыми» вычислительными задачами, позволяя ЦП обрабатывать только более интенсивные задачи?

Я думаю, что вы совершенно неправильно понимаете проблему. Разработчики ЦП исчерпали идеи, как сделать общий конвейер ЦП быстрее. Вы не можете добавить больше обычных инструкций, таких как SIMD, потому что у вас есть проблемы с их включением. Apple решила, что задачи машинного обучения имеют достаточно широкое применение на настольных компьютерах, чтобы в них стоило инвестировать.

По сути, некоторые алгоритмы в ваших приложениях используют статистические модели (которые затем называются машинным обучением, искусственным интеллектом или наукой о данных). Это может включать в себя обнаружение лиц и объектов на фотографиях/видео, Siri, преобразование речи в текст и множество других вещей. Когда разработчик замечает, что его алгоритм будет работать быстрее на Neural Engine, чем на CPU (например, из-за того, что ему нужно выполнить множество матричных умножений), теперь он может это использовать. Но при сравнении «ИИ» и «обычных» вычислений нет ничего принципиально другого. Просто некоторые алгоритмы лучше всего работают на процессоре, некоторые лучше всего работают на графическом процессоре, а некоторые могут использовать нейронный движок. И может быть несколько очень разных алгоритмов для решения одной и той же задачи.Поэтому трудно привести много конкретных примеров того, что будет работать быстрее - это действительно зависит от разработчиков и приложений.

Существуют ли на самом деле какие-либо API-интерфейсы разработчиков, которые можно использовать для взаимодействия с нейронным движком?

Возможно, "Привет, Siri" и улучшение изображения с веб-камеры.

Я уверен, что новая функция сканирования текста в картинке из macOS Monterey также использует ее.

Искусственный интеллект может творить действительно безумные вещи.

для iOS/macOS/iPadOS, например: djay от algoriddim имеет нечто, называемое нейронным миксом, где пользователь может удалять вокал/инструментальные партии и т. д. на лету в любой степени, в реальном времени. очевидно, как и большинство вещей, он не идеален на 100% во всех случаях, но я слышал, что он вытворяет действительно дикие вещи с музыкой во время воспроизведения, не пропуская ни секунды (ха.)

в Windows NVIDIA использует функции RTX своих графических процессоров для выполнения функций ИИ со звуком, поэтому, например, их приложения RTX voice и/или RTX Broadcast могут отфильтровывать фоновый шум, поэтому такие вещи, как моя сверхгромкая механическая клавиатура или другие громкие звуки из дома не проходят через микрофон. кого-то, кто кричит из другой комнаты или заходит, чтобы начать говорить, не сразу берут на руки.

В первый раз, когда я попробовал это, мой компьютер был рядом с кухней, и через микрофон можно было уловить различные звуки тарелок, кастрюль и т. д. включить голос RTX, не более того. я не люблю носить гарнитуру, если в этом нет необходимости, и у меня есть синий йети на столе, rtx voice не позволяет микрофону улавливать звук игры.

"но в Discord есть встроенный фильтр подавления звука." да, и это абсолютно не то же самое.

Вы можете найти в Google информацию о различных функциях программного обеспечения с улучшенным ИИ, чтобы увидеть свои возможности. Я только что назвал две из них, с которыми я сталкиваюсь ежедневно.

Apple делает первый выстрел в войне за чипы для мобильных телефонов с «нейронным двигателем», предназначенным для ускорения речи и обработки изображений.

Чтобы повторно просмотреть эту статью, перейдите в раздел "Мой профиль" и выберите "Просмотреть сохраненные истории".

Фил Шиллер, старший вице-президент Apple по международному маркетингу, обсуждает особенности нового чипа A11 в iPhone X. 12 сентября 2017 г. в Купертино, Калифорния. Марсио Хосе Санчес/AP

Когда генеральный директор Apple Тим Кук представил во вторник iPhone X, он заявил, что он «укажет путь развитию технологий на следующее десятилетие». Некоторые новые функции поверхностны: почти безрамочный OLED-экран и устранение традиционной кнопки «Домой». Однако глубоко внутри телефона находится инновация, которая, вероятно, станет стандартом для будущих смартфонов и имеет решающее значение для реализации долгосрочных планов Apple и ее конкурентов.

Эта функция представляет собой «нейронный движок» — часть нового процессора A11, который Apple разработала для iPhone X. В движке есть схемы, настроенные для ускорения определенных видов программного обеспечения искусственного интеллекта, называемых искусственными нейронными сетями, которые хороши. при обработке изображений и речи.

Apple заявила, что нейронный движок будет управлять алгоритмами, которые распознают ваше лицо, чтобы разблокировать телефон и перенести выражение вашего лица на анимированные смайлики. В нем также говорится, что новый чип может обеспечить неуказанные «другие функции».

Эксперты в области чипов говорят, что нейронный движок может стать центральным элементом будущего iPhone, поскольку Apple все больше углубляется в такие области, как дополненная реальность и распознавание изображений, которые основаны на алгоритмах машинного обучения. Они предсказывают, что Google, Samsung и другие ведущие компании мобильных технологий вскоре создадут собственные нейронные движки. Ранее в этом месяце китайская компания Huawei анонсировала новый мобильный чип со специальным «нейронным процессором» для ускорения машинного обучения.

Читайте также: