Что такое объединение пикселей
Обновлено: 21.11.2024
Но зачем это вообще? Я задал вопрос Джадду Хипу, вице-президенту Qualcomm по управлению продуктами для камер и компьютерного зрения. Ответ в основном сводится к двум вещам: чувствительности к свету и ограниченному пространству.
На своей поверхности датчики камеры имеют тысячи и тысячи пикселей — отдельных единиц, воспринимающих свет. По мере увеличения разрешения камер смартфонов увеличивается и количество пикселей на поверхностях этих сенсоров. Но в то время как размещение большего количества пикселей в той же физической области делает камеру вашего телефона более способной различать мелкие детали, это одновременно ограничивает то, насколько хорошо эта камера может работать в условиях слабого освещения.
Производители могут решить эту проблему несколькими способами. Многие камеры смартфонов объединяют информацию из нескольких кадров, используя программное обеспечение для создания единого изображения, которое фактически содержит данные из нескольких фотографий. Существует также возможность использовать физически больший датчик, что позволяет каждому пикселю собирать больше света. Google использовал сравнительно большой сенсор 1/1,31 дюйма для основной камеры в серии Pixel 6, что давало ей относительно большие пиксели и большое количество мегапикселей. Но этот подход требует выделения большего внутреннего пространства для аппаратного обеспечения камеры. , что означает, что у вас останется либо меньше места для других компонентов, например аккумулятора, либо уникальная выпуклость камеры, как в новейших телефонах Pixel.
Маленькие пиксели не могут улавливать столько света. Это элементарная физика.
Биннинг пикселей, с другой стороны, объединяет соседние пиксели для создания искусственно больших "суперпикселей", которые более чувствительны к свету, чем составляющие их пиксели сами по себе. В большинстве цифровых камер каждый пиксель на датчике изображения фильтрует свет для сбора только определенных длин волн — вообще говоря, 25 процентов пикселей настроены на красный свет, 25 процентов настроены на синий свет и 50 процентов настроены на зеленый свет. зеленый получает дополнительное представление, потому что человеческий глаз более чувствителен к зеленому свету, чем к другим цветам). Когда телефон объединяет пиксели, его процессор сигналов изображения (ISP) усредняет входные данные из наборов из четырех (или девяти, в случае отсутствия объединения) соседних пикселей одинакового цвета для создания данных изображения. В результате, по словам Хипа, приходится идти на компромисс: "Разрешение снижается, светочувствительность повышается".
Вы не можете полностью воспроизвести производительность физически больших пикселей при слабом освещении, комбинируя меньшие пиксели; как выразился Хип, «расстояние между ними не бесконечно мало», поэтому объединение пикселей может вызвать дополнительные артефакты. Однако помните, что мы имеем дело с долями буквальной ширины волоса; расстояния между пикселями микроскопичны, и программное обеспечение очень хорошо заполняет крошечные пробелы в данных, вызванные такими методами, как объединение пикселей.
Короче говоря, объединение пикселей – это творческий способ обойти физические ограничения, связанные с постоянно растущим числом мегапикселей на сенсорах, которые должны оставаться крошечными, чтобы поместиться в наши телефоны. Он быстро становится отраслевым стандартом, и нетрудно понять, почему: он помогает нам получать визуально точные фотографии при освещении, которое в противном случае потребовало бы высоких значений ISO, вызывающих шум, или длительной выдержки, вызывающей размытие. Это не совсем волшебство, но очень умная инженерия — и правда, разве это не одно и то же?
Биннинг пикселей – это процесс объединения электрического заряда соседних пикселей КМОП- или ПЗС-сенсора в один суперпиксель для уменьшения шума за счет увеличения отношения сигнал/шум в цифровых камерах.
Обычно биннинг происходит для групп из четырех пикселей, образующих четырехугольник (см. изображение), но некоторые датчики могут объединять блоки размером до 4 × 4 пикселя (16 пикселей) вместо 2 × 2 (4 пикселя). При этом сенсор увеличивает относительную чувствительность на 4 (соотношение сигнал/шум), но также снижает (пространственное) разрешение на 4. Объединенные пиксели иногда называют «суперпикселями».
Изображение предоставлено: Сяодан Джин и Кейго Хиракава
Изображение предоставлено Basler
Датчики также могут выполнять биннинг 2×1 (горизонтальное биннинг) или 1×2 (вертикальный биннинг), но эти шаблоны биннинга не используются в потребительских камерах.
Какова цель биннинга?
Причина биннинга заключается в увеличении отношения сигнал/шум (SNR или шумоподавление), ключевого показателя в аналоговых приложениях (таких как считывание изображений). В современных камерах это особенно полезно для получения более высокой яркости в условиях крайне низкой освещенности.
Обратите внимание, что некоторые датчики выполняют усреднение, а не аддитивное объединение. Это разные способы получения лучшего отношения сигнал/шум, поэтому оба метода ведут к одной и той же цели.Не всегда ясно, что лучше, и это зависит от контекста.
Поскольку аналоговые данные содержат меньше шума, изображение можно подвергнуть более высоким уровням усиления/усиления на этапе постобработки. Это также даст возможность получать более качественные изображения при слабом освещении.
Фото: исследование Сяодана Джина и Кейго Хиракавы. Шумоподавление за счет объединения пикселей
Эталонное фото, показывающее, как мои глаза воспринимали темноту сцены
LG V30S, яркий режим, объединение пикселей
Откуда возникает шум камеры?
Биннинг значительно помогает уменьшить шум, но откуда берется шум? В основном 3 возможных источника:
- Дробовой шум
- свет, улавливаемый датчиком и преобразуемый в заряды электронов
- когда мы считываем данные датчика при преобразовании из аналогового в цифровой
- электроны, выпущенные самим датчиком. При длительной выдержке выделяется больше тепла.
- ›5 шрифтов, которые следует прекратить использовать (и лучшие альтернативы)
- › Почему прозрачные чехлы для телефонов желтеют?
- › Худшее, что есть в телефонах Samsung, — это программное обеспечение Samsung.
- › Что такое GrapheneOS и как она делает Android более приватным?
- › Почему СМС должен умереть
- › Что означает XD и как вы его используете?
В целом шум при чтении незначителен, поэтому для потребительских приложений он не является существенным фактором. Тепловой шум не является проблемой для обычных фотосессий, и мы никогда не видели, чтобы он стал проблемой даже при записи видео. Поэтому дробовой шум является основной проблемой, для решения которой предназначен биннинг.
Если вы хотите узнать больше, на форумах SharpCap проходит увлекательная дискуссия. Для очень глубокого погружения вы можете прочитать «Микроскопию» Мортимера Абрамовица и Майкла У. Дэвидсона (ссылка в формате PDF), перейти на страницу 375.
Пользователь форума DPReview под ником smorgasbord рассказывает о некоторых распространенных заблуждениях о биннинге в компактных камерах, а компания Adimec, занимающаяся военными приложениями, показывает, как работает биннинг на простой схеме.
Сяодан Джин и Кейго Хиракава подготовили подробный документ под названием "Анализ и обработка биннинга пикселей для датчика цветного изображения", в котором они рассматривают несколько методов биннинга и показывают результат.
Это работает?
Да, как показывают исследования, технология Pixel Binning (также известная как пиксель 4-в-1, как ее называют некоторые OEM-производители) имеет некоторые ощутимые преимущества. Однако это зависит от того, как это реализовано. Например, LG G7, который использует пиксельный биннинг на 16-мегапиксельной матрице, в итоге получает 4-мегапиксельные фотографии с меньшим количеством деталей, чем альтернативные решения (большая матрица и апертура). Прочтите наш полный обзор камеры LG G7.
Huawei P20 Pro использует чрезвычайно большой сенсор (для телефона) и разрешение в 40 Мпикс. Таким образом, при объединении итоговое разрешение фотографии составляет 10 Мп, что является гораздо лучшим компромиссом, чем 4 Мп. Прочтите наш полный обзор камеры Huawei P20 Pro.
Теоретически объединение пикселей — отличное решение для получения большого количества мегапикселей при ярком освещении и высокой чувствительности при слабом освещении. На самом деле, он приносит некоторые преимущества, но не сокрушительный удар по тем, кто его не использует. Мы знаем, что все больше мобильных камер будут использовать эту технику в своих фотоинструментах.
Сидней Батлер
Сидней Батлер
ПисательСидни Батлер имеет более чем 20-летний опыт работы внештатным специалистом по ПК и сборщиком систем. Он более десяти лет занимается обучением пользователей и тратит свое время на объяснение технологий профессиональной, образовательной и широкой аудитории. Его интересы включают виртуальную реальность, ПК, Mac, игры, 3D-печать, бытовую электронику, Интернет и конфиденциальность. Он имеет степень магистра гуманитарных наук в области исследовательской психологии, уделяя особое внимание киберпсихологии. Подробнее.
Камеры смартфонов со сверхвысоким числом мегапикселей служат хорошим рекламным ходом, но вряд ли кто-то на самом деле делает 200-мегапиксельные фотографии. Так как же получить от них полезные фотографии? Объединение пикселей — процесс объединения крошечных пикселей в большие виртуальные.
Объединение пикселей вместе
Так зачем возиться с большим количеством мегапикселей? Если окончательное количество мегапикселей будет только 12, почему бы просто не поставить в телефон 12-мегапиксельный сенсор? Некоторые компании, в частности Apple, именно так и поступают. Действительно, на первый взгляд может показаться, что объединение пикселей — это просто способ разместить на камере большие числа, чтобы произвести впечатление на клиентов, которые, возможно, не знают ничего лучше. Однако на самом деле есть законные причины для использования биннинга.Однако, чтобы понять их, нам нужно сделать небольшой экскурс в то, как работают датчики камеры.
Сбор фотонов и размера сенсора
Датчик камеры в некотором роде похож на солнечную панель. Когда фотоны попадают на поверхность датчика, они создают электрический заряд. Каждый пиксель сенсора представлен светочувствительным пятном на поверхности сенсора.
Датчики фильтруют различные цвета света, чтобы создать полноцветное изображение, с которым можно работать. Эти светочувствительные пятна имеют разный размер на сенсоре каждой камеры.
Вот почему количество мегапикселей само по себе не является хорошим показателем качества изображения. Два датчика с одинаковым количеством мегапикселей могут генерировать изображение с одинаковым разрешением. Однако, если один датчик в четыре раза больше другого, каждое фото «пятно» предлагает гораздо большую поверхность для фотонов.
Чем больше фотонов датчик может выбрать из сцены, тем выше качество конечного изображения. Он представляет собой более точное и детальное представление сцены. Датчик полнокадровой камеры, используемый в специализированных профессиональных камерах, имеет размеры 24×36 миллиметров. Это площадь поверхности 864 квадратных миллиметра или около 1,34 квадратных дюйма. Для сравнения, основная камера iPhone 13 Pro имеет площадь всего 44 квадратных миллиметра или 0,0682001 квадратных дюйма. У iPhone 13 датчик на более широком конце типичного спектра, но он все же намного меньше, чем датчики, используемые в специализированных камерах.
Apple — хороший пример размера сенсора и качества фотографий. С каждым поколением iPhone в последние годы количество пикселей оставалось на уровне 12 Мп, но увеличивался размер каждого пикселя. Это улучшает качество изображения и производительность, но ограничивает разрешение.
Преимущества объединения пикселей
Именно здесь на помощь приходит объединение пикселей. Он предлагает способ получить преимущества сбора света за счет больших пикселей, например, с 12-мегапиксельным датчиком Apple в iPhone 13 Pro, позволяя делать изображения с очень высоким разрешением, когда нет недостатка света.
Если вы делаете фотографии при ярком освещении, пикселей на 108-мегапиксельной матрице более чем достаточно, чтобы получить образец хорошего качества. При слабом освещении пиксели объединяются вместе, чтобы объединить их светосилу. Обеспечивает производительность при слабом освещении, аналогичную датчику с большими пикселями.
Основным недостатком является то, что вы получаете изображение с более низким разрешением. Однако типичное 12-мегапиксельное изображение, созданное, например, смартфоном с использованием объединения пикселей, превышает разрешение, необходимое для большинства пользователей. Никто не публикует массивные 12-мегапиксельные изображения напрямую в социальных сетях. 12 МП подходит даже для довольно больших отпечатков и, безусловно, более чем достаточно для типичной фоторамки.
Если вы не хотите, чтобы ваша камера или телефон уменьшали пиксели до более низкого разрешения, обычно где-то есть настройка, позволяющая установить максимальное разрешение. Например, Samsung S21 Ultra имеет специальный режим съемки 108 Мп в приложении камеры, хотя получаемое изображение просто огромно!
Видели ли вы термин "биннинг пикселей", случайно упомянутый в наших обзорах камер, и задавались вопросом, что на самом деле означает этот довольно загадочный ярлык? Мы здесь, чтобы пролить свет на этот широко используемый процесс обработки цифровых изображений, особенно в последних и текущих телефонах с камерой Android.
Что такое объединение пикселей?
Термин "объединение пикселей" означает, что группа из четырех смежных "пикселей" (расположенных в виде четырехугольника 2 x 2) на датчике изображения камеры обрабатывается как один большой "супер" пиксель.
Это делается для улучшения качества изображения и уменьшения шума изображения (зернистости). Это объясняет, почему ваш 64-мегапиксельный или 108-мегапиксельный телефон с камерой почти всегда выдает изображения с разрешением 16 Мп или 27 Мп соответственно. Если вы объедините четыре пикселя в один, вы получите изображение в четверть меньшего размера.
Что еще нужно знать? Читайте дальше.
Подробно о биннинге пикселей.
Не успели телефонные камеры уничтожить сектор компактных фотоаппаратов типа «наведи и снимай», как мы видим, как они наступают на пятки камерам со сменными объективами с большим сенсором. Даже с бюджетными телефонами, такими как Xiaomi Redmi Note 10 Pro, оснащенным 108-мегапиксельным основным датчиком изображения в телефоне стоимостью около 200 долларов, вы можете легко задаться вопросом, кто в здравом уме откажется от 6000 долларов за 102-мегапиксельную камеру Fujifilm GFX 100S — камеру размером с кирпич. , почти такое же тяжелое и даже не поставляемое с объективом по такой цене.
Но, как и во многих вещах, которые кажутся слишком хорошими, чтобы быть правдой, здесь есть одна загвоздка.Телефонные камеры со сверхвысоким разрешением используют метод обработки изображений, известный как «биннинг пикселей». Однако это немного сбивающее с толку название, так как здесь мы имеем дело не с пикселями. Пиксели — помимо того, что это голливудский фильм, подвергнутый критике, — строго говоря, представляют собой наименьший отдельный элемент цифрового изображения (за исключением векторной графики) или экрана ЖК-дисплея.
Хотя мы говорим о мегапикселях в контексте камер, на самом деле это относится только к цифровым изображениям, генерируемым датчиком камеры, а не к самому датчику. Сенсор состоит из миллионов светочувствительных фотоэлементов, а не пикселей. Однако «мегафотосайт» не совсем слетает с языка, не так ли? В любом случае, помимо семантики, основная роль этих миллионов фотоэлементов, составляющих поверхность сенсора камеры, состоит в том, чтобы собрать как можно больше света за кратчайший промежуток времени. Увеличьте размер каждого фотосайта, и он сможет поглощать больше света за заданный промежуток времени. Хорошая новость для сохранения короткой выдержки и, следовательно, минимизации риска смазывания фотографии из-за дрожания камеры.
Вот почему такие камеры, как полнокадровая Sony A7S III (S для светочувствительности), имеют, казалось бы, жалкое разрешение сенсора 12,1 Мпикс. фотосайт физически огромен. Таким образом, камера может собирать больше света в любой заданный период времени и, следовательно, в результате производит меньше уродливого шума изображения (зернистости и т. д.). Это особенно полезно при съемке изображений при тусклом освещении, когда уровень окружающего освещения низкий, поэтому для компенсации необходимо, чтобы датчик камеры был максимально светочувствительным.
Проблема в том, что производители камер/телефонов, а точнее их маркетинговые отделы, просто ОБОЖАЮТ мегапиксели. Камеры с большим количеством мегапикселей продаются, особенно телефоны с камерами, где среднестатистический пользователь ассоциирует камеру с большим количеством мегапикселей просто как нечто лучшее, чем конкурент с меньшим разрешением. Логичный ответ — втиснуть в сенсор как можно больше мегапикселей, и это именно то, что мы видим на таких телефонах, как Redmi Note 10 Pro и многих других.
Хотя это отлично подходит для создания огромных, теоретически детализированных изображений, это плохая новость для качества изображения. Чтобы поместить датчик изображения в тонкий смартфон, он должен быть маленьким, а это, в свою очередь, означает, что все эти 108 миллионов фотосайтов должны быть невообразимо, микроскопически крошечными. Это серьезно ограничивает их светочувствительность и, в свою очередь, означает, что компьютер обработки изображений камеры получает данные о слабом сигнале изображения, и ему приходится делать больше догадок, чтобы отобразить окончательное изображение, которое вы видите. Эти «догадки» проявляются в виде шума изображения — зернистости, нежелательных цветовых пятен и т. д.
Каков ответ? Сенсорные фотосайты должны быть большими, чтобы вы могли получить хорошую четкость изображения, но всем нужны камеры с разрешением 50+ мегапикселей и физически огромные цифровые изображения сверхвысокого разрешения. Введите ответ на всеобщие молитвы: объединение пикселей!
По сути, это просто означает группировку нескольких смежных пикселей в один «суперпиксель». Обычный метод состоит в том, чтобы взять четыре соседних пикселя в массиве 2 x 2 и обработать их как один пиксель с четырехкратной светочувствительностью. Недостатком является то, что, хотя светочувствительность и, следовательно, четкость изображения теоретически улучшаются в четыре раза, при наличии одной четверти количества фотосайтов для игры ваши изображения в конечном итоге становятся на четверть меньше, поэтому изображение 108MP становится изображением 27MP.
И это ключевое отличие 108-мегапиксельной камеры телефона от 102-мегапиксельной камеры Fujifilm GFX 100S за 6000 долл. США. У GFX не только много мегапикселей, но и абсолютно массивный датчик изображения, поэтому он может использовать все эти 102 мегапикселя. миллионов фотосайтов без ущерба для качества изображения. Следовательно, размер камеры также должен быть большим, чтобы вместить такой большой датчик изображения. У вас просто не может быть гигантского количества мегапикселей на датчике, достаточно маленьком, чтобы поместиться в телефон без каких-либо компромиссов, и этот компромисс — объединение пикселей.
Хотя камера телефона с сенсором 50 Мп, 64 Мп или 108 Мп, скорее всего, может снимать изображения с полным разрешением, скорее всего, по умолчанию этого не произойдет. И даже если вы выберете этот режим максимального разрешения вручную, вы вполне можете быть разочарованы результатами, поскольку, когда камера может полагаться только на свои отдельные пиксели, работающие в одиночку, вы затем видите полную протяженность изображения. снижение светочувствительности и, как следствие, высокий уровень шума изображения. Это не значит, что съемка в максимальном разрешении всегда будет приводить к неутешительным результатам. Если уровень освещенности хороший и у вас очень твердая рука, можно получить сверхчеткие изображения в полном разрешении без объединения пикселей.
Не все производители телефонов прибегают к этому маркетинговому трюку и пытаются впихнуть в свои телефоны датчики камеры с разрешением 50+ мегапикселей.У Apple есть доля рынка и лояльность к бренду, чтобы играть прямо и избегать объединения пикселей, используя 12-мегапиксельную камеру в своем iPhone 12 Pro, которая выводит 12-мегапиксельные изображения — никаких неприятных сюрпризов с уменьшением размера. Это также означает, что любые другие камеры в телефоне, такие как сверхширокоугольные или телеобъективы, также могут иметь разрешение 12 Мп каждая.
Следовательно, когда вы переключаетесь на одну из дополнительных камер, вы не видите заметной разницы или ухудшения качества/размера изображения, как это часто бывает с телефонами, которые дополняют свою основную камеру с разрешением 50+ Мп гораздо меньшим мегапиксельные сверхширокие/телеобъективы, в которых не используется объединение пикселей для компенсации недостатков качества изображения.
В заключение отметим, что, с одной стороны, объединение пикселей дает вам лучшее из обоих миров — датчик со сверхвысоким разрешением, который также может хорошо работать при слабом освещении. И наоборот, когда большинство из нас просматривает снимки нашего телефона только на крошечном экране телефона, действительно ли нам нужны изображения с камеры телефона с разрешением 100+ Мп? Это особенно уместно, если вы помните, что большинство телефонов с камерами высокого разрешения по умолчанию снимают изображения размером в четверть размера, объединенные в пиксели. место.
Читайте также: