Компьютер как черный ящик

Обновлено: 01.07.2024

Исследователи пытаются разобраться во внутренней работе нейронных сетей

Представление нейронной сети. Акритаса/Викисклад

В прошлом месяце Facebook анонсировала программное обеспечение, которое может просто посмотреть на фотографию и сказать, например, кошка это или собака. Соответствующая программа выявляет раковые поражения кожи так, как это могут сделать обученные дерматологи. Обе технологии основаны на нейронных сетях, сложных компьютерных алгоритмах на переднем крае искусственного интеллекта (ИИ), но даже их разработчики не уверены, как именно они работают. Теперь исследователи нашли способ «посмотреть» на нейронные сети в действии и посмотреть, как они делают выводы.

Нейронные сети, также называемые нейронными сетями, в общих чертах основаны на использовании мозгом слоев нейронов, работающих вместе. Подобно человеческому мозгу, они не запрограммированы на получение определенного результата — они «учатся» на тренировочных наборах данных, создавая и укрепляя связи между несколькими входными данными. Нейронная сеть может иметь слой нейронов, которые смотрят на пиксели, и слой, который смотрит на края, например контур человека на фоне. После обучения на тысячах или миллионах точек данных алгоритм нейронной сети выработает свои собственные правила обработки новых данных. Но неясно, что алгоритм использует из этих данных, чтобы прийти к своим выводам.

"Нейронные сети — это увлекательные математические модели, — говорит Войцех Самек, научный сотрудник Института телекоммуникаций Фраунгофера при Институте Генриха Герца в Берлине. "Они превосходят классические методы во многих областях, но часто используются по принципу "черного ящика"".

В попытке разблокировать этот черный ящик Самек и его коллеги создали программное обеспечение, которое может проходить через такие сети в обратном направлении, чтобы увидеть, где было принято определенное решение и насколько сильно это решение повлияло на результаты. Их метод, который они опишут в этом месяце на конференции Центра автоматизации делопроизводства, информационных технологий и телекоммуникаций в Ганновере, Германия, позволяет исследователям измерить, насколько отдельные входные данные, такие как пиксели изображения, влияют на общий вывод. Затем пикселям и областям присваивается числовая оценка их важности. С помощью этой информации исследователи могут создавать визуализации, которые накладывают маску на изображение. Маска наиболее яркая там, где пиксели важны, и самая темная в областях, которые практически не влияют на выходные данные нейронной сети.

Например, это программное обеспечение использовалось для двух нейронных сетей, обученных распознавать лошадей. Одна нейронная сеть использовала форму тела, чтобы определить, была ли это лошадь. Другой, однако, рассматривал символы авторского права на изображениях, которые были связаны с веб-сайтами ассоциации лошадей.

Эта работа может улучшить работу нейронных сетей, – считает Самек. Это включает в себя помощь в уменьшении объема необходимых данных, что является одной из самых больших проблем в разработке ИИ, путем сосредоточения внимания на том, что нужно нейронным сетям. Это также может помочь в расследовании ошибок, когда они возникают в результатах, например неправильной классификации объектов на изображении.

Другие исследователи работают над аналогичными процессами, чтобы изучить, как алгоритмы принимают решения, включая нейронные сети для изображений и текста. «Непрерывные исследования важны, поскольку алгоритмы принимают больше решений в нашей повседневной жизни», — говорит Сара Уотсон, технический критик из Центра Беркмана Кляйна по вопросам Интернета и общества Гарвардского университета. Общественности нужны инструменты, чтобы иметь возможность понять, как ИИ принимает решения. Она отмечает, что алгоритмы далеко не идеальные арбитры истины, они хороши ровно настолько, насколько хороши данные, которые им предоставляются.

Известная ошибка нейронной сети Google пометила темнокожую женщину как гориллу в своем приложении для работы с фотографиями. Еще более серьезная дискриминация была поставлена под сомнение в программном обеспечении, которое предоставляет оценки риска, которые некоторые суды используют для определения вероятности повторного совершения преступником преступления, при этом по крайней мере одно исследование показало, что чернокожим ответчикам присваивается более высокий балл риска, чем белым ответчикам за аналогичные преступления. "Все сводится к тому, чтобы машины и организации, которые их используют, несли ответственность за свою продукцию", – говорит Уотсон.

Уилл Кентон является экспертом в области экономики и инвестиционного законодательства. Ранее он занимал руководящие должности редактора в Investopedia и Kapitall Wire, имеет степень магистра экономики Новой школы социальных исследований и степень доктора философии по английской литературе Нью-Йоркского университета.

В настоящее время Эрик является лицензированным независимым страховым брокером, имеющим лицензию на страхование жизни, здоровья, имущества и страхования от несчастных случаев. Он проработал более 13 лет как в государственном, так и в частном бухгалтерском учете и более четырех лет имел лицензию страхового агента. Его опыт работы в области налогового учета послужил прочной основой для его текущей деловой книги.

Что такое модель черного ящика?

В науке, вычислительной технике и технике черный ящик – это устройство, система или объект, который производит полезную информацию, не раскрывая никакой информации о своей внутренней работе. Объяснения его выводов остаются непрозрачными или «черными».

Финансовые аналитики, менеджеры хедж-фондов и инвесторы могут использовать программное обеспечение, основанное на модели черного ящика, для преобразования данных в полезную инвестиционную стратегию.

Достижения в области вычислительной мощности, искусственного интеллекта и возможностей машинного обучения приводят к распространению моделей черного ящика во многих профессиях и добавляют им таинственности.

Потенциальные пользователи многих профессий с опаской смотрят на модели «черный ящик». Как пишет один врач в статье об их использовании в кардиологии: «Черный ящик — это сокращение для моделей, которые достаточно сложны, чтобы их нельзя было напрямую интерпретировать людям».

Ключевые выводы

Модель черного ящика получает входные данные и производит выходные данные, но ее работа неизвестна.
Модели черного ящика все чаще используются для принятия решений на финансовых рынках.
Технологические достижения, особенно возможности машинного обучения, не позволяют человеческому разуму анализировать или точно понимать, как модели черного ящика делают свои выводы.
Противоположностью черного ящика является белый ящик. Его результаты прозрачны и могут быть проанализированы пользователем.
Термин «модель черного ящика» может быть легко использован неправильно и может просто отражать необходимость защиты проприетарного программного обеспечения или желание избежать четких объяснений.

Понимание модели черного ящика

Черными ящиками можно назвать многое: транзистор, алгоритм и даже человеческий мозг.

Противоположностью черного ящика является система, состоящая из внутренней работы, доступной для проверки. Его обычно называют белым ящиком, хотя иногда его называют прозрачным ящиком или стеклянным ящиком.

Модель черного ящика в финансах

На финансовых рынках более широкое использование методов черного ящика вызывает ряд проблем.

Модель черного ящика сама по себе не является рискованной, но она вызывает некоторые вопросы управления и этики.

Инвестиционные консультанты, использующие методы черного ящика, могут скрывать истинный риск активов, которые они рекомендуют, под предлогом защиты проприетарной технологии. Это оставляет как инвесторов, так и регулирующие органы без фактов, необходимых им для точной оценки принимаемого риска.

Компенсируют ли преимущества методов черного ящика недостатки? Мнения расходятся.

Кто использует финансовые модели черного ящика

Использование моделей черного ящика для анализа инвестиций с годами то входило, то выходило из моды, обычно в зависимости от того, растут или падают финансовые рынки.

Во время нестабильности на финансовых рынках стратегии черного ящика выделяются из-за их потенциально разрушительного характера. Принятые уровни риска могут быть неочевидны до тех пор, пока их не обнаружат экстремальные потери.

Достижения в области вычислительной мощности, приложений для работы с большими данными, искусственного интеллекта и возможностей машинного обучения расширяют использование и добавляют загадочности моделям черного ящика, в которых используются сложные количественные методы.

Хедж-фонды и некоторые из крупнейших в мире управляющих инвестициями теперь регулярно используют модели черного ящика для управления своими инвестиционными стратегиями.

Использование модели черного ящика в психологии восходит к Б. Ф. Скиннеру, отцу школы бихевиоризма. Скиннер утверждал, что психологи должны изучать реакции мозга, а не его процессы.

Разоблачение черного ящика

Было несколько примечательных случаев, в том числе огромные потери в портфелях, посвященных стратегиям черного ящика. Стратегии черного ящика не были виноваты в этих событиях. Однако инвесторы, которые зависели от этих стратегий, пострадали от них. как и многие другие инвесторы, которые попали в шторм.

Эти события включают:

Крах хедж-фонда Long-Term Capital Management в 1998 году. Фонд получал огромные прибыли, используя арбитражную стратегию для покупки облигаций, пока дефолт по облигациям правительства России не привел к его краху, что чуть не привело к краху мировой финансовой системы. это.
"Мгновенный сбой" 24 августа 2015 г. Мгновенные сбои, которые теперь происходят периодически, связаны с кратковременным неконтролируемым падением стоимости актива, за которым следует немедленное восстановление его цены. Обычно в этом винят увеличение компьютеризированных заказов. На самом деле в 2015 году было два флеш-катастрофы.Августовское событие касалось индекса S&P 500, а еще одно событие касалось торгов в долларах США 18 марта.

Модель черного ящика в вычислительной технике

Методы машинного обучения, которые в значительной степени способствовали росту и совершенствованию моделей черного ящика, тесно связаны друг с другом, особенно с машинным обучением.

Утверждается, что работа прогностических моделей "черный ящик", созданных на основе алгоритмов, может стать настолько сложной, что ни один человек не сможет проработать все переменные, участвующие в построении прогноза.

Модель черного ящика в инженерии

Модель черного ящика используется в инженерии для построения прогностических моделей, которые существуют в компьютерном коде, а не в физической форме.

Затем переменные можно наблюдать, анализировать, тестировать и пересматривать без дорогостоящего и трудоемкого процесса их фактического создания в реальном мире.

Что такое модель черного ящика в финансах?

Модель черного ящика, разработанная для использования на финансовых рынках, представляет собой программу, которая анализирует рыночные данные и разрабатывает стратегию покупки и продажи на основе этого анализа.

Пользователь черного ящика может понять результаты, но не может увидеть их логику. Когда при построении модели используются методы машинного обучения, входные данные на самом деле слишком сложны для интерпретации человеческим мозгом.

Является ли торговля Black Box законной?

BlackBoxStocks – это торговая интернет-платформа для трейдеров, торгующих акциями и опционами. Компания заявляет, что использует «технологию прогнозирования», дополненную искусственным интеллектом, для определения быстрых изменений цен, которые могут быть использованы внутридневными трейдерами.

Компания BlackBoxStocks, основанная в 2016 году, котируется на NASDAQ под символом BLBX.

Сайт Day Trader Review называет его "невероятно выгодным".

В обзоре The Stock Dork это называется "настоящая сделка и одна из лучших доступных систем сканирования рынка".

Обратите внимание, что в обзорах BlackBoxStocks оценивается как платформа для потребительской торговли. Они не делают выводов о степени точности своих прогнозов.

Что такое модель черного ящика поведения потребителей?

Модель черного ящика потребительского поведения взята из академической области поведенческой психологии.

Психологи-бихевиористы рассматривают человеческий мозг как черный ящик. Человеческий разум реагирует на раздражители. Чтобы изменить поведение, нужно изменить стимулы, а не разум, реагирующий на стимулы.

Эта теория была принята маркетологами для анализа процесса принятия решений потребителями. Анализ пытается понять и повлиять на решение о покупке, наблюдая за реакцией потребителя на определенные стимулы.

Что такое модель черного ящика по сравнению с моделью белого ящика?

В области искусственного интеллекта модель черного ящика использует алгоритм машинного обучения, чтобы делать прогнозы, в то время как объяснение этого прогноза остается неизвестным и неотслеживаемым.

Модель белого ящика пытается включить ограничения, которые делают процесс машинного обучения более прозрачным.

Прозрачность или "интерпретируемость" может быть этической и юридической целью моделей, используемых в здравоохранении, банковском деле, страховании и других отраслях.

Итог

Модели черного ящика все чаще используются для создания программного обеспечения не только для приложений в мире инвестиций, но и для использования в здравоохранении, банковском деле, инженерии и других областях.

Модель черного ящика развивается в тандеме с возможностями машинного обучения, и оба процесса усложняются.

На самом деле они становятся все более непрозрачными. То есть мы полагаемся на их результаты, не понимая, как эти результаты получены.

Начав работать с классами и объектами, вы можете встретить термин программирование черного ящика. Часто программисты пишут методы, как если бы они были черными ящиками — программист знает, что происходит внутри ящика, но все эти детали реализации скрыты от пользователя. Пользователь должен знать о входных данных черного ящика, и он должен быть в состоянии предсказать выходные данные на основе входных данных, но детали того, как эти входные данные преобразуются в выходные данные, могут быть скрыты от пользователей.

Каждый должен в какой-то момент своей жизни пройти курс информатики. Фу. Действительно? Я слышу, как вы говорите: «Я просто нажал на эту запись, чтобы узнать о «черном ящике», а не для того, чтобы услышать какую-то тираду о ценности компьютерных наук. Пожалуйста, потерпите меня, мы скоро доберемся до «черного ящика» за миллисекунду.

Я думаю, каждому в той или иной степени интересно, как все устроено. Зная, что это заявление будет датировать меня, одно из моих ранних воспоминаний детства было, когда я ехал с моим отцом, везя бумажный мешок, полный телевизионных трубок, в местный Walgreens для тестирования на машине самообслуживания для тестирования трубок. Найдя неисправную трубку и починив телевизор, я увидел, как работает телевизор. Для 7-летнего ребенка это было просто волшебное устройство.

По мере того, как мои собственные дети росли, а вместе с ними рос и их интерес к миру, одной из самых увлекательных книг, которыми я делился с каждым из них, была книга Дэвида Маколея "Как все устроено". Книга дает замечательный обзор и анализ устройств и инноваций, которые влияют на нашу повседневную жизнь. От того, как смыв туалетов до того, как работает подводная лодка, книга содержит простые для понимания объяснения и показательные рисунки.

Итак… почему всем рано или поздно нужно пройти курс информатики? Количество устройств в нашей повседневной жизни, управляемых программным обеспечением и прошивкой (в чем разница), со временем увеличивается в геометрической прогрессии. Автомобили, холодильники, стиральные машины и другие широко используемые бытовые приборы работают на программном обеспечении. Если учесть количество мобильных приложений, кажется, что программное обеспечение пожирает мир. Так что изучение кодирования — это просто хорошая идея. Чем больше вы знаете, тем менее мистическими (и более предсказуемыми) становятся программно управляемые устройства. Возможностей предостаточно; дети могут посещать летние лагеря по программированию, средние школы предлагают занятия по программированию и робототехнике, а многие университеты открывают свои учебные программы по компьютерным наукам для неспециалистов. «Учебные лагеря» по компьютерному программированию доступны для взрослых. Эти возможности сегодня эквивалентны тестированию телевизионных ламп в Walgreens, шанс заглянуть за кулисы и понять, как все работает. Так что вперед и напишите свою первую программу «Hello World»!

Теперь о «черном ящике»…

Источник: Деннис Р. Гросси, NTSB, Wikimedia Commons

Объяснение покраски простое; коробки окрашены в жаростойкий ярко-оранжевый цвет, чтобы следователи могли легко найти их на месте крушения.

Этимология фразы "черный ящик" и ее применение к регистраторам полетных данных несколько туманна. Мне больше всего нравится определение: «устройство, внутреннее устройство которого неясно, но известно по его входам и выходам». Вы на самом деле не знаете, как записывается информация о рейсе, но знаете, какая информация поступает и уходит.

Проще говоря, самописец полетных данных — это практически неразрушимая машина для записи информации. Он записывает звуки и разговоры в кабине, а также множество полетных данных, таких как высота над уровнем моря, местоположение самолета, скорость полета, температура двигателей и траектория полета. Внутреннее устройство черного ящика похоже на то, как работает небольшое вычислительное устройство с жестким диском или картой памяти для записи данных. Таким образом, знание кое-чего о кодировании снимает тайну со всех этих «черных ящиков»: мы не уверены, как они работают, но знаем, что входит и выходит. Теперь это наука, информатика.

Дополнительная информация. Дэвид Маколей обновил свое первоначальное предложение с момента его публикации в 1988 году. "The New Way Things Work" (1998 г.) и "The Way Things Work Now" (выйдет в октябре 2016 г.) доступны через ваш любимый книготорговец.

Nvidia запустила облачную версию своей платформы Omniverse для 3D-моделирования. Компания также представила Omniverse .

Преодолейте сбои AWS, научившись создавать многорегиональную архитектуру, обеспечивающую отказоустойчивость в случае аварии.

Чтобы добиться высокой доступности и отказоустойчивости в AWS, ИТ-администраторы должны сначала понять различия между двумя моделями.

Хотя императивное программирование часто используется, декларативный подход оказался полезным перед лицом требований к сложным, .

На первый взгляд, разница между микроприложениями и микросервисами просто связана с проблемами внешнего интерфейса и серверной части. Но .

IDP могут предоставить продуктивную и безопасную среду для групп разработчиков. Рассмотрите все за и против, чтобы увидеть, является ли внутренний .

Опытные SRE делятся опытом эффективного использования больших объемов наблюдаемых данных из предварительной коллекции.

Преднамеренный саботаж пакета NPM в знак протеста против войны в Украине усугубляет и без того сложную угрозу цепочке поставок программного обеспечения.

Будь то создание автоматизированных инструментов для сертификации ОС или изучение eBPF как способа обеспечения безопасности цепочки поставок в домене .

Насколько хорошо вы знаете обработку исключений в Java? Эти 10 сложных вопросов с несколькими вариантами ответов для проверенных и непроверенных .

Не позволяйте возникновению RuntimeException в Java привести к остановке вашего кода. Вот 10 примеров того, как избежать .

Ключом к коду без ошибок является знание наиболее распространенных типов ошибок во время выполнения в Java, а также знание того, как их .

Считаете, что готовы к сертификационному экзамену AWS Certified Solutions Architect? Проверьте свои знания, ответив на эти 12 вопросов и.

Amazon заявила, что ее система мониторинга микроавтобусов предназначена исключительно для обеспечения безопасности водителей. Но многие отраслевые эксперты обеспокоены этим.

Amazon хотела бы укрепить свое глобальное присутствие, но гигант электронной коммерции сегодня сталкивается с препятствиями и проблемами, которых у него не было.

Читайте также: