Алгоритм, записанный в словесной форме, рецепт блюда для рисования в компьютерной игре
Обновлено: 30.06.2024
Алгоритмические системы могут казаться пользователям непрозрачными. Это может помешать пользователям принимать обоснованные решения об использовании таких систем. Чтобы бороться с этим, объяснения намерены сделать их более прозрачными. Однако объяснения обычно основаны на свойствах системы. Мы утверждаем, что им также необходимо учитывать понимание пользователя, чтобы быть более понятным для пользователей. Чтобы получить эти объяснения, основанные на информации пользователя, эта качественная работа направлена на (а) сравнение того, как эксперты и обычные пользователи понимают алгоритмические системы, и (б) получение результатов для создания объяснений, основанных на информации пользователя. Мы провели фокус-группу с экспертами (N = 3) и полуструктурированные глубинные интервью с экспертами (N = 10) и непрофессионалами (N). = 11), включая задание на рисование. Рефлексивный тематический анализ, проведенный первым автором, выявил групповые и общие темы: эксперты понимали алгоритмы как процесс принятия решений и осознавали зависимость алгоритмов от контекста. Непрофессиональные пользователи, в свою очередь, понимали алгоритмы как интеллект и как структурирование данных. Они сосредоточились на материальных и видимых элементах алгоритмических систем. Обе группы также понимали алгоритмы как последовательность действий. Различное понимание может быть обусловлено групповым опытом и целями использования алгоритмических систем. Основываясь на наших результатах, мы утверждаем, что объяснения, основанные на информации пользователя, могут учитывать контекстную зависимость алгоритмических систем и подчеркивать их ограничения.
Ключевые слова: прозрачность, объяснение, качественное исследование, тематический анализ, задание на рисование
Благодарность: эта работа была поддержана Deutsche Forschungsgemeinschaft (DFG) в рамках гранта № GRK 2167, Научно-учебная группа «Социальные медиа, ориентированные на пользователя». Мы признательны за поддержку Фонда публикаций открытого доступа Университета Дуйсбург-Эссен.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Корреспонденцию по поводу этой статьи следует направлять Тао Нго, Департамент компьютерных наук и прикладных когнитивных наук, Научно-учебная группа «Пользовательские социальные сети», Университет Дуйсбург-Эссен, Forsthausweg 2, 47057 Дуйсбург, Германия. thao.ngo@uni-due.de
Алгоритмические системы все чаще применяются в важнейших онлайн-доменах ( Adadi & Berrada, 2018 ; Craglia et al., 2018 ). Применение сложных алгоритмических систем имеет различные последствия для человека и общества. Среди прочего, их применение влияет на автономию пользователей, а также на конфиденциальность и затрагивает социальные вопросы ответственности и подотчетности алгоритмов, то есть вопрос о том, кто может нести ответственность и отвечать за людей, данные, действия и последствия (Craglia и др., 2018). Тем не менее, их внутренние механизмы часто остаются непрозрачными для пользователей: пользователи могут не до конца понимать, какие личные данные собираются и как системы обрабатывают их для получения конкретных результатов.
Однако пользователи должны понимать, почему и как используются их личные данные, а также какие выводы можно сделать на их основе. В конечном итоге это касается автономии пользователей, то есть способности пользователей действовать в соответствии со своим осознанным выбором и конфиденциальностью (Craglia et al., 2018). Коттер и Рейсдорф (2020) утверждают, что пользователям необходимо понимать внутреннюю работу алгоритмов и факторы, влияющие на них, чтобы иметь возможность «выносить рациональные суждения об информации, с которой они сталкиваются» (стр. 748).
Поэтому предыдущие исследования были сосредоточены на повышении прозрачности алгоритмов за счет объяснений (Diakopoulos, 2015; Tintarev & Masthoff, 2007). Объяснения могут положительно влиять на различные факторы, такие как доверие пользователей, восприятие прозрачности или возможность проверки (Kunkel et al., 2019; Tintarev & Masthoff, 2007). Объяснения обычно основаны на свойствах системы, то есть на модели, входных и выходных данных, но не обязательно на (отсутствии) знаний пользователя. В результате объяснения, как правило, не адаптированы к уровню знаний предыдущих пользователей и могут быть слишком сложными или слишком очевидными для пользователей.
В связи с этим мы намерены внести свой вклад в объяснения, адаптированные к пониманию обычных пользователей. С этой целью в этой работе сравнивается понимание пользователей экспертами (здесь это пользователи с информационными или смежными знаниями) и обычными пользователями. Сравнивая понимание этих групп пользователей, мы можем сделать вывод о различиях между наиболее подробными и технически правильными знаниями об алгоритмическом курировании и средним пониманием обычных пользователей. Полученные данные могут помочь в объяснениях, которые лучше устранят существующие пробелы в знаниях.
Следовательно, эта работа преследует две исследовательские цели: первая цель — описать и охарактеризовать этот пробел в знаниях. Как Эйбанд и др.(2018), мы утверждаем, что этот пробел подчеркивает различия и общее понимание этих групп и может помочь в формировании объяснений. Основываясь на этих выводах, вторая цель состоит в том, чтобы сделать вывод об элементах системы, которые следует объяснить неспециалистам. Мы определяем этот тип объяснения как объяснение, основанное на информации пользователя. Здесь мы не утверждаем, что обычных пользователей следует превратить в экспертов, поскольку это нереально и невыполнимо. Вместо этого непрофессиональные пользователи должны понимать алгоритмические системы таким образом, чтобы они могли принимать обоснованные решения об их использовании.
• Исследовательский вопрос 1. Как эксперты понимают алгоритмические системы курирования?
• Исследовательский вопрос 2. Как обычные пользователи понимают алгоритмические системы курирования?
• Исследовательский вопрос 3. Каковы различия между экспертами и обычными пользователями в понимании алгоритмических систем курирования?
Чтобы ответить на эти вопросы, мы выбрали качественный подход, используя фокус-группы и полуструктурированные интервью, а также задание на рисование. Мы проанализировали наш материал с помощью рефлексивного тематического анализа. Это подходящий и гибкий подход к нашим исследовательским вопросам, поскольку мы были заинтересованы в интерпретации материала для сравнения субъективных ответов экспертов и непрофессионалов (Braun & Clarke, 2006, 2020). Это позволило нам определить шаблоны, так называемые темы, которые являются общими, но также различаются для групп пользователей. Мы отдали предпочтение этому методу, а не подходам надежности или кодовой книги, поскольку стремились к углубленному изучению и характеристике понимания пользователя, а не к количественной оценке нашего материала ( Vaismoradi et al., 2013 ).
Мы утверждаем, что общее понимание можно использовать в качестве шаблона для объяснений. Различия в понимании выявляют неосведомленность и неправильное представление рядовых пользователей о конкретных компонентах системы. Это могло бы продвинуть текущие исследования прозрачности и объяснимости, определив, как должно быть разработано эффективное объяснение.
Категории и цели пояснений
Объяснения могут способствовать лучшему пониманию конкретной темы. Они информируют индивидуумов о некотором «чувстве механизма» и часто влекут за собой причинно-следственные связи (Кейл, 2006, с. 228). Кроме того, объяснения могут помочь людям понять, почему произошло определенное событие, и найти для него оправдание или предсказать определенные события (Keil, 2006). Исследователи предложили множество категорий объяснений алгоритмических систем. Например, модельно-ориентированные объяснения, также называемые глобальными объяснениями, предоставляют общую информацию об алгоритмических системах. Предметно-ориентированные объяснения, также известные как локальные объяснения, основаны на входных данных, поступающих в алгоритмическую систему (Došilović et al., 2018; Edwards & Veale, 2017). Аналогичное различие проводится Фридрихом и Занкером (2011): объяснения «белого ящика» (объяснения «как») описывают, как алгоритмическая система получает конкретный результат на основе определенных входных данных, в то время как объяснения «черного ящика» (объяснения «почему») оправдывают определенные выходы. Эти категории были расширены объяснениями «что», которые раскрывают «существование алгоритмического принятия решений» (стр. 2), и объективными объяснениями, которые подчеркивают беспристрастность и улучшение алгоритма (Rader et al., 2018). Все эти объяснения основаны на свойствах системы для предоставления объяснений. Другими словами, они рассматривают тип алгоритмической модели системы, входные данные или выходные данные системы. Однако в этих объяснениях игнорируется понимание пользователем, то есть того, что пользователь знает об алгоритмической системе или ее внутренней работе. Таким образом, мы утверждаем, что не гарантируется, что пользователи правильно поймут объяснение и смогут понять его.
В исследованиях рекомендательных систем обсуждались цели объяснения с упором на ориентированные на пользователя показатели, например надежность, удовлетворенность пользователей, возможность проверки и прозрачность (Balog & Radlinski, 2020 ; Tintarev & Masthoff, 2007). Эти цели в определенной степени коррелируют (Balog & Radlinski, 2020). Хотя они необходимы, мы утверждаем, что эффективность объяснения также определяется тем, может ли пользователь понять данное объяснение. Поэтому важно изучить, расширяет ли это существующие знания пользователей о системе. На это невнимание ранее обращал внимание Миллер (2018). Объяснения являются не просто «представлением ассоциаций и причин» (стр. 7), а контекстуальными. Таким образом, он подчеркнул важность восприятия пользователем алгоритмических систем.
На данный момент существует несколько типов объяснений, основанных на информации пользователя, то есть объяснения учитывают знания пользователей и используют их в качестве основы для создания объяснения. Пользовательские объяснения могут быть независимыми от типа содержания или формы. Например, Чанг и др. (2016) объединили краудсорсинг и обработку естественного языка, чтобы создать основанные на толпе объяснения для рекомендаций фильмов.Эти объяснения были написаны и оценены пользователями и были восприняты как более полезные и заслуживающие доверия и повышающие удовлетворенность пользователей. В исследовании подчеркивается важность более информированных объяснений пользователей и их потенциальные преимущества для надежности или удовлетворенности.
Еще одно объяснение, основанное на информации пользователей, было разработано Cai et al. (2019) для приложения для рисования. Эти наглядные объяснения, основанные на примерах, были получены из реальных рисунков пользователей. Кай и др. (2019) исследовали нормативные объяснения на основе примеров (показ нормы из определенного рисунка) и сравнительные объяснения на основе примеров (показ рисунков, наиболее похожих на рисунки пользователей). Они обнаружили, что нормативное объяснение, основанное на примерах, положительно повлияло на понимание системы. Однако измерению понимания пользователем недоставало глубины, поскольку участников спрашивали, в какой степени они понимают систему по 1 пункту шкалы Лайкерта. Таким образом, мы утверждаем, что измерение не смогло полностью охватить понимание пользователя. Чтобы глубже изучить понимание пользователя, его можно выявить с помощью концептуализации, такой как ментальные модели (Norman, 1983) или народные теории (DeVito et al., 2018; Eslami et al., 2016; Gelman & Legare, 2011).
Понимание пользователями технологических и алгоритмических систем
Предыдущие исследования понимания пользователями того, как работает технологическая и алгоритмическая система, в основном применяли качественные подходы. В области когнитивной психологии и взаимодействия человека с компьютером ментальные модели можно определить как представления когнитивных знаний о технологических системах. Они охватывают субъективное понимание технологической системы и могут быть неполными и ошибочными. Они строятся посредством системного взаимодействия (Norman, 1983). Исследователи утверждают, что согласование ментальных моделей с соответствующей концептуальной моделью системы имеет решающее значение для ее понимания и применения (Asgharpour et al., 2007 ; Eiband et al., 2018 ; Norman, 1983).
Немногие исследования явно сравнивали ментальные модели экспертов и обычных пользователей. Эти исследования показали, что техническая подготовка и опыт играют роль в ментальных моделях. Например, Хмело-Сильвер и Пфеффер (2004) обнаружили, что специалисты по аквариумистике полагались на структурные элементы при разработке ментальных моделей. Они обнаружили, что непрофессиональные пользователи больше полагались на видимые особенности своей ментальной модели. В области безопасности и конфиденциальности Asgharpour et al. (2007) показали, что ментальные модели рисков безопасности экспертов и непрофессиональных пользователей различаются по своей природе. Таким образом, информирование о рисках должно учитывать ментальную модель непрофессионала и его соответствующее восприятие соответствующих рисков (Asgharpour et al., 2007 ; Jorgensen et al., 2015).
Несмотря на то, что опыт играет роль в характере ментальной модели, он напрямую не приводит к более безопасному поведению в Интернете, а скорее к лучшему пониманию возможных угроз и рисков (Kang et al., 2015). Рено и др. (2014) утверждают, что помимо непонимания технологической системы поведению также способствуют другие факторы, такие как непонимание последствий рисков и недостоверных источников информации, а также личный опыт.
Еще одно направление исследований понимания алгоритмических систем пользователями включает концептуализацию понимания пользователями непрофессионалами народных теорий, которые можно определить как интуитивные неформальные теории (DeVito et al., 2018 ; Gelman & Legare, 2011 ). Народные теории влекут за собой причинно-следственные связи и могут помочь пользователям объяснять, взаимодействовать и предсказывать мир. Более того, они неточны и могут отражать когнитивные искажения (Gelman & Legare, 2011). Хотя ментальные модели и народные теории совпадают в своих определениях, народные теории представляют собой более свободную концептуализацию руководящих убеждений и не придерживаются строго механистической структуры (DeVito et al., 2018).
Фольклорные теории исследовались в контексте алгоритмического курирования на сайтах конкретных социальных сетей (DeVito et al., 2017, 2018; Eslami et al., 2016). Для алгоритмического курирования на Facebook Eslami et al. (2016) определили 10 различных народных теорий, которые различаются по смыслу контроля пользователей над своей социальной лентой. Например, одни пользователи считали, что их фид определяется количеством взаимодействий («Теория личной вовлеченности»), другие считали, что в фиде предпочтение отдавалось визуальному контенту, например фотографиям и видео («Теория формата»).
Насколько нам известно, на сегодняшний день отсутствует сравнение между экспертным и непрофессиональным пониманием алгоритмического курирования. В этой работе мы сосредоточимся на исследовании, описании и характеристике группового пользовательского понимания, то есть на представлении пользователей о том, как работает алгоритмическая курация, и каковы их внутренние механизмы для определения онлайн-контента.Хотя предыдущие исследования также были сосредоточены на одной конкретной платформе, нам было любопытно, существуют ли общие темы систем алгоритмического курирования.
Местный комитет по этике одобрил исследование Университета Дуйсбург-Эссен. Участники согласились на записи сессий. Интервью были расшифрованы. Вся идентифицируемая информация была обезличена.
Участники
Всего в нашем исследовании приняли участие 24 участника из Германии (таблица 1). Размер нашей выборки для интервью был основан на нескольких соображениях, касающихся качества данных и характера нашей темы (понимание пользователей было зафиксировано с помощью словесных и визуальных выражений, интервью продолжительностью от 60 до 80 минут, включая задание на рисование) и масштабов нашего исследования ( Морзе , 2000). В аналогичных предыдущих исследованиях приняли участие от 20 до 30 участников. Кроме того, размер выборки был обусловлен ограниченным количеством экспертов. Что касается фокус-группы, мы сочли оптимальным размер группы из трех человек, поскольку мы отдали предпочтение тому, чтобы у экспертов было достаточно времени и возможность поразмышлять и обсудить свое понимание.
Семь участников идентифицировали себя как женщины и 17 – как мужчины. Возраст участников варьировался от 20 до 73 лет (M = 31,67, SD = 11,49). Тринадцать участников считались экспертами. Участники квалифицируются как эксперт, если они имеют высшее образование или профессиональную подготовку в области компьютерных наук или аналогичные степени и в настоящее время работают в области компьютерных наук. Кроме того, специалисты обладали навыками программирования. Следовательно, участники, не квалифицированные как эксперты, считались обычными пользователями. Мы набирали экспертов и непрофессиональных пользователей отдельно в два этапа соответственно. Все участники были набраны через платформы социальных сетей, электронную почту и личные контакты.
Процедура
Мы провели одну фокус-группу с экспертами в декабре 2019 г. и подробные полуструктурированные интервью с экспертами и непрофессионалами в начале весны 2020 года. Хотя нам удалось провести фокус-группу и первые 10 интервью с экспертами лицом к лицу, все остальные интервью проводились в режиме онлайн с помощью средств видеоконференцсвязи. Это было связано с ограничениями пандемии COVID-19, которые включали социальное дистанцирование и ограничение личных контактов.
Читайте также: