Великая иллюзия работает и для ИИ
2023.12.17
Заметка на отвлеченную тему - интересно как современные технологии оживляют старые трюки например такой феномен как "Великая иллюзия".
Коротко это игры вокруг того, что в целях оптимизации вычислительных затрат наш мозг на самом деле "достраивает" картинку вместо ее фактической обработки, что позволяет например создавать эффект невидимки или фокусникам крутить свои фокусы.
Подробно кому интересно можно отсюда начать (
https://theses.hal.science/tel-01633515/file/2017PA066131.pdf
на русском посмотреть презентации в докладах - https://cogres.hse.ru/grand_illusion_2011
Туда же относятся приколы - что при концентрации внимания на одной части изменяется картинка в целом и прч ( хотя по факту то она одна и таже )
Так вот ржака - но оказывается "нейросети" обрабатывающие изображения также попадаются на эту ботву.
https://www.sciencedirect.com/science/article/pii/S0042698920301243?via%3Dihub
Мечтают ли нейронные сети о зрительных иллюзиях?
Этот вопрос изучают исследователи Департамента информационных и коммуникационных технологий под руководством Марсело Бертальмио совместно с Хесусом Мало, исследователем из Университета Валенсии.
Сверточная нейронная сеть — это тип искусственной нейронной сети, в которой нейроны организованы в рецептивные поля аналогично нейронам в зрительной коре биологического мозга. Сегодня сверточные нейронные сети (CNN) встречаются во множестве автономных систем (например, в системах обнаружения и распознавания лиц, в автономных транспортных средствах и т. д.). Этот тип сети очень эффективен во многих задачах искусственного зрения, таких как сегментация и классификация изображений, а также во многих других приложениях.
Сверточные сети были вдохновлены поведением зрительной системы человека, в частности ее базовой структурой, образованной конкатенацией составных модулей, включающих линейную операцию, за которой следует нелинейная операция. Исследование, опубликованное в расширенном онлайн-издании журнала Vision Research, изучает феномен зрительных иллюзий в сверточных сетях по сравнению с их влиянием на человеческое зрение. Исследование Александра Гомеса Вила, Адриана Мартина, Хавьера Васкеса-Коррала и Марсело Бертальмио, сотрудников Департамента информационных и коммуникационных технологий (DTIC), при участии исследователя Хесуса Мало из Университета Валенсии.
«Из-за этой связи CNN с нашей зрительной системой в этой статье мы хотели посмотреть, страдают ли сверточные сети от тех же проблем, что и наша зрительная система. Поэтому мы сосредоточились на зрительных иллюзиях. Визуальные иллюзии — это изображения, которые наш мозг воспринимает иначе, чем они есть на самом деле», — объясняет Гомес Вила, первый автор исследования.
В своем исследовании авторы обучили CNN простым задачам, которые также выполняет человеческое зрение, таким как шумоподавление и устранение размытия. Они заметили, что эти CNN, обученные в этих экспериментальных условиях, также «обманываются» зрительными иллюзиями яркости и цвета точно так же, как зрительные иллюзии обманывают людей.
Более того, как объясняет Гомес Вилья: «В нашей работе мы также анализируем, когда такие иллюзии вызывают в сети реакции, которые не соответствуют физическим ожиданиям, но и не соответствуют человеческому восприятию», то есть случаи, в которых CNN получают оптическая иллюзия, отличная от иллюзии, которую воспринимают люди.
Результаты этого исследования согласуются с давней гипотезой, которая рассматривает зрительные иллюзии низкого уровня как побочный продукт оптимизации естественной среды, с которой люди сталкиваются в своей повседневной жизни. Между тем, эти результаты подчеркивают ограничения и различия между зрительная система человека и искусственные нейронные сети CNN.
В некоторых Российских вузах с этой темой тоже играют, но не сильно ибо затратная история достаточно, требующая _массовых_ экспериментов с человечками.
Хотя проблематика по мере перехода на массовое использование нейронных сетей становится все острее, причем в куче отраслей (последние поколения дронов так наводятся...)
По аналогии со зрением есть такие же когнитивные приколы и речь не только про банальную лишнюю словесную требуху в потоке...