Программу научили искать юмор на картинках

Пример коллажа, который алгоритм классифицировал как «смешной»

Изображение: Arjun Chandrasekaran et al./ arXiv.org

Исследовательский коллектив из Virginia Tech, TTI-Chicago и Microsoft Research создал алгоритм, который классифицирует набор картинок на смешные и несмешные. Кроме того, программа способна перерисовывать картинки, чтобы из несмешной получилась смешная или наоборот. Описание исследования выложено в виде препринта на arXiv.org.

Авторы сделали подборку из нескольких сотен клипарт картинок людей, животных и бытовых предметов, а затем предложили добровольцам составить из этого набора простые коллажи. При этом в половине случаев участников просили, чтобы коллаж был смешным. Другим добровольцам после этого предлагали оценить все получившиеся коллажи от 1 (картинка совсем не смешная) до 5 (картинка очень смешная).

Поскольку коллажи состояли из одного и того же набора элементов, для них легко было составлять текстовое описание. Его использовали для обучения простой нейронной сети, чтобы классифицировать картинки на смешные и несмешные. Оказалось, что в группу смешных картинок чаще всего попадали изображения, на которых один или несколько объектов были в необычном для них контексте. Например, на одном из коллажей животные обедали, сидя за столом, а человек сидел в собачьей корзинке.

Примеры замен, в результате которых картинка из смешной становилась несмешной.

Изображение: Arjun Chandrasekaran et al./ arXiv.org

Поделиться

 

 
 
 

Чтобы удостовериться, что именно контекст чаще всего отвечает за юмор, программу также обучали, как из смешной картинки сделать несмешную, или наоборот. Для этого алгоритм выбирал несколько фрагментов коллажа, больше всего выбивавшихся из общей сцены, и менял их на более подходящие элементы. Получившиеся после замены коллажи показывали добровольцам и просили их определить, кто составлял этот коллаж: человек или компьютер. В 28 процентах случаев участники считали, что автором был человек, хотя на самом деле коллаж составляла программа. Авторы отмечают, что наилучшим результатом в данном случае считалось бы 50 процентов: это означало бы, что коллажи неразличимы.

По мнению ученых, в их работе впервые делается попытка автоматического анализа смешных изображений. В будущем подобные исследования могут найти применение, например, для контекстной рекламы или для программирования автоматических камер, делающих снимок, только когда в кадре происходит что-то смешное. Ранее уже проводилось множество исследований по анализу юмора, но в основном в текстовых источниках. В одном из них авторы дажепопытались измерить юмор, для чего предложили использовать информационную энтропию Шеннона.

Тарас Молотилин