У дипфейков теперь реалистичное сердцебиение, что усложняет их разоблачение

0 0

Представьте себе мир, в котором дипфейки стали настолько качественными, что ни один механизм распознавания не может выявить в них самозванцев. Это стало бы золотой жилой для преступников и враждебно настроенных государственных деятелей: например, они могли бы использовать дипфейки, чтобы очернить конкурирующих политических кандидатов или подставить неудобных защитников прав человека. Этот кошмарный сценарий пока не стал реальностью, но в течение многих лет методы создания дипфейков находились в "технологической гонке вооружений" с алгоритмами распознавания. И теперь учёные показали, что дипфейки получили значительное преимущество: отсутствие пульса больше не выдаёт их.

Здесь мы впервые показываем, что недавние высококачественные видео с дипфейками могут содержать реалистичные сердцебиения и едва заметные изменения цвета лица, что значительно усложняет их обнаружение.

доктор Питер Айзерт, профессор Берлинского университета имени Гумбольдта и автор нового исследования, опубликованного в Frontiers in Imaging

Создатели дипфейков используют глубокое обучение для манипуляций с видео- и аудиофайлами. Они изменяют мимику и жесты, например, заменяя их у разных людей. Их цель не обязательно злая: например, приложения, которые могут превратить вас в кошку или омолодить вас в цифровом формате, очень популярны и безобидны.

Анализ прохождения света через кожу и расположенные под ней кровеносные сосуды уже давно незаменим в медицине, например, в пульсоксиметрах. Его цифровой аналог, так называемая дистанционная фотоплетизмография (rPPP), — это новый метод в сфере телемедицины, который использует веб-камеры для оценки жизненно важных показателей. Но теоретически rPPP можно использовать и в детекторах дипфейков. В последние годы такие экспериментальные детекторы дипфейков на основе rPPP хорошо справляются с распознаванием реальных видео и дипфейков. Эти успехи привели к тому, что некоторые эксперты пришли к выводу, что современные дипфейки пока не могут имитировать реалистичную частоту сердечных сокращений. Но теперь, похоже, эта самоуспокоенная точка зрения устарела.

Притворяйся, пока у тебя это не получится

Эйзерт и его коллеги первыми создали современный детектор дипфейков, который автоматически извлекает и анализирует частоту пульса на видео. Он использует новые методы для компенсации движения и удаления шума и работает всего с 10-секундным видео с лицом одного человека. Авторы также создали собственный набор данных из видеозаписей вождения, которые использовались для создания дипфейков с разными личностями, чьи лица были запечатлены на видео. Во время съёмок ЭКГ отслеживала сердцебиение главных героев, что позволило исследователям подтвердить высокую точность измерений rPPP, проведённых с помощью их нового детектора.

Разница между оценками и реальной частотой пульса составляла всего два-три удара в минуту. Для полноты картины авторы также протестировали свой детектор на двух старых, широко используемых коллекциях видео с реальными людьми. И здесь они смогли извлечь сигналы сердцебиения из всех подлинных видео. Но что произойдёт, если они будут использовать тот же детектор для анализа известных дипфейков? Чтобы проверить это, Айзерт и его коллеги использовали современные методы дипфейков, чтобы подменить лица на настоящих видео из своей коллекции. К их удивлению, их детектор распознал пульс и на дипфейках, хотя они не добавляли его намеренно. Этот несуществующий пульс обычно выглядел очень реалистично.

Наши результаты показывают, что реалистичное сердцебиение может быть добавлено злоумышленником намеренно, но также может быть "унаследовано" непреднамеренно из оригинального видео. Небольшие изменения в оттенке кожи реального человека передаются в дипфейк вместе с движениями лица, так что исходный пульс воспроизводится в поддельном видео.

доктор Питер Айзерт, профессор Берлинского университета имени Гумбольдта

К счастью, есть основания для оптимизма, заключили авторы. Детекторы дипфейков могут снова начать распознавать их, если будут ориентироваться на локальный кровоток в области лица, а не на общую частоту пульса. научные эксперименты показали, что современные дипфейки могут демонстрировать реалистичное сердцебиение, но не демонстрируют физиологически реалистичные изменения кровотока в пространстве и во времени на лице Ученые предполагают, что эту уязвимость современных дипфейков следует использовать в детекторах дипфейков следующего поколения.

Учёные выяснили, как летучие мыши учатся определять, какую добычу можно есть без вреда для здоровья.