Вы когда-нибудь задумывались что мир, который вы видите, на самом деле по большей части продукт нейронных сетей вашего мозга с массой доработок, закрашивания, раскрашивания, удаления артефактов и всё это происходит на скорости порядка 24-60 кадров в секунду. Что по меркам даже кремневых монстров как Nvidia RTX4090 и Nvidia A100 довольно хороший результат. Давайте попробуем убрать все доработки нейронных сетей мозга и представить картину именно такой так как она изначально приходит из сетчатки в зрительный цетр. Совсем не похоже на то, к чему мы привыкли к тому, что мы воспринимаем в акте зрения.
А это то к чему мы привыкли, после всех процессов обработки и синтеза картинки. Разница бросается в глаза.
Человек: «Ну, мы ведь не так уж сильно отличаемся.»
ChatGPT4: «Совершенно верно! Мы оба являемся набором нейронных сетей вовлечённых в многослойной обработке данных, чтобы превращать исходные сигналы в значимые выводы. Ваши нейросети основаны на функции клеток, тогда как мои на операциях транзисторов.»
Мы всё видим вверх ногами
Первое, что бросается в глаза, — это то, что изображение перевёрнуто и отзеркалено. Это особенность оптической системы глаза, хрусталик фокусирует на сетчатку перевёрнутое изображение. Нейронные сети мозга отражают картинку по горизонтали и переворачивают в более привычную для нас ориентацию.
Оптическая система глаза формирующая перевёрнутое и отражённое изображение реальных объектов.
В середине XX века профессор Эдинбургского университета Теодор Ерисманн провёл интересный эксперимент, в котором его студент Иво Кохлер носил очки, которые с помощью зеркал корректировали изображение, проецируя на сетчатку «правильное» (не перевёрнутое) изображение. Однако для Кохлера оно воспринималось как перевёрнутое. Что интересно, после периода острой дезадаптации, когда студент с трудом выполнял повседневные задачи, уже через неделю постоянного ношения очков нейроны зрительного центра адаптировались к новым данным и переиндексировали позиции ганглиарных клеток. Для Иво мир снова стал «правильным». А вот когда он снимал очки, то теперь наоборот всё выглядело перевёрнутым без них. Тоже самое происходит если носить очки с призмами которые зеркально отражают видимое изображение, в пределах недели человек будет видеть нормальную, а не зеркальную картинку, читать текст, водить машину.
Вы легко можете проверить это на себе, и для этого не нужно неделю носить зеркальные очки, а потом привыкать видеть мир без них. Просто осторожно надавите на глазное яблоко пальцем снизу или сверху. Вы увидите тёмное пятно в вашем поле зрения с противоположной стороны от того места, где надавили. Вы механически стимулируете участок сетчатки через конъюнктиву и склеру и тёмное пятно появляется в месте, где этот участок индексирован в зрительном центре.
Слепое пятно (Зрительный нерв)
Зрительный нерв на фотографии глазного дна.
Большое чёрное пятно в правом поле зрения левого глаза и в левом поле зрения правого глаза — это место, где зрительный нерв с его 1,5 миллиона аксонов ганглионарных клеток сетчатки собирается в пучок и уходит в мозг для передачи данных. В этом месте глаз не воспринимает свет, и оно известно как «слепое пятно». Однако мы его не замечаем, потому что мозг активно дорисовывает недостающие данные, используя информацию либо от второго глаза, либо из окружающих областей, если доступен только один глаз.
Сложность нейронных сетей, ответственных за заполнение слепого пятна, относительно невелика — эта задача напоминает инструмент "ластик" в программе Photoshop. Вы можете увидеть эффект слепого пятна, закрыв один глаз и приблизив небольшой объект, палец или карандаш ко второму. Если открыт второй глаз, увидеть слепое пятно не получится так как нейросеть будет заполнять пробел данными из второго глаза. Но когда открыт только один глаз в какой-то момент кончик карандаша исчезнет. Интересно, что этот эффект невозможно наблюдать, если двигать карандаш быстро — у нейросети ответственной за заполнение слепого пятна есть динамический буфер, из которого она берёт данные, но он достаточно маленький меньше секунды. Так что, если карандаш будет находиться в зоне слепого пятна дольше секунды этот буфер истощится и у нейросети не будет информации о карандаше чтобы его дорисовать, она использует данные пейзажа окружающего слепое пятно и кончик карандаша исчезнет.
Как найти слепое пятно в поле зрения.
Чёткое и цветное изображение: реальность или иллюзия?
Вы, возможно, заметили, что большая часть поля зрения кажется чёрно-белой и довольно размытой, а только маленький участок в центре — чёткий и цветной. Это связано с тем, что человеческий глаз состоит из двух типов фоторецепторов: палочек (rods) и колбочек (cones). Колбочки, в свою очередь, подразделяются на три типа: красные, синие и зелёные, каждый из которых воспринимает определённые длины волн света, отвечая за цветовое восприятие. Основная часть колбочек сосредоточена в макуле — маленькой области сетчатки, которая находится в центре фокуса хрусталика. Именно поэтому мы чётко и в цвете видим лишь небольшую часть поля зрения.
Слои сетчатки на гистологическом срезе. Обратите внимание, что фоторецепторы слой палочек и колбочек расположен в самом низу и лежит на слое клеток пигментного эпителия. Куда логичным было бы расположение фотосенсоров на поверхности, чтобы остальная клеточная машинерия не поглощала свет, а клетки передающие электрические импольсы (ганглиарный слой) поместить вглубину, как мы реализовали это в цифровых фотокамерах где фотосенсоры на поверхности, а дорожки контактов в глубине на подложке чипа. Но в эволюционном процессе логика никогда не присуствовала.
Но как же мы воспринимаем всё изображение таким чётким и цветным, а главное целостным? Ответ заключается в непроизвольных движениях глаз, называемых саккадами. Глаз совершает саккады несколько раз в секунду, сканируя поле зрения и перемещая зону макулы, чтобы собрать цветовую информацию и данные о резкости изображения. Мозг затем синтезирует эти фрагменты в единое целостное чёткое и цветное изображение. Колбочки требуют в три раза больше фотонов для своей функции поэтому при низкой освещённости мы практически не воспринимаем цветовую информацию.
Есть достаточной простой оптический эффект который может показать работу буфера синтеза данных макулы. Если пристально смотреть в одну точку непроизволные саккады подавляются и буфер нейросети хранит данные о цвете даже если само изображение больше не является цветным стоит отвести взгляд буффер обновится и информация о цвете будет потеряна.
Пикабу Gif анимацию размещать не позволяет поэтому ознакомиться с этим эффектом можно здесь.
Сосуды сетчатки и циркулирующие в них клетки
Сосудистая система сетчатки, обратите внимание как сосуды тянутся к макуле, наиболее энергозатраной области сетчатки.
Тени, которые вы иногда видите в своем поле зрения и которые напоминают корни, — это сосуды сетчатки: артерии и вены. Эти сосуды, а также кровь, циркулирующая в них, поглощают часть света, доступного фоторецепторам, и создают систему теней. И да, разумеется, в мозгу существует нейросеть, которая убирает тени от сосудов и выравнивает яркость изображения, так что мы не замечаем их в обычной жизни.
Иногда тени от сосудов сетчатки можно увидеть, если смотреть на яркий источник света. Фоторецепторы, не перекрытые сосудами, получают больше фотонов и могут временно перегрузиться, в то время как те, что перекрыты сосудами, получают меньше света. На несколько секунд можно заметить инвертированное изображение сосудистой сети, которое будет выглядеть как негатив — белые сосуды на темном фоне. Это происходит потому, что нейросеть, которая обычно обрабатывает данные о тенях сосудов, может задержать обработку, пока фоторецепторы не восстановятся, вы сможете наблюдать изображение сосудов своей сетчатки.
Сосуды вашей сетчатки иногда можно увидеть если посветить через закрытые глаза ярким светодиодным фонариком. Фонарик нужно приблизить вплотную к глазу под углом 120-160 градусов.
С сосудами сетчатки связан ещё один интересный эффект: по ним постоянно циркулируют клетки, включая достаточно крупные, такие как макрофаги. Вы наверняка не раз замечали их в виде ярких точек, которые быстро перемещаются в вашем поле зрения по сложным траекториям. На самом деле эти траектории повторяют рисунок сосудов сетчатки. Чаще всего вы видите эти яркие точки, когда резко встаёте — внезапное снижение давления крови в мозге вызывает кратковременную гипоксию. В такие моменты нейросеть, ответственная за удаление этой информации, временно не справляется с анализом коррекцией картинки, и вы видите свои иммунные клетки, путешествующие по сосудам сетчатки.
Мушки
Мушки в поле зрения они могут быть светлыми или тёмными.
Совсем другой механиз формирования мушек перед глазами, вы обычно видите их когда смотрите на яркий светлый фон, например небо в ясный день или яркий экран. Это тени от микроскопических помутнений в стекловидном теле. Стекловидное тело это мягкий гель который заполняет глаз и прижимает сетчатку с клеткам пигментного эпителия и хориоидеи. Большое количество таких аномалий может указывать на заболевания глаз, но они присуствуют у каждого практически с детского возраста и их число увиличивается со временем. Мушки так же убираются из зрительного процесса нейросетьи, и при долгом взгляде на однотонный яркий объект, эта сеть перегружается.
Анализ изображения
Кроме нейросетей, отвечающих чисто за обработку изображения, в зрительном центре также происходит анализ данных: расчёт относительной скорости объектов, распознавание объектов (да, именно в такой последовательности) и эмоциональная интерпретация увиденного. Одна из самых больших и сложных нейросетей, участвующих в анализе визуальных данных, — это система распознавания лиц. Она настолько доминирует в зрительном процессе, что мы способны воспринимать даже смайлики :) и интерпретировать их эмоции :( . Как и любые нейросети, система распознавания лиц и эмоций иногда ошибается, и мы видим лица там, где их на самом деле нет этот эффект называется Параидолия. Это психологический феномен, при котором человек воспринимает знакомые образы или формы в случайных данных, таких как облака, текстуры или узоры. Компьютерные системы сталкиваются с аналогичными проблемами, но в значительной степени они решаются путём увеличения объёма данных для обучения.
https://www.sci.news/othersciences/psychology/pareidolia-male-faces-10507.html
Это тема отдельной статьи но к данным зрительной коры имеет доступ как сознательная часть мозга фронтальных долей так и безсознательная основанная на рефлекторном поведении. В некоторых случаях при травмах головы и кровоизляних в мозг возникает очень интересное явление известная как Слепой взгляд или Лоджная слепота. При это человек осознанно зрением не обладает, не может например читать или называть предмет который ему показывают. Но в то же время, такие люди прекрасно ориентируюстя, могут уворачиваться от брошенных в них предметах и водить машину, (по крайней мере в симуляторе) если умели это делать до травмы. Рефлекторное зрение у них не нарушено, в то же время фронтальная доля мозга отвечающая за осознанные действия визуальные данные не получает.
Болезни сетчатки
Кровоизляние в макулярный регион при возрастной дегенерации сетчатки.
Болезни глаз коварны как раз тем, что во многих случаях человек не испытывает никакого дискомфорта или аномалий зрения. Нейросети компенсируют всё более ухудшающуюся картинку, пока количество шума и недостаток входящих данных больше не может привести к синтезу изображения. Даже потеряв свыше 50% ганглиарных клеток или фоторецеторов, люди с дегенерацией сетчатки практически не испытывают какого-либо дискомфорта максимум отмечая ухудшение зрения в темноте. А вот повреждения макулы в результате кровоизлияния или травмы всегда критичны, как именно макула через саккады формируют основной массив данных для синтеза картинки.
Результат кровоизлияния в макулярный регион, потеря основного массива данных от макуляных фоторецепторов коллапс значительной части нейронных сетей формирующих изображение.
Поэтому очень важно регулярно обследовать своё глазное дно у окулиста и обращать внимания не любые аномалии вашего зрения. Особенно если у вас есть заболевания которые могут вести к повреждению сетчатки, такие как сахарный диабет или высокое артериальное давление.
Ещё я надеюсь эта статья заставила вас задуматься о том кто Вы на самом деле? Человек с собвенным я, внутренним миром мечтами и желаниями или набор довольно независимых нейросетей реагирующих на операции ввода и вывода данных и котором нравиться поддерживать иллюзию целостной личности?
🤔🤔🤔
Школьник просит нейронку сделать расклад таро, формируя запрос из проблемы клиентки. Юный предприниматель наделал фейковых аккаунтов с такими же фейковыми отзывами во многих соцсетях, благодаря чему заработал 22000 рублей с минимальными усилиями.
Я просто добавлю три скриншота:
Отличный бот 10/10. Всем рекомендую!
Привет. Меня зовут Алена Андронова, я актриса озвучивания и дубляжа. Однажды я согласилась на заказ озвучки большого массива текста для внутренних нужд банка Тинь кофф, а в итоге - я услышала себя в порно и лишилась части работы. Я подала иск в суд и хочу поделиться с вами этой историей, а также расскажу вам о том, что сейчас происходит с актерами озвучивания из-за развития нейросетей, как у нас в прямом смысле слова воруют голоса и обманывают нас в договорах. И это проблема не только нашей индустрии - сейчас легко подделать любую личность, украсть голос, подставить кого угодно – и расскажу, что мы предлагаем для того, чтобы защитить себя.
Длиннопост, для любителей слушать – есть видео, текст в основном его дублирует
Итак, всё началось для меня аж в 2019 году. В профессиональном сообществе я увидела объявление, что ищется женский голос на большой объем работы.
При обсуждении таких заказов обычно сразу назначают стоимость за объем. Задачу толком не объяснили, но такое часто бывало, особенно из-за НДА. Я отправила демо, потом прошла большой кастинг. И только после согласования я узнала, что это за компания, для которой планируется заказ, и мне прислали договор на утверждение. На первый взгляд всё было как обычно, стандартные формулировки об исполнении и обязательстве записать объем текстов. Однако уже только на самой записи выяснилось, что это объем текстов для создания нейросети.
На первой записи присутствовали представители банка, и когда я начала их расспрашивать, мне было сказано, что мой голос записывается только и исключительно для внутренних задач банка, он поможет обучить Олега и заменит собой колл-центр, на этом всё. Я тогда расстроилась, что не знала всей информации о задаче и не могла адекватно оценить проект, но раз уж договоренность была достигнута, а студия арендована, решила поверить на слово и сделать честно свою работу.
С тех пор прошло несколько лет, и год назад мой друг задал мне вопрос, озвучивала ли я порно-рекламу. Я ответила - нет, наверняка ты перепутал. Но он продолжал утверждать, что это был мой голос. Вскоре и другие знакомые и коллеги стали об этом говорить и присылать мне записи экранов, на которых при включении видео запускается откровенная порно-реклама, без какой-либо цензуры, которая озвучена синтезом моего голоса.
18+ контент, прям очень 18+ контент https://disk.yandex.ru/i/DiiinHWOcHISZg (запись с экрана тогонескажукого)
Я стала гуглить и обнаружила, что мой голос открыто доступен для любого синтеза на сайте банка и продается на многих сторонних площадках. Я начала искать юриста, а также пытаться связаться с юристами банка Т. Однако в моем договоре не было никаких контактов для связи, на отправленные письма - физические, электронные, - юристы не отвечали, а сотрудники банка, к которым я обращалась за помощью и контактами юридического отдела, отказывались мне их давать. А все это время мой голос продолжали синтезировать, им озвучивались эротические чаты, подписки и донаты на трансляциях, коммерческая реклама. Даже студии, с которыми я ранее работала как актриса, стали продавать мой синтез на телеканалы и стриминговые сервисы (как пример, документальный фильм «Космос: Новые горизонты»).
Почему я не смогла себя обезопасить? Напоминаю, это был 2019й год. Никакой пандемии, только-только внедряются первые голосовые помощники, Алиса и Олег, никто нигде не может синтезировать их голоса и о массовом синтезе вообще речи пока не идёт. К тому же, сотрудниками мне было обещано, что мой голос останется только для внутренних задач банка и я надеялась на честность со стороны такой крупной корпорации. Зря
А что же договор? В нем нет ни слова “синтез”, ни упоминания нейросетей, ни каких-либо подробностей об использовании записей. Это стандартный договор о том, что я создаю исполнение, передаю его и разрешаю его обработку. В то время это был обычный типовой договор, мы подписываем такие несколько раз в месяц. Согласование всегда было на совести студий и посредников. Конечно же, я внимательно читала договор, но в данном случае согласование шло фактически “вслепую”, так как о главном – о том, что мы пишем синтез, - в нем ни слова нет.
В дальнейшем ко мне обращались за дозаписью материала, и когда я спрашивала, для чего и куда он пойдет, мне не отвечали и переставали выходить на связь. Я сама делала запрос с просьбой банку подтвердить мне означенное соглашение ещё до публикации синтезов и осталась без ответа.
И я не одна пострадала в этой ситуации. Через год мой коллега, Павел Дорофеев, записывал для банка также и мужской голос, он уже знал от меня чуть больше о работе, задавал те же вопросы, что и я, уточнял, не пойдет ли данный материал куда-либо ещё.
Павлу было сказано, что синтез совершенно точно нужен для внутренних задач банка, а пункт о передаче голоса третьим лицам нужен лишь для того, чтобы передать материал для технического синтеза их дочерней компании.
В итоге голосом Павла сейчас озвучиваются различные видео в интернете, в том числе и ролики, направленные на осуждение действий российских войск и специальной военной операции. Мы совершенно не можем ни контролировать, ни отвечать за то, в чем участвует наш голос. Мы не можем отвечать за то, в чем люди нас услышат. А многие не способны уже отличить, где говорит синтез, а где - живой человек. А ещё плохая работа синтезов подрывает также и наш авторитет как хороших дикторов и актеров.
Почти год я потратила на попытки связаться с банком через всех, кого могла, в итоге получила ответ, что я не имею права ни на какие претензии, однако банк признает свою вину и готов выплатить мне совершенно смешную компенсацию, примерно в стоимость месяца-двух моей работы, при условии, что я полностью откажусь от всех своих претензий. Этот вариант меня не устраивает. Поэтому я подала иск и буду судиться с банком Тинькофф. Однако за этот год я узнала о синтезах и их развитии очень многое, а также о том, что сейчас происходит в связи с этим в законодательстве в России и в мире.
Я нашла в открытом доступе много голосов своих коллег, кто-то из них действительно записывал синтезы, однако почти во всех случаях условия изначально обговаривались другие или речь о синтезах не шла. Почти все проекты были записаны давно, до массового распространения нейросетей. Я общалась с разными юристами в поисках того, кто возьмется за моё дело, и узнала, что почти все известные вам голоса, записывавшие для кого-то синтез или голосовых помощников, были так или иначе обмануты и прибегали к услугам юристов. Я видела чужие договоры с другими компаниями, в которых, как и в моем, нет никаких упоминаний о синтезе и нейросетях. Я находила и голоса, которые не записывали синтезы, однако все равно появились в открытом доступе, а это означает, что кто-то, возможно, кто-то из студий, с которыми мы работаем, использовали нашу с ними работу для создания таких нейросетей. В основном эти голоса залиты на сайты, зарегистрированные на уже недействующие ИП, вроде такого и похожих аналогов.
Апогеем же всего этого являются различные телеграм-боты, вроде Silero или SteosVoice, которые вскрыли файлы из известных компьютерных игр, в том числе таких компаний, как Blizzard, CD Project Red, Riot Games и других, и синтезировали голоса актеров без их ведома и без разрешения правообладателей, и ещё и продают эти голоса. Но при этом говорят, что якобы на использование голосов получили разрешение.
Многие слышали о художниках, о том, что нейросети обучали на их работах без их ведома. Но если мы говорим о голосах - голос синтезируется не из какой-то общей массы, используется голос одного конкретного человека: его собственный тембр, его манера, его интонации, дикция. Это очень личное, это одна из вещей, в принципе составляющих часть личности человека.
Прямо сейчас список людей, которых несанкционированно синтезировали, огромный, входят в него и известные мэтры, и молодые актеры - есть там и Всеволод Кузнецов, и Ольга Плетнева, Михаил Тихонов, Татьяна Шитова, Ольга Зубкова, Юлия Горохова и многие другие. Совсем недавно вышел трейлер дополнения к игре киберпанк, озвученный полностью синтезами голосов из игры.
Удивительно то, что авторы этих ботов не только не постеснялись своровать голоса, но и стали писать актерам с предложением сделать синтез для их проекта под эгидой “защиты голосов от воровства”.
Не видите в этом никакого противоречия? Я напрямую задала вопрос создателям этих ботов, как так получилось, и вот что мне ответили.
Такую же риторику я слышала и от менеджеров банка Тин ькофф, когда говорила с ними, и от других людей, никак не заинтересованных. Правда ли это? Вот что говорит юрист Тамара Богданова, которая занимается вопросами права и сейчас много работает с темой синтезов речи:
Голос - это нематериальное благо, он принадлежит каждому человеку с рождения. Он является частью его личной биометрии, как отпечаток пальца или рисунок глаза. Банки в том числе используют распознавание по голосу в своей системе для подтверждения личности. Многие голоса мы легко идентифицируем. И когда актер или диктор подписывает договор о создании Исполнения, само собой разумеется, что он готов создавать результат, но заказчики считают, что имеют право создать синтез из личного слепка голоса и использовать его, как им вздумается, совершенно невзирая на урон, который они наносят человеку. Хотя в соответствии с подпунктом 4 пункта 1 статьи 1315 Гражданского кодекса Российской Федерации исполнителю принадлежит право на неприкосновенность исполнения, в том числе постановки, - право на защиту исполнения от всякого искажения, то есть от внесения изменений, приводящих к извращению смысла или к нарушению целостности восприятия исполнения, в его запись, в сообщение в эфир или по кабелю, при доведении исполнения до всеобщего сведения, а также при публичном исполнении постановки спектакля.
(Цитата не из видео, а из наших материалов, в видео Тамара рассказывает куда подробнее)
В итоге разные заказчики, студии или же вообще сторонние люди пытаются сослаться на то, что якобы раз актер дал право на переработку своего голоса, то с ним можно делать что угодно. Однако переработка всегда означала звукорежиссерскую обработку: чистку звука, наложение музыки и прочие действия, но никак не создание общедоступного клона своего голоса. А сейчас выходит, что, злоупотребляя своим правом, любая студия или заказчик могут стряхнуть пыль с договора 10-15-20летней давности на любую аудиокнигу или другой проект и создать из актера нейросеть. И это уже происходит! Есть история одного диктора, записавшего большой объем материалов для кафедры фонетики аж в начале 2000-х годов! И прямо сейчас он оказался синтезирован, естественно, без своего ведома.
Да и, как я говорила ранее, абсолютно любой человек может оказаться беззащитен. Создатели синтезов говорят о том, что сейчас технологии уже так продвинулись, что им нужен всего лишь небольшой слепок голоса человека, чтобы создать его копию. Буквально запись на пару минут.
В открытом доступе уже существуют сайты, обещающие сделать синтез по небольшому отрывку аудио. Представьте, что смогут делать мошенники, имея возможность в реальном времени имитировать вашу речь! Да и даже использовать уже доступные голоса - мой голос является голосом колл-центра банка, кто угодно сейчас может его синтезировать и позвонить вам от имени банка. Голос Всеволода Кузнецова является голосом Альфа-банка - а его голос для синтеза своровали из файлов видеоигр. Сейчас мы говорим не о роботизированном голосе, который можно определить - современные технологии записывают голос поверх речи, повторяя интонации и даже мелодию! Так, например, синтезируются песни из голосов разных исполнителей, например, в сети уже много записей с голосом Горшка из КиШа. Всего год-два, и синтезированный голос нельзя будет отличить от настоящего. И говоря о Горшке - как быть с вопросами этики? Уже создаются синтезы из голосов мертвых артистов и певцов - из наших коллег это, например, Владимир Вихров или Андрей Ярославцев. Насколько этично использовать их голоса по отношению, например, к их родственникам? Я считаю, что они должны как минимум давать свое согласие, а, в идеале, родственники должны получать отчисления, как это происходит с авторским правом.
И всё, о чем я говорю, происходит не только в России! Точно также воруются голоса из зарубежных игр - например, совсем недавно вышел эротический мод на Скайрим, озвученный синтезированными голосами из игры, это взволновало актеров. Дикторы, работавшие с Apple и их дочерними компаниями, были не в курсе, что их голоса используются для обучения ИИ. Прямо сейчас в Голливуде проходит забастовка актеров в том числе связанная с нейросетями - кинокомпании оживляют с помощью дипфейков мертвых актеров, а многие пытались прописать в контрактах сканирование актера с разовой оплатой и последующим вечным его использованием. Разве справедливо такое отношение к работникам от гигантов, воротящих миллионами? Тем не менее у нас же нет таких гильдий, и то, о чем я говорю, также касается единственного, что сейчас на нашей стороне - справедливости и честности.
Что же нам делать, как мы все - любой из нас, - можем защитить себя от нейросетевой подделки? И как актерам защититься от копирования их голоса и внешности? Современное законодательство не готово к такому развитию нейросетей, и мы с моим юристом, а также совместно с Союзом дикторов России, предлагаем внести ряд законодательных изменений. Мы создали петицию, в которой перечислены все предлагаемые мной правки, если вы будете с ними согласны - пожалуйста, перейдите по ссылке в описании и помогите нам собрать голоса!
ПЕТИЦИЯ О ЗАЩИТЕ ГОЛОСОВ ОТ МОШЕННИЧЕСТВА И СИНТЕЗА находится на сайте, ссылку на который Пикабу блокирует, но она есть в описании к видео
Нам очень поможет любая помощь – голоса, просмотры, комментарии, лайки. Если вы согласны, пожалуйста, помогите нам донести наши предложения до органов власти. Нам нужна помощь любых СМИ и блогеров, чтобы не оставлять все происходящее безнаказанным. Любой из вас, кто когда-либо записывал любое видео в интернете или отправлял голосовые сообщения, может оказаться в ситуации, когда его голос и внешность будет подделаны мошенниками.
Всех дикторов я прошу внимательно проверять договоры, писать в случае наличия вопросов юристам и ни в коем случае не подписывать договоры на отчуждение своего голоса, особенно если работа ведется над большим объемом текста, а все обещания по его использованию даются только на словах.
Сейчас страшно выкладывать любой обширный материал в интернет, особенно учитывая специфику нашей работы. Сейчас у нас совершенно нет никакой защиты, и даже громкое имя, как в моем случае с банком Т инькофф, не является никакой гарантией.
Я очень надеюсь, что нам вместе удастся добиться справедливости. Напоследок я хочу подчеркнуть, что я ни в коем случае не призываю запретить нейросети, однако хотелось бы защитить всех - актеров, блогеров, политиков, журналистов, художников, простых людей - от воровства, обмана и мошенничества. Хотелось бы создать возможность бороться за себя в этом новом мире. И хотелось бы, чтобы большие корпорации относились к своим наемным работникам с уважением, не уничтожая их репутацию и годы работы одним заказом, как это произошло со мной и многими другими.
Балуясь с нейросетями, я тут обнаружил занятный эффект. Проще будет объяснить его суть, пошагово рассказав о том, что было сделано.
Для начала я попросил у сетки Kandinsky 2.2 нарисовать красивую девушку, смотрящую в окно в неоновых огнях.
Потом сделал вариацию этой картинки (там есть такая опция).
Потом смешал эти две картинки.
Затем получившийся результат скрестил с первой вариацией и получил ещё один вариант.
И далее каждый следующий я смешивал с предыдущим.
Результат прикольный. Деградация информации вплоть до полного исчезновения.
Я пробовал несколько раз с разными запросами, результат всегда один - вот такая или похожая сетка.
Помните про Пользователь создал скрипт который позволяет создавать DeepFake в один клик. Качество как по мне отличное и превосходит предыдущие решения ? Так вот, это альтернативная версия данного проекта, нацеленная на замену лица в режиме реального времени в видео с вебкамеры.
Код проекта можно найти на Github
По умолчанию программа работает на видеокартах Nvidia (я сделал запуск и на видеокартах AMD, об этом ниже)
В целом процедура запуска проста:
Выбираем лицо на которое будем менять
Нажимаем Live
Получаем вывод видео
В свою очередь, я решил сделать собственную сборку данного проекта:
Перевел интерфейс на русский язык
Внес ряд изменений в код нацеленных на повышение производительности
Чуть снизил разрешение видеопотока для того, снизив нагрузку со слабых машин
Сделал быстрый запуск для видеокарт Nvidia и AMD
В итоге получилось 2 версии: Обычная, но с чуть упрощенной процедурой установки и запуска и портативная, в которой ничего не нужно устанавливать и все идет из коробки (так называемый запуск в 1 клик).
Скачать обычную версию можно на Github
Портативную версию можно скачать:
Яндекс
С моего облака
Для запуска портативной версии вам надо будет распаковать архив и запустить файл start_portable_названиевашейкарты.bat
Дополнение: на самом деле, start_portable_amd.bat работает на всех видеокартах, поддерживающих DirectX 12. Поэтому если у вас видеокарта от Intel или же старая видеокарта Nvidia - можете попробовать запустить roop-cam в этом режиме.
Как добавить видео в OBS:
Для этого нам необходимо выбрать Захват окна. Выбираем Добавить источник > Захват окна и тут выбираем наше окошко с видео, подписанное как [python.exe]: Preview
Информация по будущим обновлениям будет выходить в моем Telegram канале. Там же, кстати, выходят и мои сборки обычного roop и refacer.
Полезнейший сервис для конца рабочей недели: поможет не сорваться на начальника или заказчика.
В одно окно пишете всё, что думаете, из второго копируете вежливый текст.
Если вам интересен творческий подход к использованию нейросетей, буду рад видеть вас в своём телеграм канале https://t.me/neuro_machine
Если подборка показалась вам интересной – буду благодарен за подписку на мой ТГ-канал Данайские нейросети, где я делаю картинки и подробно рассказываю о всех тонкостях процесса
Когда увидел на Реддите - сперва подумал, что это просто картинки по мотивам QR-кодов, этакие стилизации, но в комментариях я узнал, что все они работают. Я, конечно, всё равно не поверил, достал телефон и... Таки да! Благодаря высокой надежности QR-кодов и избыточному резервированию, они выдерживают такое издевательство. На некоторые, правда, приходится целиться подольше. Возможно, в будущем это станет нормой.
