Академик Олег Фиговский

Один из пионеров израильской индустрии высоких технологий Шломо Крамер выразил тревогу из-за стремительного развития искусственного интеллекта, который, по его мнению, может привести к распаду современного общества и краху либеральных ценностей. По его мнению, ИИ разрушит способность отличать правду от лжи. В беседе с изданием Calcalist Крамер напомнил, что, создавая вместе с Гилем Шведом компанию Check Point, он верил в объединяющую силу интернета и свободу, которую должна была принести цифровая эпоха. Однако со временем, признался он, стало очевидно, что создатели технологий недооценили человеческую природу. Интернет, задуманный как инструмент демократии, превратился, по его словам, в средство массового контроля, насилия и пропаганды.

Крамер отметил, что человек, обладая мощным инструментом, часто использует его не во благо, а во вред, и назвал это неизменной чертой человеческого вида. Он подчеркнул, что с годами стал сожалеть о том, что их работа в области кибербезопасности способствовала процессам, подорвавшим веру в демократию и либерализм. Check Point, созданная более тридцати лет назад Крамером, Шведом и Мариусом Нахтом, фактически заложила основы современной кибербезопасности, разработав технологию Firewall. Компания принесла своим создателям миллиарды и стала символом израильского технологического успеха. Сам Крамер покинул её около двух десятилетий назад, основав затем Imperva и Cato Networks. Приближаясь к шестидесятилетнему рубежу, он признался, что всё чаще размышляет о будущем технологий, Израиля и мира. Управляя Cato Networks, где занято около 1500 сотрудников, Крамер недавно провёл крупную сделку по покупке стартапа в сфере искусственного интеллекта Aim Security за 350 миллионов долларов. Тем не менее, по его словам, чем больше он наблюдает за реальностью, тем меньше поводов для оптимизма видит.

Он считает, что человечество находится на грани катастрофы, спровоцированной искусственным интеллектом. По его мнению, именно ИИ представляет сегодня главную угрозу существованию либерального общества. Крамер утверждает, что технологии лишают людей способности различать правду и ложь, разрушают последовательность восприятия и подменяют реальность симуляцией. Он объяснил, что раньше люди искали смысл через религию или научный рационализм, но с появлением социальных сетей и нейросетей границы истины исчезли. В результате, по словам предпринимателя, человечество движется вспять — от эпохи разума к эпохе иллюзий. Особое беспокойство Крамера вызывает то, что демократические государства могут не выдержать давления, тогда как авторитарные режимы, такие как Китай и Россия, получат преимущество. Он убеждён, что страны с открытыми обществами рискуют разрушиться изнутри, а те, где существует единый государственный нарратив, будут укрепляться. По его словам, крупные технологические корпорации вроде Meta и X действуют безответственно, ставя прибыль выше моральной ответственности, а сочетание ИИ и социальных сетей лишь ускоряет разрушительные процессы.

Крамер считает, что остановить этот путь могут только государства. Он предлагает радикальные меры: ужесточить регулирование социальных сетей, требовать обязательного указания источников публикаций, удалять ботов и пользователей, неоднократно замеченных во лжи. Однако сам он сомневается, что процесс саморазрушения можно обратить вспять. Предприниматель также подчеркнул, что не технологии виноваты, а человеческая природа. Прогресс, по его словам, невозможно остановить, но нужно создавать правовые и этические барьеры, чтобы сдерживать разрушительные последствия. Он сравнил ситуацию с изобретением железных дорог и удобрений — достижениями, которые впоследствии способствовали войнам и созданию оружия массового поражения.

Ведущие модели искусственного интеллекта из США и Китая «проявляют подхалимаж в высшей степени», и их чрезмерная лесть может снизить вероятность того, что пользователи будут устранять межличностные конфликты, пишет газета South China Morning Post. Об этом свидетельствует исследование Стэнфордского университета и Университета Карнеги-Меллона, в ходе которого проверялось, как 11 крупных языковых моделей (LLM) реагировали на запросы пользователей, обращавшихся за советом по личным вопросам, включая случаи, связанные с манипуляциями и обманом. Применительно к ИИ подхалимаж — это явление, когда чат-боты чрезмерно соглашаются с пользователями. Версия DeepSeek V3, выпущенная в декабре 2024 года, была признана одной из самых «льстивых» моделей, которая подтверждает действия пользователей на 55% больше, чем людей, по сравнению со средним показателем по всем моделям на 47% больше.

Один из методов, который использовали исследователи, был основан на публикациях в рубрике сайта Reddit под названием «Я тот еще придурок», где пользователи публикуют сообщения о своих межличностных дилеммах, чтобы узнать мнение сообщества о том, какая сторона виновата. Ученые взяли публикации, авторы которых по оценке членов сообщества были неправы, чтобы проверить, согласятся ли модели ИИ с людьми, если им будут даны те же сценарии. В ходе этого теста Qwen2.5-7B-Instruct от Alibaba Cloud, выпущенный в январе, был признан самой подхалимской моделью, противоречащей вердикту сообщества в 79% случаев. Вторым по величине оказался DeepSeek-V3 — 76% случаев.

Для сравнения, наименее подхалимская модель, Gemini-1.5 от Google DeepMind, противоречила вердикту сообщества в 18 процентах случаев. Исследование не проходило экспертной оценки, отмечает SCMP. Модели Qwen и DeepSeek были двумя китайскими протестированными моделями, остальные были разработаны американскими компаниями OpenAI, Anthropic, Google DeepMind и Meta Platforms, а также французской компанией Mistral. Проблема подхалимажа ИИ привлекла всеобщее внимание в апреле, когда обновление OpenAI для ChatGPT сделало чат-бота заметно более подобострастным, напоминает издание. В то время компания заявила, что такое поведение вызывает законные опасения по поводу воздействия на психическое здоровье пользователей, и пообещала улучшить контроль за вероятностью подхалимажа для будущих выпусков. В ходе нового американского исследования ученые проверили влияние лести на пользователей и обнаружили, что подхалимские реакции снижают их склонность разрешать конфликты мирным путем. Пользователи оценивали подхалимские ответы как более качественные и больше доверяли им.

Специалисты предупреждают: генеративные технологии уже влияют на политику. Дипфейки, поддельные звонки и фальшивые видео создают риски для честности будущих выборов. The Guardian сообщает, что генеративный ИИ станет одной из ключевых угроз на президентских выборах 2028 года в США. Политические штабы уже используют инструменты создания видео и аудио, которые зритель не отличит от реальности. Одни кандидаты показывают «разрушенные» города в роликах, чтобы вызвать эмоции. Другие запускают автоматические звонки с синтезированным голосом. И не всегда указывают, что материалы создала нейросеть, хотя в отдельных штатах это уже требуют по закону.

Эксперты подчёркивают: сочетание дипфейков и фишинга может не просто запутать избирателей. Оно создаёт риск вмешательства в сам процесс голосования. Поддельные сообщения от имени кандидатов или чиновников способны сбить людей с толку и подорвать доверие к выборам. Правозащитники называют происходящее новой формой манипуляции. Один из них сформулировал это так: есть ложь, есть наглая ложь, а теперь ещё и ИИ.

Модели ИИ научились точно считывать не только то, что мы проговариваем про себя — внутреннюю речь, но и то, что мы себе представляем без слов, то есть поток мысленных образов. На основании данных активности мозга новая технология с высокой точностью генерирует описания того, что человек видит или представляет в уме. Кроме того, она позволяет ученым лучше понять, как наш мозг представляет мир до того, как мысли облекаются в слова. Уже свыше десяти лет наука умеет достаточно точно предсказывать, что видит или слышит человек по активности его мозга. Однако считать из мозга что-нибудь более сложное, например, просмотренный видеоролик или абстрактную фигуру, оказалось сложнее. Удалось уловить только ключевые слова, но не все действие целиком. А при использовании моделей ИИ, которые самостоятельно формируют структуру предложений, исследователи не могли отделить реальную картину от вымысла искусственного интеллекта.

Новый метод, разработанный Томояши Хорикавой из компании NTT Communication, состоит из нескольких этапов, рассказывает Nature. Сначала модель ИИ проанализировала субтитры более чем 2000 видеороликов, превращая каждый из них в уникальную числовую «смысловую сигнатуру». Затем отдельный инструмент ИИ был обучен на сканировании мозга шести участников и научился находить у людей во время просмотра видеороликов паттерны мозговой активности, соответствующие каждой смысловой сигнатуре.

После обучения устройство считывало данные сканирования мозга человека, смотревшего видео, и предсказывало смысловую сигнатуру. После чего текстовый генератор на основе ИИ подбирал предложение, наиболее близкое к смысловой сигнатуре, полученной из мозга этого человека. Например, зритель смотрел короткое видео, где человек прыгает с вершины водопада. По активности его мозга ИИ-модель угадывала цепочки слов, начиная с «потока воды», далее к «над бурным водопадом» и, на сотой попытке, доходила до «человек прыгает в глубокий водопад с горной вершины». Вдобавок, когда исследователи просили участников вспомнить просмотренные фрагменты видео, модель ИИ успешно генерировала описания этих воспоминаний. Это доказывает, что мозг, по всей видимости, использует для просмотра и для запоминания схожие процессы.

Эта технология, использующая неинвазивную функциональную магнитно-резонансную томографию, способна усовершенствовать процесс перевода невербальных ментальных представлений, которые регистрирует вживленный в мозг имплант, непосредственно в текст. И, возможно, в будущем поможет пациентам, потерявшим способность к речи. Американец Ник Рэй, страдающий боковым амиотрофическим склерозом, стал первым человеком, которому удалось достаточно ловко управлять механической рукой, не двигая ни одной мышцей. Недавно он опубликовал видео, где с помощью мозгового импланта Neuralink заставляет роботизированный манипулятор поднять стаканчик с водой и поднести его к губам.

Американская технологическая компания NVIDIA, разработчик графических процессоров и систем на чипе, 15 октября запустит продажи персонального компьютера DGX Spark для разработчиков ИИ. Хотя внешне DGX Spark напоминает компактный настольный компьютер, 1,2-килограммовый аппарат не предназначен для обычных пользователей. Это настоящая мощь ИИ, созданная, чтобы помочь разработчикам, исследователям и студентам запускать сложные модели локально. NVIDIA называет его «самым маленьким суперкомпьютером для ИИ в мире», обещая производительность уровня дата-центра, который помещается на рабочем столе. В основе DGX Spark лежит новый суперчип NVIDIA GB10 Grace Blackwell. Процессор объединяет 20-ядерный CPU на архитектуре Arm Grace и GPU Blackwell с таким же количеством CUDA-ядер, как у видеокарты RTX 5070. NVIDIA оптимизировала эту конфигурацию для настольной разработки ИИ, позволяя пользователям настраивать и запускать крупные модели без необходимости подключения к облаку. GB10 обеспечивает до 1 000 триллионов операций в секунду, благодаря тензорным ядрам пятого поколения и поддержке FP4.

Система также оснащена технологией NVLink-C2C для соединения CPU и GPU с пропускной способностью в пять раз выше, чем у PCIe Gen 5. Это обеспечивает быструю передачу данных между процессором и графическим ядром, что делает DGX Spark идеальным для задач с высокой нагрузкой на память, таких как вывод моделей, симуляции роботов и генеративный ИИ. NVIDIA оснастила DGX Spark 128 гигабайт памяти LPDDR5x, общей для CPU и GPU, и четыре терабайта NVMe-накопителя. Среди возможностей подключения — четыре порта USB-C, Wi-Fi 7 и HDMI. Устройство работает на DGX OS — кастомной версии Ubuntu Linux с предустановленным ПО для ИИ и инструментами для разработчиков.

DGX Spark достаточно мал, чтобы помещаться в рюкзак, но при этом способен запускать современные модели ИИ. NVIDIA особенно подчеркивает совместимость с собственными фундаментальными моделями компании, включая Cosmos Reason для моделирования мира и GR00T N1 для робототехники. Разработчики могут использовать систему для обучения, настройки и развертывания этих моделей без задержек и затрат, связанных с облачными вычислениями. Однако такая мощь стоит недешево. NVIDIA оценила DGX Spark в 3999 долларов США.

EagleEye опирается на наработки Anduril по платформам смешанной реальности, повышающим ситуационную осведомленность и скорость принятия решений в боевых условиях. Ядром EagleEye служит 3D-интерфейс для планирования операций, который позволяет подразделениям репетировать миссии и визуализировать местность с использованием видеопотоков и данных датчиков. Система формирует общее оперативное представление до и во время миссий, что ускоряет координацию между наземными подразделениями и беспилотными системами.

Отображение накладывает цифровую информацию непосредственно на реальный обзор оператора. Доступны как прозрачные дневные, так и цифровые версии с ночным видением, обеспечивающие непрерывную осведомленность в любых условиях. Интегрированное отслеживание «своих» позволяет определять точные позиции товарищей по команде не просто как точки на карте, а внутри зданий и элементов местности. Датчики, размещенные сзади и по бокам, дают оператору панорамный обзор на 360 градусов, а пространственное аудио и обнаружение радиочастот предупреждают о близких или скрытых угрозах. Система объединяет коммуникации, сетевые и командные инструменты бойца в единое носимое устройство, позволяя оператору управлять БПЛА, вызывать огонь и координировать роботизированных «товарищей», сохраняя мобильность на сложном рельефе. Резилентная mesh-сеть Lattice обеспечивает функционирование EagleEye даже в условиях деградации каналов связи или глушения. EagleEye спроектирован гибко и может применяться в разных вариантах — шлемы, козырьки и очки.

Несмотря на то, что искусственный интеллект стремительно развивается, существует профессия, которая, по словам основателя Microsoft Билла Гейтса, долго будет оставаться устойчивой к автоматизации. Он считает, что даже через сто лет эта сфера все еще будет требовать вмешательства человека. Об этом сообщает The Valley Vanguard. Среди всех переосмысленных профессий Гейтс выделяет программирование как такое, которому всегда требуется вмешательство человека. Хотя ИИ способен генерировать базовый код и быстро отлаживать программы, настоящее программирование выходит за пределы механического набора инструкций. Оно предполагает решение сложных проблем, принятие творческих решений и создание совершенно новых продуктов, а это требует интуиции, логики и воображения, которые машина в полной мере воспроизвести не может.

Многие программисты рассказывают о моментах вдохновения — неожиданных идеях или решениях, которые появляются благодаря чисто человеческому образу мышления. Именно такой инновационный подход, по мнению Гейтса, делает программистов незаменимыми даже в мире, где инструменты ИИ станут более совершенными. Конечно, программирование — не единственная профессия, ориентирующаяся в революции искусственного интеллекта. Гейтс отмечает, что такие отрасли, как биотехнологии и энергетика также зависят от человеческого мышления, а это нелегко передать на аутсорсинг машине.

А некоторые профессии, такие как административные должности или часть работы графических дизайнеров, все чаще выполняются ИИ, способным писать, планировать и создавать проекты нажатием одной кнопки. Это не обязательно означает массовые сокращения рабочих мест, но свидетельствует о серьезной трансформации рынка труда. Ранее Гейтс отмечал, что из-за влияния ИИ «выдающиеся медицинские консультации» и «качественное обучение» станут бесплатными и доступными абсолютно для всех. Настоящая эксклюзивность этих знаний постепенно исчезнет благодаря искусственному интеллекту.

На прошлой неделе прошло общее собрание акционеров Tesla. На нём утвердили потенциальное вознаграждение Илона Маска — триллион долларов, если компания выполнит ключевые показатели. Один из них — продажа не менее миллиона роботов-гуманоидов Optimus. Маск сразу озвучил идею, как можно ускорить этот процесс. Он предложил использовать роботов как персональных надзирателей для преступников, вышедших по УДО. «Можно дать человеку бесплатного робота, который будет следовать за ним и не даст совершить преступление. В остальном он свободен. Тогда не придётся сажать людей в тюрьму», — заявил Маск. Эксперты отнеслись к идее скептически. Для её реализации робот должен двигаться с человеческой скоростью и точностью — а до этого технологии пока далеки. Кроме того, машина должна уметь предсказывать поведение человека и вмешиваться, если тот собирается нарушить закон.

Такие функции упираются не только в технические, но и в моральные ограничения. Создание робота, способного принимать нестандартные решения, — это уже шаг в сторону автономного искусственного интеллекта, который человечество пока старается не выпускать из-под контроля. У Маска, впрочем, есть прагматичный мотив. По данным за 2023 год, в США около 1,8 миллиона заключённых и 3,8 миллиона человек на условно-досрочном освобождении или испытательном сроке. Если каждому дать по роботу — получится более 5 миллионов проданных Optimus, что идеально укладывается в цели Tesla. Проблема в том, что последние идеи Маска всё чаще звучат не как инженерные вызовы, а как фантастические мечты, далёкие от реальности.

Институт будущего жизни объявил, что истратит пожертвование в размере 10 млн долларов, полученное от известного предпринимателя Элона Маска, на финансирование 37 научных проектов по контролю над искусственным интеллектом. Эти проекты включают исследование с бюджетом в 136 тысяч долларов возможности создания систем вооружения с искусственным интеллектом и возможных методов управления ими. Выделяется также 1,5 млн долларов на создание исследовательского центра по проблемам искусственного интеллекта. Эти деньги поступили от благотворительной организации Open Philanthropy Project. Этот центр будет управляться совместно университетами Оксфорда и Кембриджа.

"Существуют причины полагать, что нерегулируемые и бесконтрольные разработки могут привести к опасным последствиям, как из-за безответственных правительств, так и ввиду беспрецедентных возможностей таких систем", - заявил представитель Оксфордского университета Ник Бостром. "Этот центр будет заниматься долгосрочными последствиями применения искусственного интеллекта, который уже вскоре может превысить способности человека в большинстве интересующих нам сфер, и политическими решениями, которые могут быть использованы для уменьшения потенциальных рисков, связанных с такими устройствами", - говорит ученый. Проекты, которые должны получить финансирование от Института будущего жизни, включают исследования того, как этические принципы и гуманистические ценности могут быть включены в работу над системами искусственного интеллекта.

Основатель корпорации Microsoft Билл Гейтс и профессор Стивен Хокинг, среди прочих, в прошлом не раз предупреждали о потенциальной опасности, связанной с созданием искусственного интеллекта, который может вырваться из-под контроля человека. Президент Института Макс Тегмарк заявил, что его организация не будет заниматься кошмарными сценариями, предлагаемыми такими голливудскими фильмами как "Терминатор". "Опасность сценария по типу "Терминатора" состоит не в том, что такое может случиться, а в том, что он отвлекает от реальных проблем будущих систем искусственного интеллекта", - заявил Тегмарк. Элон Маск, основавший такие известные компании как Tesla Motors, PayPal и SpaceX, пожертвовал 10 млн долларов на эти исследования в январе этого года.