📈 ТехноТренды: Технологии, Тренды, IT

Технологии vs. безопасность: проблема доверия к ИИ

Пользуетесь нейросетями? Уверены, что пользуетесь 🙂. По данным опроса, проведенного порталом Hi-Tech Mail (май 2025), 60% россиян положительно относятся к использованию ИИ в работе и учебе.

Многие уже привыкли по всем вопросам соваться не в Google, а в ChatGPT. Чат-боты находят нам информацию в сети, ставят диагноз по симптомам (иногда более эффективно, чем врачи) и выполняют кучу других услуг. Некоторые люди даже превратили их в своих эмоциональных партнеров.

Свыше 70% российских ИТ-специалистов применяют нейросети не реже раза в неделю, 62% из них оценивают свой уровень доверия к ИИ как высокий.

Но готовы ли вы столкнуться с темной стороной нейросетей? А придется (скорее всего, уже не раз пришлось 😉). И с этим надо что-то делать.

Индустрия дипфейков

«Искусство по-прежнему в большом долгу» (c). Модели часто галлюцинируют, выдают желаемое за действительное и просто выдумывают данные. Увы, они умеют это делать очень убедительно — и подставляют доверившегося пользователя. Но злого умысла тут нет — всего лишь сырость технологии.

Хуже, когда ИИ сознательно используется для обмана и манипуляций. Мы уже писали о мошенничествах с использованием Voice cloning и росте киберпреступности. Слово «дипфейк» давно закрепилось в нашем словаре. И применение дипфейков расширяется, а выявить их оказывается весьма сложно даже с помощью нейросетей. Это вам не студента с фальшивой курсовой заловить.

Вот несколько свежих скандалов.

💥 В Великобритании адвокаты использовали в судебных процессах фальшивые дела, сфабрикованные нейросетями, и ссылались на них как на реальные прецеденты.

💥 Во время протестов в Кении летом 2024 года DFRLab выявила операцию по оказанию влияния. В соцсетях разошлись сгенерированные ИИ «фото», на которых демонстранты шли с российскими флагами, а молодые люди одного пола целовались между собой. Поднялся шум, но нашлись несколько энтузиастов, разоблачивших фейк.

💥 Обратный пример. Во время идущих сейчас беспорядков в Лос-Анджелесе нейросети провалили факт-чекинг: приняли за фейк опубликованные губернатором Калифорнии фото солдат Национальной гвардии, спящих на полу зданий, взятых ими под охрану. На самом деле фотографии реально были сделаны на месте событий репортером San Francisco Chronicle, и газета подтвердила подлинность снимков.

Тревожные тренды

KeepNet публикует пугающую статистику: в 2023 году количество инцидентов, связанных с фишингом и мошенничеством с использованием дипфейков, выросло на 3000%. Наиболее целевой сектор — онлайн-СМИ. И как видим, даже продвинутые ИИ-модели часто не могут достоверно распознать подделку или же подтвердить подлинность изображений и видео.

Развивается тенденция использования инструментов ИИ околоправительственными структурами разных стран для поддержки ИПСО в различных частях света. Можно говорить о возникновении целой индустрии, направленной на подтасовку реальности и манипуляции с сознанием.

Тренд неприятный, особенно на фоне того, что разработчики AI всё активнее внедряются в структуры власти. Например, в США OpenAI и Anthropic, которые когда-то позиционировали себя как ответственные и осторожные исследователи, теперь увеличивают персонал и бюджеты на лоббирование в Вашингтоне, добиваясь новых госконтрактов. И вообще администрация Трампа делает большую ставку на ИИ, хотя технология, как мы видим, вызывает большие вопросы.

🤷‍♂️ ИИ — это инструмент, который едва появился, но уже угрожает выйти из-под контроля. Мы можем не заметить, как окажемся под властью одновременно Скайнета и Матрицы: жизнь в придуманном нейросетями мире, пока реальностью управляет неуправляемый ИИ. Пока процесс не зашел слишком далеко, необходимы барьеры, способные защитить человека и общество от киберунижения. Работа в этом направлении ведется, и о ней — в следующем посте.

#кибербезопасность #тренды

🚀 ©ТехноТренды

www.group-telegram.com/sg/technologies_trends.com/319

153 viewsedited  Jun 12 at 10:19

Технологии vs. безопасность: проблема доверия к ИИ

Пользуетесь нейросетями? Уверены, что пользуетесь 🙂. По данным опроса, проведенного порталом Hi-Tech Mail (май 2025), 60% россиян положительно относятся к использованию ИИ в работе и учебе.

Многие уже привыкли по всем вопросам соваться не в Google, а в ChatGPT. Чат-боты находят нам информацию в сети, ставят диагноз по симптомам (иногда более эффективно, чем врачи) и выполняют кучу других услуг. Некоторые люди даже превратили их в своих эмоциональных партнеров.

Свыше 70% российских ИТ-специалистов применяют нейросети не реже раза в неделю, 62% из них оценивают свой уровень доверия к ИИ как высокий.

Но готовы ли вы столкнуться с темной стороной нейросетей? А придется (скорее всего, уже не раз пришлось 😉). И с этим надо что-то делать.

Индустрия дипфейков

«Искусство по-прежнему в большом долгу» (c). Модели часто галлюцинируют, выдают желаемое за действительное и просто выдумывают данные. Увы, они умеют это делать очень убедительно — и подставляют доверившегося пользователя. Но злого умысла тут нет — всего лишь сырость технологии.

Хуже, когда ИИ сознательно используется для обмана и манипуляций. Мы уже писали о мошенничествах с использованием Voice cloning и росте киберпреступности. Слово «дипфейк» давно закрепилось в нашем словаре. И применение дипфейков расширяется, а выявить их оказывается весьма сложно даже с помощью нейросетей. Это вам не студента с фальшивой курсовой заловить.

Вот несколько свежих скандалов.

💥 В Великобритании адвокаты использовали в судебных процессах фальшивые дела, сфабрикованные нейросетями, и ссылались на них как на реальные прецеденты.

💥 Во время протестов в Кении летом 2024 года DFRLab выявила операцию по оказанию влияния. В соцсетях разошлись сгенерированные ИИ «фото», на которых демонстранты шли с российскими флагами, а молодые люди одного пола целовались между собой. Поднялся шум, но нашлись несколько энтузиастов, разоблачивших фейк.

💥 Обратный пример. Во время идущих сейчас беспорядков в Лос-Анджелесе нейросети провалили факт-чекинг: приняли за фейк опубликованные губернатором Калифорнии фото солдат Национальной гвардии, спящих на полу зданий, взятых ими под охрану. На самом деле фотографии реально были сделаны на месте событий репортером San Francisco Chronicle, и газета подтвердила подлинность снимков.

Тревожные тренды

KeepNet публикует пугающую статистику: в 2023 году количество инцидентов, связанных с фишингом и мошенничеством с использованием дипфейков, выросло на 3000%. Наиболее целевой сектор — онлайн-СМИ. И как видим, даже продвинутые ИИ-модели часто не могут достоверно распознать подделку или же подтвердить подлинность изображений и видео.

Развивается тенденция использования инструментов ИИ околоправительственными структурами разных стран для поддержки ИПСО в различных частях света. Можно говорить о возникновении целой индустрии, направленной на подтасовку реальности и манипуляции с сознанием.

Тренд неприятный, особенно на фоне того, что разработчики AI всё активнее внедряются в структуры власти. Например, в США OpenAI и Anthropic, которые когда-то позиционировали себя как ответственные и осторожные исследователи, теперь увеличивают персонал и бюджеты на лоббирование в Вашингтоне, добиваясь новых госконтрактов. И вообще администрация Трампа делает большую ставку на ИИ, хотя технология, как мы видим, вызывает большие вопросы.

🤷‍♂️ ИИ — это инструмент, который едва появился, но уже угрожает выйти из-под контроля. Мы можем не заметить, как окажемся под властью одновременно Скайнета и Матрицы: жизнь в придуманном нейросетями мире, пока реальностью управляет неуправляемый ИИ. Пока процесс не зашел слишком далеко, необходимы барьеры, способные защитить человека и общество от киберунижения. Работа в этом направлении ведется, и о ней — в следующем посте.

#кибербезопасность #тренды

🚀 ©ТехноТренды

BY 📈 ТехноТренды: Технологии, Тренды, IT