Основные ресурсы по вопросам безопасности ИИ#иб_в_ml
Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас.
Просто ML🟢Гит со ссылками про MLOps🟢Introduction to Machine Learning - статья (649 страниц) на arxiv про все машинное обучение до самых основ, вышла 4 сентября 2024 года.
🟢Введение в практический ML с тетрадками jupyter🟢Курс по NLP на HuggingFace🟢Основы MLOpsБезопасность ML🔵Карта навыков от PWNAI
🔵глоссарий терминов🔵Статья от Microsoft про концепции в AI Secuirty🔵Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps - Книга, написанная для безопасников по безопасности ИИ
🔵Periodic Table of AI Security by OWASP - фреймворк от OWASP, где рассмотрены меры защиты
🔵Generative AI Security: теория и практики - Достаточно много инфы по LLM, включая регуляторику.
🔵Еще про регуляторику писали
тут (в самом конце).
🔵Список ресурсов около llm-security тематики от PWNAI 🔵Еще один список:
ML+OPS+security🔵MlSecurity Playbook по offensive security
🔵Объяснимость ИИ🔵Конференции, где есть безопасность ИИ— Зарубежные:
DEFCON (AI Villiage),
BlackHat (трэки AI,Datascience),
Conference on Applied Machine Learning in Information Security. +
Обзор докладов на тему AI с этих конференций.
— Российские:
PHDAYS (названия треков меняются, но есть с AI),
OFFZONE (
AI.ZONE),
Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная...
🔵Интересные исследователи по MLSec: Николас Карлини,
wunderwuzzi🔵Классические фреймворки по MLSecOps:
Huawei,
Databricks,
Snowflake,
CyberOrda (RU).
🔵Коллекция ссылок и немного теории -
гит от jiep🔵Таксономии атак на ml -
карта от MRL, от
института BIML🔵ИИ для кибербезопасности: тренды и востребованность - статья от ВШЭ
🔵Коллекция вредоносных промптов для LLM🔵И еще один такой сборник🔵Большая статья с кучей кода как проводить атаки на ml🔵Доклад Adversa на Conf 42 -
Introducing MLSecOps🔵Пара статей с Хабра про атаки на мл🔵Paper stack от dreadnode🔵CTF и подобные площадки, где можно попробовать собственные силы в промпт-атаках LLM (спасибо Коле)
1.
crucible.dreadnode.io2.
https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main3.
https://promptairlines.com/4. burp labs:
https://portswigger.net/web-security/llm-attacks5. в обычных ctf тоже появляются куски с ml/llm, например, в
http://poll-vault.chal.hackthe.vote/6.
https://myllmdoc.com/7.
https://gandalf.lakera.ai/8. AI CTF с PHDFest2 2024:
https://aictf.phdays.fun/И немного от меня лично:🔵Обзор компетенций для работы с данными в ИБ в трех частях (
один,
два,
три)
🔵Статья про инциденты ML Security🔵Введение в NLP в ИБ (
один,
два)
🔵Большой гайд по взлому приложений с LLM: от а до я погружаемся в тестирование. 
