#ml_для_иб #hr Работа с данными в ИБ - какие нужны компетенции? Часть 2. 1. По этапам работы с данными - как на картинке: Диаграмма соответствует пайплайну, если ее читать по часовой стрелке, начиная с инженера данных. Он должен обладать навыками работы с БД (в контексте ИБ, например, Postgres, Elastic/ClickHouse/Cassandra, MongoDB), уметь создавать ETL/ELT процессы и работать с соответствующими инструментами (NiFi, Kafka, Airflow, Pentaho, облачные ETL, такие как YCloud DataTransfer, DataStreams). И, конечно же, владеть ЯП для обработки данных напрямую, Python идеально подходит. Находить проблемы в данных, уметь их исправлять, обеспечивать эффективное хранение и так далее. Аналитик данных описывает данные, находит статистические зависимости и исследует выполнение каких-то релевантных задаче гипотез в данных. Например, если стоит задача нахождения подозрительных процесс по событию 4688 в логах Windows, то надо удостовериться, что такие события вообще есть, что в данных есть cmdline, есть сведения по правам процесса, и по его родителю, как минимум. Таким образом, аналитик уже должен обладать знаниями из доменной области, к которой применяется аппарат ml. Дата саентинст (специалист по машинному обучению) - создает программный продукт (модель ml), который либо оптимизирует существующий технический процесс (например, поиск сложных инцидентов, которые не увидят корр. правила), или конвертируют когнитивную деятельность человека в технический процесс на основе ml (например, вместо человека определяют, является ли инцидент FP). И обычно (но не всегда) в последнюю очередь в игру вступает инженер машинного обучения. Он конвертирует модель в подходящий формат (например, перегоняет в код на C, чтобы обеспечить быстродействие), создает инфраструктуру функционирования (микросервисы, докеры с моделями, пайплайны обработки данных на входе и на выходе модели), настраивает мониторинг метрик качества модели, автоматическое дообучение и ротацию дообученных моделей, если надо, гладкий и незаметный деплой в прод новых моделей.
#ml_для_иб #hr Работа с данными в ИБ - какие нужны компетенции? Часть 2. 1. По этапам работы с данными - как на картинке: Диаграмма соответствует пайплайну, если ее читать по часовой стрелке, начиная с инженера данных. Он должен обладать навыками работы с БД (в контексте ИБ, например, Postgres, Elastic/ClickHouse/Cassandra, MongoDB), уметь создавать ETL/ELT процессы и работать с соответствующими инструментами (NiFi, Kafka, Airflow, Pentaho, облачные ETL, такие как YCloud DataTransfer, DataStreams). И, конечно же, владеть ЯП для обработки данных напрямую, Python идеально подходит. Находить проблемы в данных, уметь их исправлять, обеспечивать эффективное хранение и так далее. Аналитик данных описывает данные, находит статистические зависимости и исследует выполнение каких-то релевантных задаче гипотез в данных. Например, если стоит задача нахождения подозрительных процесс по событию 4688 в логах Windows, то надо удостовериться, что такие события вообще есть, что в данных есть cmdline, есть сведения по правам процесса, и по его родителю, как минимум. Таким образом, аналитик уже должен обладать знаниями из доменной области, к которой применяется аппарат ml. Дата саентинст (специалист по машинному обучению) - создает программный продукт (модель ml), который либо оптимизирует существующий технический процесс (например, поиск сложных инцидентов, которые не увидят корр. правила), или конвертируют когнитивную деятельность человека в технический процесс на основе ml (например, вместо человека определяют, является ли инцидент FP). И обычно (но не всегда) в последнюю очередь в игру вступает инженер машинного обучения. Он конвертирует модель в подходящий формат (например, перегоняет в код на C, чтобы обеспечить быстродействие), создает инфраструктуру функционирования (микросервисы, докеры с моделями, пайплайны обработки данных на входе и на выходе модели), настраивает мониторинг метрик качества модели, автоматическое дообучение и ротацию дообученных моделей, если надо, гладкий и незаметный деплой в прод новых моделей.
Continuing its crackdown against entities allegedly involved in a front-running scam using messaging app Telegram, Sebi on Thursday carried out search and seizure operations at the premises of eight entities in multiple locations across the country. Markets continued to grapple with the economic and corporate earnings implications relating to the Russia-Ukraine conflict. “We have a ton of uncertainty right now,” said Stephanie Link, chief investment strategist and portfolio manager at Hightower Advisors. “We’re dealing with a war, we’re dealing with inflation. We don’t know what it means to earnings.” This provided opportunity to their linked entities to offload their shares at higher prices and make significant profits at the cost of unsuspecting retail investors. In addition, Telegram now supports the use of third-party streaming tools like OBS Studio and XSplit to broadcast live video, allowing users to add overlays and multi-screen layouts for a more professional look. Oleksandra Matviichuk, a Kyiv-based lawyer and head of the Center for Civil Liberties, called Durov’s position "very weak," and urged concrete improvements.
from us
