🤖Дообучение больших языковых моделей для обнаружения уязвимостей
22 мая в 17:00 присоединяйтесь к научному семинару, где выступит Алексей Шестов (Sber AI Lab)!
На семинаре разберём публикацию в журнале IEEE Access по адаптации больших языковых моделей для поиска уязвимостей в коде: ▪️ поговорим об оптимальном режиме дообучения, выборе базовой модели, архитектуре ▪️ покажем, как ускорить дообучение для классификации в 13 раз с помощью батчей переменной длины без потери качества ▪️ обсудим сравнение с моделями на основе CodeBERT (относительный прирост - +5% ROC AUC и F1 на сбалансированных данных и +20% F1 — на несбалансированных)
🤖Дообучение больших языковых моделей для обнаружения уязвимостей
22 мая в 17:00 присоединяйтесь к научному семинару, где выступит Алексей Шестов (Sber AI Lab)!
На семинаре разберём публикацию в журнале IEEE Access по адаптации больших языковых моделей для поиска уязвимостей в коде: ▪️ поговорим об оптимальном режиме дообучения, выборе базовой модели, архитектуре ▪️ покажем, как ускорить дообучение для классификации в 13 раз с помощью батчей переменной длины без потери качества ▪️ обсудим сравнение с моделями на основе CodeBERT (относительный прирост - +5% ROC AUC и F1 на сбалансированных данных и +20% F1 — на несбалансированных)
The original Telegram channel has expanded into a web of accounts for different locations, including specific pages made for individual Russian cities. There's also an English-language website, which states it is owned by the people who run the Telegram channels. That hurt tech stocks. For the past few weeks, the 10-year yield has traded between 1.72% and 2%, as traders moved into the bond for safety when Russia headlines were ugly—and out of it when headlines improved. Now, the yield is touching its pandemic-era high. If the yield breaks above that level, that could signal that it’s on a sustainable path higher. Higher long-dated bond yields make future profits less valuable—and many tech companies are valued on the basis of profits forecast for many years in the future. The next bit isn’t clear, but Durov reportedly claimed that his resignation, dated March 21st, was an April Fools’ prank. TechCrunch implies that it was a matter of principle, but it’s hard to be clear on the wheres, whos and whys. Similarly, on April 17th, the Moscow Times quoted Durov as saying that he quit the company after being pressured to reveal account details about Ukrainians protesting the then-president Viktor Yanukovych. The channel appears to be part of the broader information war that has developed following Russia's invasion of Ukraine. The Kremlin has paid Russian TikTok influencers to push propaganda, according to a Vice News investigation, while ProPublica found that fake Russian fact check videos had been viewed over a million times on Telegram. "There are several million Russians who can lift their head up from propaganda and try to look for other sources, and I'd say that most look for it on Telegram," he said.
from ye
