Telegram Group & Telegram Channel
🚀 DeepSeek открывает код своего inference-движка , но делает это с умом

Во время Open Source Week команда уже поделилась несколькими библиотеками — и получила мощный фидбек: коллаборации, обсуждения, багфиксы. Сегодня они идут дальше и отдают в open-source ядро своей inference-системы.

🧠 Inference engine DeepSeek построен поверх vLLM
💡 Раньше был внутренним, глубоко кастомизирован под DeepSeek-V3 / R1

⚠️ Но:
– Был основан на старом форке vLLM
– Жёстко зависел от приватной инфраструктуры DeepSeek
– И не имел ресурса на поддержку в

Вместо того чтобы выкладывать «сырой монолит», команда решила постепенно влить лучшие фичи в уже существующие open-source проекты:

Делают фичи модульными
выкладывают оптимизации
Работа ведётся в синхроне с PyTorch и vLLM

https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md



group-telegram.com/data_analysis_ml/3464
Create:
Last Update:

🚀 DeepSeek открывает код своего inference-движка , но делает это с умом

Во время Open Source Week команда уже поделилась несколькими библиотеками — и получила мощный фидбек: коллаборации, обсуждения, багфиксы. Сегодня они идут дальше и отдают в open-source ядро своей inference-системы.

🧠 Inference engine DeepSeek построен поверх vLLM
💡 Раньше был внутренним, глубоко кастомизирован под DeepSeek-V3 / R1

⚠️ Но:
– Был основан на старом форке vLLM
– Жёстко зависел от приватной инфраструктуры DeepSeek
– И не имел ресурса на поддержку в

Вместо того чтобы выкладывать «сырой монолит», команда решила постепенно влить лучшие фичи в уже существующие open-source проекты:

Делают фичи модульными
выкладывают оптимизации
Работа ведётся в синхроне с PyTorch и vLLM

https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md

BY Анализ данных (Data analysis)




Share with your friend now:
group-telegram.com/data_analysis_ml/3464

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

'Wild West' Telegram has gained a reputation as the “secure” communications app in the post-Soviet states, but whenever you make choices about your digital security, it’s important to start by asking yourself, “What exactly am I securing? And who am I securing it from?” These questions should inform your decisions about whether you are using the right tool or platform for your digital security needs. Telegram is certainly not the most secure messaging app on the market right now. Its security model requires users to place a great deal of trust in Telegram’s ability to protect user data. For some users, this may be good enough for now. For others, it may be wiser to move to a different platform for certain kinds of high-risk communications. Messages are not fully encrypted by default. That means the company could, in theory, access the content of the messages, or be forced to hand over the data at the request of a government. NEWS Anastasia Vlasova/Getty Images
from br


Telegram Анализ данных (Data analysis)
FROM American