Этот гайд специально для новичков. Если вы уже запускаете LLM у себя на ПК и всё знаете, можете спокойно пролистать этот пост. Но если вы только начинаете и боитесь, что всё это слишком сложно, держите простой и понятный план 👩🍳
1️⃣Установите [Ollama]: это программа, которая помогает запускать языковые модели локально.
2️⃣Найдите подходящую модель на [Hugging Face]: Фильтруйте модели под своё устройство (ноутбук, слабый ПК и т. д.).
3️⃣Выберите квантованную версию [GGUF]: Формат GGUF делает модели меньше и быстрее, без сильных потерь качества. Выбирайте файл на 1–2 ГБ меньше, чем ваша видеопамять (VRAM).
4️⃣На странице модели нажмите «Use This Model»: Скопируйте команду. Откройте терминал, вставьте команду, нажмите Enter. Когда модель загрузится, можете начинать с ней общаться, как с любой другой LLM.
Помимо Ollama, есть и другие программы для запуска llm. Я рекомендую [LM studio],[Jan].
Этот гайд специально для новичков. Если вы уже запускаете LLM у себя на ПК и всё знаете, можете спокойно пролистать этот пост. Но если вы только начинаете и боитесь, что всё это слишком сложно, держите простой и понятный план 👩🍳
1️⃣Установите [Ollama]: это программа, которая помогает запускать языковые модели локально.
2️⃣Найдите подходящую модель на [Hugging Face]: Фильтруйте модели под своё устройство (ноутбук, слабый ПК и т. д.).
3️⃣Выберите квантованную версию [GGUF]: Формат GGUF делает модели меньше и быстрее, без сильных потерь качества. Выбирайте файл на 1–2 ГБ меньше, чем ваша видеопамять (VRAM).
4️⃣На странице модели нажмите «Use This Model»: Скопируйте команду. Откройте терминал, вставьте команду, нажмите Enter. Когда модель загрузится, можете начинать с ней общаться, как с любой другой LLM.
Помимо Ollama, есть и другие программы для запуска llm. Я рекомендую [LM studio],[Jan].
Ukrainian forces successfully attacked Russian vehicles in the capital city of Kyiv thanks to a public tip made through the encrypted messaging app Telegram, Ukraine's top law-enforcement agency said on Tuesday. Artem Kliuchnikov and his family fled Ukraine just days before the Russian invasion. The last couple days have exemplified that uncertainty. On Thursday, news emerged that talks in Turkey between the Russia and Ukraine yielded no positive result. But on Friday, Reuters reported that Russian President Vladimir Putin said there had been some “positive shifts” in talks between the two sides. For Oleksandra Tsekhanovska, head of the Hybrid Warfare Analytical Group at the Kyiv-based Ukraine Crisis Media Center, the effects are both near- and far-reaching. The regulator said it had received information that messages containing stock tips and other investment advice with respect to selected listed companies are being widely circulated through websites and social media platforms such as Telegram, Facebook, WhatsApp and Instagram.
from de
