🤖Создание легковесного персонального ассистента на базе Qwen
Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.
🔧Что понадобится: - Python - Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets - Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти
🛠️Основные шаги: 1. Установка необходимых библиотек и проверка совместимости 2. Загрузка модели и токенизатора с использованием Hugging Face Transformers 3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти 4. Создание функции генерации ответов с учетом истории чата 5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки
📈Преимущества: - Работа на локальной машине без необходимости подключения к интернету - Быстрая генерация ответов благодаря квантизации и использованию GPU - Гибкость в настройке и расширении функциональности ассистента
🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье
🤖Создание легковесного персонального ассистента на базе Qwen
Хочешь создать собственного ИИ-ассистента, работающего локально? В статье на Machine Learning Mastery показано, как это сделать с помощью модели Qwen1.5-7B-Chat от Alibaba.
🔧Что понадобится: - Python - Библиотеки: transformers, accelerate, bitsandbytes, einops, ipywidgets - Модель Qwen1.5-7B-Chat с поддержкой 4-битной квантизации для экономии памяти
🛠️Основные шаги: 1. Установка необходимых библиотек и проверка совместимости 2. Загрузка модели и токенизатора с использованием Hugging Face Transformers 3. Настройка квантизации (4-битной или 8-битной) для оптимизации использования памяти 4. Создание функции генерации ответов с учетом истории чата 5. Реализация пользовательского интерфейса с помощью ipywidgets или командной строки
📈Преимущества: - Работа на локальной машине без необходимости подключения к интернету - Быстрая генерация ответов благодаря квантизации и использованию GPU - Гибкость в настройке и расширении функциональности ассистента
🔗 Подробнее о процессе создания ассистента читайте в оригинальной статье
At this point, however, Durov had already been working on Telegram with his brother, and further planned a mobile-first social network with an explicit focus on anti-censorship. Later in April, he told TechCrunch that he had left Russia and had “no plans to go back,” saying that the nation was currently “incompatible with internet business at the moment.” He added later that he was looking for a country that matched his libertarian ideals to base his next startup. The Securities and Exchange Board of India (Sebi) had carried out a similar exercise in 2017 in a matter related to circulation of messages through WhatsApp. In the United States, Telegram's lower public profile has helped it mostly avoid high level scrutiny from Congress, but it has not gone unnoticed. This provided opportunity to their linked entities to offload their shares at higher prices and make significant profits at the cost of unsuspecting retail investors. The company maintains that it cannot act against individual or group chats, which are “private amongst their participants,” but it will respond to requests in relation to sticker sets, channels and bots which are publicly available. During the invasion of Ukraine, Pavel Durov has wrestled with this issue a lot more prominently than he has before. Channels like Donbass Insider and Bellum Acta, as reported by Foreign Policy, started pumping out pro-Russian propaganda as the invasion began. So much so that the Ukrainian National Security and Defense Council issued a statement labeling which accounts are Russian-backed. Ukrainian officials, in potential violation of the Geneva Convention, have shared imagery of dead and captured Russian soldiers on the platform.
from hk
