Machinelearning

✔️ Учёные Яндекса, НИУ ВШЭ,MIT, ISTA и KAUST разработали новый метод сжатия LLM без использования данных

Недавно был представлен HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS) — data-free метод квантизации, который позволяет запускать большие языковые модели локально, за минуты, без GPU.

🔥 Особенности:
🟢Работает без обучающих данных (data-free)
🟢Квантизует даже модели масштаба DeepSeek R1 (671B) и Llama 4 Maverick (400B)
🟢Полностью open-source

📈 Результаты:
🟠Лучшее соотношение качество / размер среди всех data-free методов (NF4, HQQ и др.)
🟠Проверено на Llama 3, Qwen2.5
🟠Статья принята на NAACL 2025

Применение:
▶️Прототипирование без серверов и долгих калибровок
▶️Демократизация доступа к LLM
▶️Подходит для стартапов, исследователей, независимых лабораторий, образовательных и ограниченных сред

🛠 Установка:
pip install flute-kernel

🌟 Пример:

python 
from transformers import AutoModelForCausalLM, AutoTokenizer, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-2-9b-it",
    quantization_config=HiggsConfig(bits=4),
    device_map="auto",
)

🟡Paper
🟡Hugging Face
🟡GitHub

@ai_machinelearning_big_data

#quantization #LLM #opensource #HIGGS #ai

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/hk/ai_machinelearning_big_data.com/7319

17.1K viewsApr 11 at 14:32

✔️ Учёные Яндекса, НИУ ВШЭ,MIT, ISTA и KAUST разработали новый метод сжатия LLM без использования данных

Недавно был представлен HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS) — data-free метод квантизации, который позволяет запускать большие языковые модели локально, за минуты, без GPU.

🔥 Особенности:
🟢Работает без обучающих данных (data-free)
🟢Квантизует даже модели масштаба DeepSeek R1 (671B) и Llama 4 Maverick (400B)
🟢Полностью open-source

📈 Результаты:
🟠Лучшее соотношение качество / размер среди всех data-free методов (NF4, HQQ и др.)
🟠Проверено на Llama 3, Qwen2.5
🟠Статья принята на NAACL 2025

Применение:
▶️Прототипирование без серверов и долгих калибровок
▶️Демократизация доступа к LLM
▶️Подходит для стартапов, исследователей, независимых лабораторий, образовательных и ограниченных сред

🛠 Установка:
pip install flute-kernel

🌟 Пример:

python 
from transformers import AutoModelForCausalLM, AutoTokenizer, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-2-9b-it",
    quantization_config=HiggsConfig(bits=4),
    device_map="auto",
)