Scale baby, scale

У попередньому пості ми оглянули методику Chain-of-Thought, яка "витягує" навички мислення з мовних моделей. Але Chain-of-Thought існувала як мінімум 2 роки з моменту виходу ChatGPT як техніка промптингу (написання інструкцій для моделей), а широко відомою вона стала лише з появою моделей о1.

Чому це так, як це пов'язано з масштабуванням (скейлінгом) моделей і останніми заявами Трампа, розберемо в новій статті.

Що думаєте з цього приводу?

Ітак Deep Research. Анонсована вчора вночі.

Позиціонується авторами як проривний інструмент генерації досліджень рівня доктора наук. Тобто даєте йому короткий промпт, він задає уточнюючі питання, і лізе в інтернет шукати і компілювати інформацію, обробляючи сотні сайтів і документів. Короче продвінутий поісковик на, оскільки базова модель о3, з файнтнінгом RL на роботу з пошуком і файлами.

Особливо навіть немає чого розказувати, всі ці технології вже були раніше, тому як я і підозрював, анонс зроблений чисто щоб перебити наступаючі анонси моделей від гугла, як це у них прийнято)

З цікавого, на безчмарку Humanity's Last Exam (на скріншоті) набирає 26.6% (при попередньому рекорді 13%), але знову ж таки, це в основному через те що сама по собі о3 сильніша всього решта, а не через корисність технолоії deep research.

Але тим не менше, реліз доволі цінний, бо дає нам доступ до самої о3, анонсованої ще в грудні. Для pro підписки доступна вже з лімітом 100 повідомлень в місяць, для plus буде доступна згодом, з лімітом 10 в місяць.

В коментарях питали як запустити модель локально на комп'ютері/власному сервері. Думав просто відповісти, але напишу пост, раптом ще комусь треба.

Ось гітхаб діпсіка. Полазьте там по сторінці, виберіть модель яка вам підходить, і там по посиланню переходьте Hugging Face моделі, куда завантажують ваги. До прикладу ось посилання на R1, який дистильований в ламу на 8 мільярдів параметрів. Далі клонуєте репозиторій, тим самим завантажуючи ваги моделі локально. Ну і встановлюєте, конкретний гайд буде в документі README, ну по класиці.

Це найбільш повний і низькорівневий доступ до моделі, який тільки можна отримати. Ну і відповідно вимагає більше знань, бо можуть бути трудності в установці. Я діпсік собі не ставив, але рініше ставив Llama 3.1 локально, то трохи довелось помучитись, так сходу не запускалась.

Є також більш простий і високорівнений спосіб. Ставите софт Ollama, і там всередині програми вже вибираєте модель. З плюсів, програма сама завантажить ваги і все запустить, з мінусів - менший контроль над моделлю. В плані якогось дослідження з нею не попрацюєш. Але якщо треба тільки анонімність і приватність діалогів - то цього буде більш ніж достатньо.

Про ціну DeepSeek

Обіцяв пост про це в день виходу, але тема виявилась доволі слизькою і неоднозначною. З однієї сторони безпрецедентно низька ціна, ще й в умовах ембарго на поставок відеокарт з США в Китай, з іншої сторони - було неясно, наскільки китайська лабораторія чесна в плані своїх звітностей, і чи не завищує вона свої результати. Короче треба було покопати, що я і зробив. Нижче наведу фактори, завдяки яким китайцям вдалося удешевити тренування і інференс моделей, але я утримаюсь від аналізу, наскільки сильно кожен з факторів повпливав на кінцевий результат.

1)Архітектура MoE (mixture of experts) - ідея оптимізації, при якій під час тренування і інференсу моделі задіюється не всі параметри, а лише частина, один експерт, який відповідає за конкретну тему. Це схоже на біологічний мозок, де різні відділи відповідають за різні сфери діяльності. В цілому ця архітектура вже застосовувалася раніше, зокрема і у GPT4o, але китайці розробили свою версію, DeepseekMoE, в якому покращена сегментація та ізоляція експертів, що робить технологію ще ефективнішою, через те що вирішуються проблеми, зокрема з тим, коли експерти не мають чіткої спеціалізації, чи навпаки кілька експертів мають +/- одні знання. Ну і відповідно самих експертів більше. В середньому цей метод зменшує кількість обчислень приблизну на 30%.

2)Архітектура MLA (multi-head latent attention) - покращена версія звичайного механізму уваги (MHA), який взагалі є центральним механізмом в трансформерів, тим не менше, саме він завжди був слабим місцем в плані обчислень. Механізм уваги працює за принципом, де вектор запиту q кожного токена порівнюється з векторами ключів k усіх попередніх токенів. Це дозволяє визначити, наскільки кожен токен контекстуально пов'язаний з іншими в послідовності. Через це, кількість необхідних обчислень зростає квадратично зі збільшенням довжини контексту, якщо точно, то на (x^2)/2. Тому простір для оптимізації тут великий, за що і взялися в DeepSeek. MLA спочатку стискає значення q, k, v в латентні вектори, і вже з ними проводить обчислення. В результаті кеш під час інференсу зменшується аж на 93.3% (принаймні так було у DeepSeek v2, де вперше його застосували), причому без втрат для якості.

3)Є така бібліотека NCCL (NVIDIA Collective Communications Library). Це стандартна бібліотека NVIDIA для побудови кластерів з відеокарт, для можливості вести паралельні обчислення, простіше кажучи, щоб багато відеокарт працювала як одне ціле. Так от, інженери DeepSeek переписали на дуже фундаментальному рівні (на рівні аналога ассеблера) ці протоколи, в результаті чого отримали краще результати і менші втрати на взаємодії.

Кожен раз вголос, коли норміси пишуть шось по темі)

В 10 раз більше обчислень при тренуванні == в 10 раз умнєє