Telegram Group & Telegram Channel
Проблема галлюцинаций: особенность, а не дефект

Все слышали про то, что ЛЛМ могут галлюцинировать, т.е. ошибаться, придумывать несуществующие факты и т.д. И естественно реакцией является: ну, вот эта ЛЛМ еще несовершенная, сейчас умные умы её допилят и она не будет ошибаться, т.е. галлюцинировать.

Но Карпати в своих объяснения говорит, что это не баг, а фича. Все что делает ЛЛМ это постоянные галлюцинации. Карпати называет ЛЛМ "машины снов" (dream machines). В этом её принципиальное отличие от алгоритмических систем, в которых вы даете что-то конкретное на вход и получаете 100% контролируемый результат на выходе.

Для решения проблемы галлюцинаций в практических приложениях Карпати предлагает такие методы как RAG (Retrieval Augmented Generation), использование множественной генерации с проверкой, цепочки верификации и применение внешних инструментов. Эти подходы позволяют "заземлить" креативные способности модели в фактических данных.

Но это уже на мой субъективный взгляд, по сути просто костыли, которые мы прикручиваем к изначально проблемной технологии.

Это серия постов с заблуждениями об ЛЛМ. Предыдущий здесь и здесь.

LawCoder



group-telegram.com/law_coder/196
Create:
Last Update:

Проблема галлюцинаций: особенность, а не дефект

Все слышали про то, что ЛЛМ могут галлюцинировать, т.е. ошибаться, придумывать несуществующие факты и т.д. И естественно реакцией является: ну, вот эта ЛЛМ еще несовершенная, сейчас умные умы её допилят и она не будет ошибаться, т.е. галлюцинировать.

Но Карпати в своих объяснения говорит, что это не баг, а фича. Все что делает ЛЛМ это постоянные галлюцинации. Карпати называет ЛЛМ "машины снов" (dream machines). В этом её принципиальное отличие от алгоритмических систем, в которых вы даете что-то конкретное на вход и получаете 100% контролируемый результат на выходе.

Для решения проблемы галлюцинаций в практических приложениях Карпати предлагает такие методы как RAG (Retrieval Augmented Generation), использование множественной генерации с проверкой, цепочки верификации и применение внешних инструментов. Эти подходы позволяют "заземлить" креативные способности модели в фактических данных.

Но это уже на мой субъективный взгляд, по сути просто костыли, которые мы прикручиваем к изначально проблемной технологии.

Это серия постов с заблуждениями об ЛЛМ. Предыдущий здесь и здесь.

LawCoder

BY LawCoder


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/law_coder/196

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

In 2018, Russia banned Telegram although it reversed the prohibition two years later. At the start of 2018, the company attempted to launch an Initial Coin Offering (ICO) which would enable it to enable payments (and earn the cash that comes from doing so). The initial signals were promising, especially given Telegram’s user base is already fairly crypto-savvy. It raised an initial tranche of cash – worth more than a billion dollars – to help develop the coin before opening sales to the public. Unfortunately, third-party sales of coins bought in those initial fundraising rounds raised the ire of the SEC, which brought the hammer down on the whole operation. In 2020, officials ordered Telegram to pay a fine of $18.5 million and hand back much of the cash that it had raised. He said that since his platform does not have the capacity to check all channels, it may restrict some in Russia and Ukraine "for the duration of the conflict," but then reversed course hours later after many users complained that Telegram was an important source of information. He adds: "Telegram has become my primary news source." Investors took profits on Friday while they could ahead of the weekend, explained Tom Essaye, founder of Sevens Report Research. Saturday and Sunday could easily bring unfortunate news on the war front—and traders would rather be able to sell any recent winnings at Friday’s earlier prices than wait for a potentially lower price at Monday’s open.
from ye


Telegram LawCoder
FROM American