эйай ньюз

Training Retrieval Augmented Generation With Ola Piktus

Послушал подкастик с ресерч-инженером из Cohere, Александрой Пиктус, которая отвечает за RAG в той самой языковой модели Command R+.

Олу я знаю еще с 2019 года, когда я был в Лондоне на стажировке в FAIR. Так получилось, что мы сидели за соседними столами. Тогда она делала Hackamonth в NLP-команде Лондонского FAIR. Hackamonth – это когда ты устал от привычной рутины, и идёшь на месяц поработать в другую команду, занимаясь полностью другим проектом в новой области. Очень крутая штука для обмена опыта между командами.

В итоге после хакамесяца Ола полностью перешла в FAIR на позицию Research Engineer.

Меня часто спрашивают, можно ли перекатиться на ресерч позицию, если ты Software engineer без PhD. Как раз на примере Олы можно проследить, как она это сделала, она об это рассказывает в начале подкаста. Конечно, для такого пивота немаловажна удача (ей очень повезло с командой) и вообще попасть в FAANG хотя бы на SWE. Ола, кстати, рассказала, что у нее получилось попасть в Мету не с первой попытки, и что самое главное — это хорошо подготовиться к собесам (с этим я полностью согласен).

Два года назад Ола ушла из Меты, затем поработала в Hugging Face, а сейчас она пилит RAG для моделек в Cohere.

Она варится в NLP c 2019 года, и является соавтором многих статьей, в том числе той, в которой изначально и предложили метод RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

В подкасте Ола на довольно простом языке объясняла базовые принципы работы RAG так, что поймут даже новички в теме.

Кстати, мне очень близка точка зрения Александры о том, почему LLM галлюцинируют:

Ultimately, this is about the probability of the next word. The model is not building some sort of internal structure of the world and it's not the truth machine. It's doesn't have the ability to build a model of reality. It' primarily about the text and what is written.

YouTube
Spotify

#карьера
@ai_newz

YouTube

Training Retrieval Augmented Generation With Ola Piktus

In today's episode, I chat about retrieval-augmented generation (RAG) with Ola Piktus, Member of Technical Staff at Cohere. With her roots in software engineering and significant contributions to RAG through her research, Ola has an interesting perspective…

🔥67❤32👍16🦄5😁3❤‍🔥2

www.group-telegram.com/us/ai_newz.com/2566

22.6K viewsedited  Apr 11, 2024 at 14:15

Training Retrieval Augmented Generation With Ola Piktus

Послушал подкастик с ресерч-инженером из Cohere, Александрой Пиктус, которая отвечает за RAG в той самой языковой модели Command R+.

Олу я знаю еще с 2019 года, когда я был в Лондоне на стажировке в FAIR. Так получилось, что мы сидели за соседними столами. Тогда она делала Hackamonth в NLP-команде Лондонского FAIR. Hackamonth – это когда ты устал от привычной рутины, и идёшь на месяц поработать в другую команду, занимаясь полностью другим проектом в новой области. Очень крутая штука для обмена опыта между командами.

В итоге после хакамесяца Ола полностью перешла в FAIR на позицию Research Engineer.

Меня часто спрашивают, можно ли перекатиться на ресерч позицию, если ты Software engineer без PhD. Как раз на примере Олы можно проследить, как она это сделала, она об это рассказывает в начале подкаста. Конечно, для такого пивота немаловажна удача (ей очень повезло с командой) и вообще попасть в FAANG хотя бы на SWE. Ола, кстати, рассказала, что у нее получилось попасть в Мету не с первой попытки, и что самое главное — это хорошо подготовиться к собесам (с этим я полностью согласен).

Два года назад Ола ушла из Меты, затем поработала в Hugging Face, а сейчас она пилит RAG для моделек в Cohere.

Она варится в NLP c 2019 года, и является соавтором многих статьей, в том числе той, в которой изначально и предложили метод RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

В подкасте Ола на довольно простом языке объясняла базовые принципы работы RAG так, что поймут даже новички в теме.

Кстати, мне очень близка точка зрения Александры о том, почему LLM галлюцинируют:

Ultimately, this is about the probability of the next word. The model is not building some sort of internal structure of the world and it's not the truth machine. It's doesn't have the ability to build a model of reality. It' primarily about the text and what is written.

BY эйай ньюз