Дмитрий Савостьянов Вещает

Вы ничего не знаете про AI (NLP), если не читали эти 10 статей

Выбил себе про-план в опенаи, теперь могу делать дип ресерч с кликбейтными заголовками. Потестил на NLP, звучит разумно.


1. Hochreiter & Schmidhuber (1997) – LSTM. Решает проблему исчезающего градиента в RNN, позволяя моделировать длинные зависимости. (LSTM, sequence modeling)

2. Mikolov et al. (2013) – Word2Vec. Ввел плотные векторные представления слов, заложив основу для современных эмбеддингов. (word2vec, embeddings, distributed representations)

3. Charniak (2000) – Probabilistic Parsing. Показал, что вероятностные методы улучшают синтаксический разбор текста. (probabilistic parsing, syntax, NLP pipelines)

4. Bahdanau et al. (2015) – Attention in Seq2Seq. Ввел механизм внимания, улучшив машинный перевод и работу с длинными текстами. (attention mechanism, seq2seq, neural machine translation)

5. Vaswani et al. (2017) – Transformer: Attention Is All You Need. Убрал рекуррентность, введя self-attention, сделав NLP модели быстрее и мощнее. (Transformer, self-attention, deep learning)

6. Devlin et al. (2019) – BERT. Ввел bidirectional attention и pre-training, задав стандарт NLP-моделям. (BERT, masked language modeling, transfer learning)

7. Brown et al. (2020) – GPT-3: Few-Shot Learning. Доказал, что масштабирование параметров улучшает генерацию текста без дообучения. (GPT-3, few-shot learning, autoregressive models)

8. Lewis et al. (2020) – RAG (Retrieval-Augmented Generation). Улучшил генерацию текста, добавив поиск в базе знаний. (retrieval-augmented generation, knowledge-intensive NLP)

9. Christiano et al. (2017) – RLHF (Reinforcement Learning from Human Feedback). Ввел RLHF, позволяя моделям обучаться на человеческих предпочтениях. (RLHF, reinforcement learning, AI alignment)

10. Ouyang et al. (2022) – InstructGPT (RLHF для инструкций). Сделал LLM послушными, научив следовать инструкциям через RLHF. (instruction tuning, RLHF, safe AI)

Пасхалка

🔥7🍓2

www.group-telegram.com/hk/savostyanov_dmitry.com/620

688 viewsFeb 17 at 05:42

Вы ничего не знаете про AI (NLP), если не читали эти 10 статей

Выбил себе про-план в опенаи, теперь могу делать дип ресерч с кликбейтными заголовками. Потестил на NLP, звучит разумно.


1. Hochreiter & Schmidhuber (1997) – LSTM. Решает проблему исчезающего градиента в RNN, позволяя моделировать длинные зависимости. (LSTM, sequence modeling)

2. Mikolov et al. (2013) – Word2Vec. Ввел плотные векторные представления слов, заложив основу для современных эмбеддингов. (word2vec, embeddings, distributed representations)

3. Charniak (2000) – Probabilistic Parsing. Показал, что вероятностные методы улучшают синтаксический разбор текста. (probabilistic parsing, syntax, NLP pipelines)

4. Bahdanau et al. (2015) – Attention in Seq2Seq. Ввел механизм внимания, улучшив машинный перевод и работу с длинными текстами. (attention mechanism, seq2seq, neural machine translation)

5. Vaswani et al. (2017) – Transformer: Attention Is All You Need. Убрал рекуррентность, введя self-attention, сделав NLP модели быстрее и мощнее. (Transformer, self-attention, deep learning)

6. Devlin et al. (2019) – BERT. Ввел bidirectional attention и pre-training, задав стандарт NLP-моделям. (BERT, masked language modeling, transfer learning)

7. Brown et al. (2020) – GPT-3: Few-Shot Learning. Доказал, что масштабирование параметров улучшает генерацию текста без дообучения. (GPT-3, few-shot learning, autoregressive models)

8. Lewis et al. (2020) – RAG (Retrieval-Augmented Generation). Улучшил генерацию текста, добавив поиск в базе знаний. (retrieval-augmented generation, knowledge-intensive NLP)

9. Christiano et al. (2017) – RLHF (Reinforcement Learning from Human Feedback). Ввел RLHF, позволяя моделям обучаться на человеческих предпочтениях. (RLHF, reinforcement learning, AI alignment)

10. Ouyang et al. (2022) – InstructGPT (RLHF для инструкций). Сделал LLM послушными, научив следовать инструкциям через RLHF. (instruction tuning, RLHF, safe AI)

Пасхалка

BY Дмитрий Савостьянов Вещает