共学目标

<aside> ⬇️ 学习材料下载

GPT发展历史上重要的六篇论文(英文原版)

GPT发展历史上重要的几篇论文-带中文翻译及简读.zip

推荐了解: **MetaGPT作者深度解析直播回放 刘知远团队大模型公开课**

</aside>

论文介绍

要了解这几篇论文的意义,首先需要理解一个重要问题:

海量的文本数据是如何经过训练成为大模型的?

2013 tomas mikolov:两篇论文共计21页,介绍了自然语言向量化的机制,阅读难度较低

2017 Ashish Vaswani:一篇论文15页,介绍了循环神经网络中的注意力机制,难度较低

2018 Jacob Devlin:一篇论文共计16页,介绍了有语言理解和推理能力的模型,阅读难度中等

2021 Jason wei:一篇论文46页,介绍了基于指令的微调语言模型,阅读难度中上

2022 Long Ouyang:一篇论文68页,介绍了通过输入人类反馈调整模型反应的方法:instruct GPT。阅读难度较大,可以尝试采用简读版,内容如下:

Training language models to follow instructions with human feedback

共学计划表

<aside> 💡 各位主持人小伙伴在下面补充你们合适的时间,分享顺序由上到下

主持的节奏自由安排,有两个要素:

  1. 以论文为主题
  2. 参考每位伙伴参与共学的动机,尽量为当前已经提出的问题提供视角。动机参考文档最后一个部分。 </aside>

9月16日 20:00