調査まとめ

必要な時に応じて引用できるようにするための資料集

言語生成モデルについて

概要

  • 言語生成モデルについて集めた資料置き場

 

GPTアップデート履歴

  • 2020年7月：GPT-3のリリース。このアップデートでは、GPT-3が初めて公開され、1つのモデルで1750億個のパラメータを持つ最大の自然言語処理モデルとなりました。
  • 2020年9月：GPT-3のAPIリリース。OpenAIは、GPT-3をAPIとして一般公開しました。これにより、開発者や企業は、GPT-3を自分たちのアプリケーションやサービスに統合することができるようになりました。
  • 2021年5月：ChatGPTの一般公開。OpenAIは、GPT-3を利用した対話エージェントのデモンストレーションであるChatGPTを一般公開しました。
  • 2021年9月：GPT-3のアップデート。このアップデートでは、GPT-3のパフォーマンスが改善され、より高品質な文章が生成されるようになりました。
  • （2022年1月：InstructGPT発表）
  • 2022年2月：ChatGPTのアップデート。このアップデートでは、ChatGPTの対話能力が改善され、より自然な対話が可能になりました。
  • 2023年3月：GPT-4のリリース。波紋（参考１、参考２）を呼ぶ、ソースは非公開

 

GPTの論文

  • "Language Models are Few-Shot Learners" by Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei (2020)
    GPT-3のアーキテクチャとトレーニングプロセスについて
  • "GPT-3: Language Models are Few-Shot Learners" by OpenAI (2020)
    上記論文の要約版、GPT-3の基本的な機能やアーキテクチャについて
  • "Improving Language Understanding with Unsupervised Learning" by Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever (2018)
    GPTの前身であるGPT-1およびGPT-2のアーキテクチャやトレーニングプロセスについて

 

言語生成モデルの総説

  1. "Recent Advances in Neural Text Generation: A Comprehensive Review with a Focus on the Transformer Architecture" (Ahn et al., 2021)
    この論文では、ニューラルテキスト生成に関する最近の進歩について、特にTransformerアーキテクチャに焦点を当てて調査、
  2. "Recent Advances in Large-Scale Language Modeling" (Dai et al., 2021)
    この論文は、大規模言語モデルに関する最近の進歩について総説
  3. "Deep Learning Based Text Generation: A Survey" (Xie et al., 2021)
    この論文は、ディープラーニングを利用したテキスト生成に関する総説論文

 

関連モデル

  1. BERT (Bidirectional Encoder Representations from Transformers) -
    2018年10月11日にGoogleによって発表
  2. RoBERTa (Robustly Optimized BERT Pretraining Approach)
    2019年9月17日にFacebook AI Researchによって発表
    BERTよりも高い性能を発揮
  3. LaMA (Language Model for Multiple-choice Question Answering)
    2021年4月28日にMicrosoftによって発表
    複数選択肢問題に対する回答生成に特化、テキストの論理的な流れを考慮
  4. FlexGen (Flexible Text Generation)
    2021年9月15日にGoogleによって発表
    GPT-3よりも小さなモデルでGANsベース
    参考：
  5. InstructGPT　GPTの派生系、多分もうそんな重要じゃない
    「Training language models to follow instructions with human feedback」

 

ChatGPT Plus

  • $20/month
  • ピーク時のアクセス
  • 応答時間の短縮
  • 新機能へのアーリアクセス（カスタムモデルの作成など）

　※ＡＰＩのリクエストは別料金（トークン1000あたり）

 

Introducing ChatGPT Plus

 

GPT４

  • 3.5と比べ性能は向上しているが通常の会話にはあまり差がない
  • 高度なタスクへの返答が変わっている
  • また有害な情報へのフィルターが強化されている

GPT-4

 

ニュース

  1. MetaがメタバースじゃなくてAIに本気出すってよ | ギズモード・ジャパン
    （メタバースを作るためにも生成AI）

  2. ｢中国版ChatGPT｣発表したバイドゥ。対話型AIの米中競争、能力差は｢2カ月相当｣ | Business Insider Japan

 

その他

  1. FlexGenをGoogle Colaboratoryで動かして、ChatGPTライクな大規模言語モデルで遊ぶ - NIFTY engineering