バイク/自動二輪

ChatGPTの画期的なところ「アテンションとトランスフォーマー」について|AI/人工知能の基礎

ChatGPTの画期的なところ「アテンションとトランスフォーマー」について|AI/人工知能の基礎 バイク/自動二輪
スポンサーリンク

ChatGPTの画期的なところ「アテンションとトランスフォーマー」について|AI/人工知能の基礎

ご訪問ありがとうございます。
今回は、ChatGPTの画期的なところ「アテンションとトランスフォーマー」についてご紹介します。

AI・人工知能関連サイトマップのご紹介

IT関連サイトマップをご紹介します。

AI・人工知能関連サイトマップのご紹介
学び/学習TOP > IT|ゲーム作り|HP作成
ITtop > エディタ|プログラミング|
人工知能/AI Top
【AI関連ランキング】
世界の開発者が最も利用しているランキング
AI検索ツール|AI開発ツール|
【AI検索ツール】
■ChatGPT 特徴と利用方法|採用ツール||
■WolframAlpha 特徴と利用方法|歴史(WolframAlpha|Mathematica)|■Perplexity AI|■Phind
【AI/人工知能の基礎】
■基礎
種類|しくみ|ChatGPT(得意なこと|できることと注意点|画期的なところ|強み|利用規約)|関連用語
■歴史/系譜
人工知能の誕生|ニューラルネットワーク|ディープラーニング|DBN誕生の背景|AlexNetその後の影響|トランスフォーマーモデル(登場|影響を受けた生成AI|BERT)|生成系AI|
【回答精度を上げるプロンプトエンジニアリング】
基本(プロンプトエンジニアリングとは|登場の背景と未来|基礎|4つの基本|質問の仕方)
手法(テキスト作成|情報収集|文章(作成|添削|レポート)|外国語
プログラミング活用|表計算ソフト|Windowsコマンド)
【関連】
テキストエディタ(サクラエディタ|正規表現)
プログラミングC言語STG作り方|C言語の入門/基礎|リファレンス/サンプル文

■■│コペンギンTOP > ゲームホビー書籍・マンガ│■■
ゲームTOP > ランキング傑作・名作機種別ジャンル別
学び/学習TOP > IT|ゲーム作り|HP作成
ホビーTOP > プラモデルミリタリーエアガン
●映像>アニメ(ロボットアニメ)│映画│
書籍・マンガ > ゲーム雑誌マンガ


1:機械翻訳の飛躍的な発展

ChatGPTのような自然言語処理分野のAIは、ここ数年で飛躍的に進化しました。その背景には、機械翻訳分野での革新があります。
従来AIの欠点
機械翻訳の分野で使われていた従来の方法では、単語を逐次、再帰的に処理するため、文章が長くなると遠い単語の成分が薄れて、翻訳時に考慮されにくくなるという欠点がありました。

「アテンション(注意機構)」という考え方
そこで登場したのが「アテンション(注意機構)」という考え方です。アテンションは、あらかじめ文章内の単語の相互関係を学習することで、文章の中のどの単語に注意すればいいかを判断します。これにより、遠い単語も考慮されるようになり、翻訳の精度が飛躍的に向上しました。

従来の処理方法(再帰的な逐次処理)

従来の処理方法(再帰的な逐次処理)

従来の処理方法の課題
従来の方式では逐次処理が必要
処理が長くなると遠い情報が薄れてゆく

アテンションによる処理方法

アテンションによる処理方法

アテンションによる処理方法では、入力文のどこが重要なのかという情報(Attention)を翻訳に役立てます。

アテンション処理方法のメリット
並列計算がしやすく、単語の距離に依存しない
入力文のどこが重要なのかを学習して次の単語の予測に役立てる

2:トランスフォーマーの登場

アテンションは、その後、研究が進み、あらゆる分野で重要な役割を果たせることがわかってきました。中でもChatGPTなどの自然言語処理の分野に革命をもたらしたのが、アテンションを活用した「トランスフォーマー」というモデルです。
トランスフォーマーの登場によって、AIと人が会話をするような自然言語処理で、仮に文章や会話が長くなったとしても、その文脈を考慮した正確な応答ができるようになりました。
また、トランスフォーマーは並列処理が可能なため、大量のデータを学習し、より正確な回答をすることも可能になりました。

トランスフォーマーによる処理の進化

トランスフォーマーによる処理の進化

深層学習のしくみとしてアテンションを組み込んだ「トランスフォーマー」
使いこなしのヒント「AttentionIs All You Need」とは

自然言語処理の革新となったトランスフォーマーは、「AttentionIs All You Need」という非常に有名な論文で発表されました。タイトル通り、アテンションの重要性を説明したもので、実際、この考え方が、現在の高度な対話型AIと、今後のAIの発展の礎になっています。

ChatGPTは「次の単語を予測しているだけ」
ChatGPTのような対話型AIは、あたかも文章の内容を理解して回答しているかのように見えますが、しくみとしては「次の単語」を予測しているだけに過ぎません。
例えば、ここで例として取り上げた「日本一高い山は」という問いに対して、アテンションによって「日本一」「高い」などの単語を考慮していますが、単純化すると「山は」に続く単語として「富士山」を予測しているだけになります。
並列処理ができるのが大きな強み
トランスフォーマーの画期的な点は、レッスンでも触れたように文章の文脈を考慮できることに加え、「並列処理」が可能な点があります。これにより、インターネット上のWebなど、大量のデータを高速に学習することが可能になりました。
自然言語処理に「理解度」と「知識量」の飛躍的な向上がもたらしたトランスフォーマー
ChatGPTなどのベースとなるGPT-3などのモデルは「大規模言語モデル」と呼ばれますが、その規模の大きさを支えているのがトランスフォーマーによる並列処理となります。つまり、トランスフォーマーによって自然言語処理に「理解度」と「知識量」の飛躍的な向上がもたらされたことになります。

AI・人工知能関連サイトマップのご紹介

IT関連サイトマップをご紹介します。

AI・人工知能関連サイトマップのご紹介
学び/学習TOP > IT|ゲーム作り|HP作成
ITtop > エディタ|プログラミング|
人工知能/AI Top
【AI関連ランキング】
世界の開発者が最も利用しているランキング
AI検索ツール|AI開発ツール|
【AI検索ツール】
■ChatGPT 特徴と利用方法|採用ツール||
■WolframAlpha 特徴と利用方法|歴史(WolframAlpha|Mathematica)|■Perplexity AI|■Phind
【AI/人工知能の基礎】
■基礎
種類|しくみ|ChatGPT(得意なこと|できることと注意点|画期的なところ|強み|利用規約)|関連用語
■歴史/系譜
人工知能の誕生|ニューラルネットワーク|ディープラーニング|DBN誕生の背景|AlexNetその後の影響|トランスフォーマーモデル(登場|影響を受けた生成AI|BERT)|生成系AI|
【回答精度を上げるプロンプトエンジニアリング】
基本(プロンプトエンジニアリングとは|登場の背景と未来|基礎|4つの基本|質問の仕方)
手法(テキスト作成|情報収集|文章(作成|添削|レポート)|外国語
プログラミング活用|表計算ソフト|Windowsコマンド)
【関連】
テキストエディタ(サクラエディタ|正規表現)
プログラミングC言語STG作り方|C言語の入門/基礎|リファレンス/サンプル文

■■│コペンギンTOP > ゲームホビー書籍・マンガ│■■
ゲームTOP > ランキング傑作・名作機種別ジャンル別
学び/学習TOP > IT|ゲーム作り|HP作成
ホビーTOP > プラモデルミリタリーエアガン
●映像>アニメ(ロボットアニメ)│映画│
書籍・マンガ > ゲーム雑誌マンガ


AI・人工知能関連ページのご紹介

AI・人工知能関連ページをご紹介します。

 

IT関連サイトマップのご紹介

IT関連サイトマップをご紹介します。

シューティングゲーム | ゲーム | 中古・新品通販の駿河屋

IT関連ページのご紹介

IT関連ページをご紹介します。

 

「学ぶ」学習用関連サイトマップのご紹介

「学ぶ」学習用関連サイトマップをご紹介します。

シューティングゲーム | ゲーム | 中古・新品通販の駿河屋

「学ぶ」学習用関連ページのご紹介

「学ぶ」学習用関連ページをご紹介

コペンギン・サイトマップ

コペンギンのサイトマップをご紹介します。

ゲーム・古本・DVD・CD・トレカ・フィギュア 通販ショップの駿河屋
懐かしの名作から最新作までの豊富な品揃え!通販ショップの駿河屋

コペンギンサイトマップ関連ページのご紹介

コペンギン関連ページをご紹介します。

【ゲームTOP】ゲーム関連ページのご紹介

【ゲームTOP】ゲーム関連ページのご紹介
【TOP】ゲーム関連ページのご紹介 ご訪問ありがとうございます。 今回は、ゲーム関連ページをご紹介します。 PS5ソフトELDEN RING

【書籍・雑誌TOP】書籍・雑誌サイトマップ関連ページのご紹介

【書籍・雑誌TOP】書籍・雑誌サイトマップ関連ページのご紹介
書籍・雑誌サイトマップ関連ページのご紹介 ご訪問ありがとうございます。 今回は、書籍・雑誌サイトマップ関連ページをご紹介します。 その他コミック初版)AKIRA(デラックス版) 全6巻セット / 大友克洋

【ホビーTOP】ホビーサイトマップ関連ページのご紹介

【ホビーTOP】ホビーサイトマップ関連ページのご紹介
【TOP】ホビーサイトマップ関連ページのご紹介 ご訪問ありがとうございます。 今回は、ホビーサイトマップ関連ページをご紹介します。 プラモデル1/100 MG MS-09 ドム 「機動戦士ガンダム」
タイトルとURLをコピーしました