ChatGPTの画期的なところ「アテンションとトランスフォーマー」について|AI/人工知能の基礎
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
ご訪問ありがとうございます。
今回は、ChatGPTの画期的なところ「アテンションとトランスフォーマー」についてご紹介します。
AI・人工知能関連サイトマップのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
IT関連サイトマップをご紹介します。
AI・人工知能関連サイトマップのご紹介 |
|||
学び/学習TOP > IT|ゲーム作り|HP作成 | |||
ITtop > エディタ|プログラミング| | |||
人工知能/AI Top> | |||
【AI関連ランキング】 | |||
■世界の開発者が最も利用しているランキング AI検索ツール|AI開発ツール| |
|||
【AI検索ツール】 | |||
■ChatGPT 特徴と利用方法|採用ツール|| ■WolframAlpha 特徴と利用方法|歴史(WolframAlpha|Mathematica)|■Perplexity AI|■Phind |
|||
【AI/人工知能の基礎】 | |||
■基礎 種類|しくみ|ChatGPT(得意なこと|できることと注意点|画期的なところ|強み|利用規約)|関連用語 ■歴史/系譜 人工知能の誕生|ニューラルネットワーク|ディープラーニング|DBN誕生の背景|AlexNetその後の影響|トランスフォーマーモデル(登場|影響を受けた生成AI|BERT)|生成系AI| |
|||
【回答精度を上げるプロンプトエンジニアリング】 | |||
■基本(プロンプトエンジニアリングとは|登場の背景と未来|基礎|4つの基本|質問の仕方) ■手法(テキスト作成|情報収集|文章(作成|添削|レポート)|外国語 プログラミング活用|表計算ソフト|Windowsコマンド) |
|||
【関連】 | |||
テキストエディタ(サクラエディタ|正規表現) プログラミング【C言語】STG作り方|C言語の入門/基礎|リファレンス/サンプル文 |
|||
■■│コペンギンTOP > ゲーム│ホビー│書籍・マンガ│■■ |
1:機械翻訳の飛躍的な発展
従来AIの欠点
「アテンション(注意機構)」という考え方
従来の処理方法(再帰的な逐次処理)
従来の処理方法の課題
|
従来の方式では逐次処理が必要
|
処理が長くなると遠い情報が薄れてゆく
|
アテンションによる処理方法
![](https://kopenguin.com/wp-content/uploads/2020/03/kopen-icon.png)
アテンションによる処理方法では、入力文のどこが重要なのかという情報(Attention)を翻訳に役立てます。
アテンション処理方法のメリット
|
並列計算がしやすく、単語の距離に依存しない
|
入力文のどこが重要なのかを学習して次の単語の予測に役立てる
|
2:トランスフォーマーの登場
トランスフォーマーによる処理の進化
使いこなしのヒント「AttentionIs All You Need」とは
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
自然言語処理の革新となったトランスフォーマーは、「AttentionIs All You Need」という非常に有名な論文で発表されました。タイトル通り、アテンションの重要性を説明したもので、実際、この考え方が、現在の高度な対話型AIと、今後のAIの発展の礎になっています。
ChatGPTは「次の単語を予測しているだけ」
並列処理ができるのが大きな強み
自然言語処理に「理解度」と「知識量」の飛躍的な向上がもたらしたトランスフォーマー
AI・人工知能関連サイトマップのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
IT関連サイトマップをご紹介します。
AI・人工知能関連サイトマップのご紹介 |
|||
学び/学習TOP > IT|ゲーム作り|HP作成 | |||
ITtop > エディタ|プログラミング| | |||
人工知能/AI Top> | |||
【AI関連ランキング】 | |||
■世界の開発者が最も利用しているランキング AI検索ツール|AI開発ツール| |
|||
【AI検索ツール】 | |||
■ChatGPT 特徴と利用方法|採用ツール|| ■WolframAlpha 特徴と利用方法|歴史(WolframAlpha|Mathematica)|■Perplexity AI|■Phind |
|||
【AI/人工知能の基礎】 | |||
■基礎 種類|しくみ|ChatGPT(得意なこと|できることと注意点|画期的なところ|強み|利用規約)|関連用語 ■歴史/系譜 人工知能の誕生|ニューラルネットワーク|ディープラーニング|DBN誕生の背景|AlexNetその後の影響|トランスフォーマーモデル(登場|影響を受けた生成AI|BERT)|生成系AI| |
|||
【回答精度を上げるプロンプトエンジニアリング】 | |||
■基本(プロンプトエンジニアリングとは|登場の背景と未来|基礎|4つの基本|質問の仕方) ■手法(テキスト作成|情報収集|文章(作成|添削|レポート)|外国語 プログラミング活用|表計算ソフト|Windowsコマンド) |
|||
【関連】 | |||
テキストエディタ(サクラエディタ|正規表現) プログラミング【C言語】STG作り方|C言語の入門/基礎|リファレンス/サンプル文 |
|||
■■│コペンギンTOP > ゲーム│ホビー│書籍・マンガ│■■ |
AI・人工知能関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
AI・人工知能関連ページをご紹介します。
IT関連サイトマップのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
IT関連サイトマップをご紹介します。
IT関連サイトマップのご紹介 |
|||
学び/学習TOP > IT|ゲーム作り|HP作成 | |||
ITtop > | |||
ITビジネス|人工知能|開発ツール|プログラミング|チームコミュニケーションツール 開発ツール(サクラエディタ|正規表現)| ゲーム開発|ホームページ作成・運用 自作PC 【ゲーム作り】STG作り方|C言語の入門/基礎|リファレンス/サンプル文 【HP作成】WordPress|Cocoon|便利テクニック |
|||
【プログラミング】 | |||
【C言語】STG作り方|C言語の入門/基礎|リファレンス/サンプル文 | |||
■■│コペンギンTOP > ゲーム│ホビー│書籍・マンガ│■■ |
シューティングゲーム | ゲーム | 中古・新品通販の駿河屋
IT関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
IT関連ページをご紹介します。
「学ぶ」学習用関連サイトマップのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
「学ぶ」学習用関連サイトマップをご紹介します。
![]() 「学ぶ」学習用関連サイトマップのご紹介 |
|||
学び/学習TOP > IT|ゲーム作り|HP作成 | |||
【IT】エディタ/正規表現|プログラミング| 【ゲーム作り】STG作り方|C言語の入門/基礎|リファレンス/サンプル文 【HP作成】WordPress|Cocoon|便利テクニック |
|||
■■│コペンギンTOP > ゲーム│ホビー│書籍・マンガ│■■ |
シューティングゲーム | ゲーム | 中古・新品通販の駿河屋
「学ぶ」学習用関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
「学ぶ」学習用関連ページをご紹介
コペンギン・サイトマップ
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
コペンギンのサイトマップをご紹介します。
【コペンギンTOP】サイトマップ | ||||
コペンギンTOP > ゲーム│ホビー│書籍・マンガ│ | ||||
■■│コペンギンTOP > ゲーム│ホビー│書籍・マンガ│■■ |
||||
サイトマップ一覧 |
懐かしの名作から最新作までの豊富な品揃え!通販ショップの駿河屋
コペンギンサイトマップ関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2020/03/Penguin-icon-2.png)
コペンギン関連ページをご紹介します。
【ゲームTOP】ゲーム関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2022/03/20220314-1308-160x99.jpg)
【書籍・雑誌TOP】書籍・雑誌サイトマップ関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2022/03/20220313-2158-160x99.png)
【ホビーTOP】ホビーサイトマップ関連ページのご紹介
![](https://kopenguin.com/wp-content/uploads/2022/03/20220313-2313-160x99.jpg)