作って理解する Transformer / Attention - Qiita

Tags

Top Highlights

• attention は query によって memory (=key, value) から情報を引き出す仕組み key, value は memory を変換してつくる query と key から attention weight を計算する attention weight に従って value から情報を引き出す

• 文章（str）はそのままでは Deep Learning モデルの入力にできません。 なので、下記のように文章を適当なトークンに区切り、更にそれを数値（ID）に変換していきます。