自然言語処理の王様「BERT」の論文を徹底解説 - Qiita

Tags

Top Highlights

• 異なるタスクにおいてもアーキテクチャが統一されている というのが、BERTの特徴である。

• BERTはTransformerのEncoderを使ったモデルだよ。 あらゆるNLPタスクにファインチューニング可能なモデルだから話題になったよ。 事前学習としてMLM(=Masked Language Modeling)とNSP(Next Sentence Prediction)を学習させることで爆発的に精度向上したよ。

• BERTの学習には以下の2段階がある。 事前学習: ラベルなしデータを用いて、複数のタスクで事前学習を行う ファインチューニング: 事前学習の重みを初期値として、ラベルありデータでファインチューニングを行なう。

• 入出力: タスクによって1つの文(Ex.感情分析)、または2つの文をつなげたもの(Ex.Q&A) BERTへの入力を以下、sentenceと呼ぶ。 sentenceの先頭に[CLS]トークンを持たせる。 2文をくっつける時は、間に[SEP]トークンを入れ かつ それぞれに1文目か2文目かを表す埋め込み表現を加算 する。 最終的に入力文は以下のようになる。