DLと最小2乗法
|
・DLは最小2乗法のようなもの 入力(x)に対する出力(y)の式を求める(パラメータ(w)を求める) ・違うのは(1)wが大量、(2)式がwについて非線形なこと |
ディープラーニング(DL)は、よく脳のニューロンをモデル化したものと説明されるが、アルゴリズム的には最小2乗法のようなものと説明した方がふさわしい。 (本物の脳ではDLの学習方法であるバックプロパゲーションに相当する働きは見つかってないらしい)
◇
最も簡単な最小2乗法では、入力(x)に対する出力(y)の1次式の重み(w)を求める。
(注) 定数項bも含めて重みwとよぶことにする
◇◇
DLでは、画像(x,画素の輝度)を入れたらクラス(y, ~らしいほど1に近い)を出す式の重み(w)を求める。
例) 3x4画像から数字の0,1を識別
入力は画素数の12個、出力は0と1の2個、中間層は設計しだいで任意。
◇◇◇
最小2乗法と違うのは次の2点である。
(1) wが大量 (→補足 - 数列問題の万能の解法)
(2) 式がwについて非線形
もし1次式φ(z)=zだと 多層に増やしても1層の1次式と同じままである。
2次式φ(z)=z2 だと L層に増やしても1層の2L次式と本質的に同じままである。
sigmoid関数だとwについても非線形になるので、多層にする意味があるというわけである。