あかすくぱるふぇ

同人サークル「あかすくぱるふぇ」のブログです。

・活性化関数
ステップ関数
シグモイド関数
ReLU関数

・出力層
分類問題ならソフトマックス関数

・ミニバッチ
縦にバッチを並べると結果も縦に並ぶ

・交差エントロピー誤差
正解ラベルkについて、ソフトマックス値ykのとき、誤差は-log(yk)
完璧に推定すると、yk=1なので誤差は0
そうでない場合は正の値となる
それを数式にするとΣ-tk・log(yk)

・数値微分による学習
numerical_gradient(f, x) = f(x+h) - f(x) / h
f : 損失関数, x : パラメータ
損失関数の勾配を算出することで、損失関数が小さくなる方向にパラメータxを変化させる

・誤差逆伝搬法
∂L/∂x = ∂L/∂z ・ ∂z/∂x
この「∂L/∂zが計算済」というのが逆伝搬するということ

・データの場所
Training/TestとImage/Labelの組み合わせで4ファイル

・Image
uint8型で784byteが60000個(Training)と10000個(Test)

・Label
uinit8型で1byteが60000個(Training)と10000個(Test)
onehotベクトル化すると10byte

・全体像
中間層のループ。下記リンクのp.19。
中間層の各ノードがLSTMブロック(中間層全体ではなく)。

・LSTMブロックの直球な説明

・メモリセル
Input gate, Input modulation gate, forget gateのやり取りをまとめると、メモリセルになる

・詳細な説明
http://s0sem0y.hatenablog.com/entry/2017/05/06/182757

↑このページのトップヘ