ニューラルネットワークの重みの初期値

色々と思うところがあったので、忘れないように自戒もこめてメモする。

重みの初期値は大事と改めて実感したのでいくつか適当に載せる。詳しい内容は書かないが、有名どころとその論文だけ載せる。 Keras使ってるわけじゃないけど、これ見たら早いのでこれも載せて終わる。同じ人の同じ論文でも違う種類の初期化方法があることに注意。

Lecun