ニューラルネット/BP法の改良/CE法
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
''[[FrontPage]]''
* クロスエントロピー法によるBP法の収束加速 [#s1fbfe01]
階層型ニューラルネットワークにおけるBP法には、その勾配法...
今回は、以下の論文で提案されている改良型BP法(以下、CE法)...
[[A. Van Ooyen, B. Nienhuis, `Improving the Convergence o...
** CE法論文の要旨 [#hbc85d67]
CE法は、よりシンプルな学習信号の算出式を持つ。~
そしてその学習信号はオリジナルのBP法より強力なものになる。~
結果として、CE法での学習による収束は、以下の二点で改善さ...
+ まず、オリジナルBP法で見られる[[学習の停滞期>ニューラル...
+ 二つ目に、ネットワークがほぼ正解へ収斂している状態にお...
(A. Van Ooyen, B. Nienhuis, `Improving the Convergence of...
難しい問題はさておき、CE法がどのような学習信号算出を行う...
#ref(http://bj006.com/images/improving_BP_method.png)
** CE法の特長 [#dc870e3d]
上で見た学習信号の違いは、オリジナルBP法が評価関数に通常...
CE法ではクロスエントロピーを用いていることに由来する。~
~
この違いによって、評価関数を結合荷重で偏微分したときに、~
結果的に、BP法で見られるo * (1 - o)の項がドロップしたシン...
*** オリジナルBP法における学習の停滞期とは、 [#b58078aa]
+ ほとんどの出力ユニットが正しい出力をしているが数ユニッ...
+ 学習の初期に多くの出力ユニットが0または1に近い状態の場...
CE法ではそのような場合でも直接的で強力な学習信号を発生さ...
学習の収束を速めるという仕組みになっている。~
** まとめ(筆者の認識) [#nc5cb8b8]
教師信号が0または1のみ、またはそれに近いような、典型的な...
しかもプログラムの実装、計算自体もシンプルになる副次的効...
*** 修正履歴 [#qac23768]
~
*** 課題 [#e4ea9ac5]
-備考~
~
*** 参考ページ [#occ630da]
[[Arjen van Ooyen:http://www.bio.vu.nl/enf/vanooyen/]]~
[[短期記憶を用いたシンプルリカレントネットワークによるカ...
終了行:
''[[FrontPage]]''
* クロスエントロピー法によるBP法の収束加速 [#s1fbfe01]
階層型ニューラルネットワークにおけるBP法には、その勾配法...
今回は、以下の論文で提案されている改良型BP法(以下、CE法)...
[[A. Van Ooyen, B. Nienhuis, `Improving the Convergence o...
** CE法論文の要旨 [#hbc85d67]
CE法は、よりシンプルな学習信号の算出式を持つ。~
そしてその学習信号はオリジナルのBP法より強力なものになる。~
結果として、CE法での学習による収束は、以下の二点で改善さ...
+ まず、オリジナルBP法で見られる[[学習の停滞期>ニューラル...
+ 二つ目に、ネットワークがほぼ正解へ収斂している状態にお...
(A. Van Ooyen, B. Nienhuis, `Improving the Convergence of...
難しい問題はさておき、CE法がどのような学習信号算出を行う...
#ref(http://bj006.com/images/improving_BP_method.png)
** CE法の特長 [#dc870e3d]
上で見た学習信号の違いは、オリジナルBP法が評価関数に通常...
CE法ではクロスエントロピーを用いていることに由来する。~
~
この違いによって、評価関数を結合荷重で偏微分したときに、~
結果的に、BP法で見られるo * (1 - o)の項がドロップしたシン...
*** オリジナルBP法における学習の停滞期とは、 [#b58078aa]
+ ほとんどの出力ユニットが正しい出力をしているが数ユニッ...
+ 学習の初期に多くの出力ユニットが0または1に近い状態の場...
CE法ではそのような場合でも直接的で強力な学習信号を発生さ...
学習の収束を速めるという仕組みになっている。~
** まとめ(筆者の認識) [#nc5cb8b8]
教師信号が0または1のみ、またはそれに近いような、典型的な...
しかもプログラムの実装、計算自体もシンプルになる副次的効...
*** 修正履歴 [#qac23768]
~
*** 課題 [#e4ea9ac5]
-備考~
~
*** 参考ページ [#occ630da]
[[Arjen van Ooyen:http://www.bio.vu.nl/enf/vanooyen/]]~
[[短期記憶を用いたシンプルリカレントネットワークによるカ...
ページ名: