正則化手法を用いた浅いニューラルネットワークのオンライン学習の統計力学的解析
ニューラルネットワーク自体は古くから存在していましたが,学習が難しいことで知られていました. 近年のニューラルネットワークの実応用への躍進には,この困難な学習を容易にする手法の発展が欠かせませんでした. そのような手法の一つに「正規化手法」と呼ばれる手法があります. 私はこの正規化手法が学習にどのような影響を与えるのかについて研究しました. 学習ダイナミクスを解析するにあたり,私は1990年代に物理学者によって提案された, 統計力学的解析手法を用いました [Saad & Solla 1995]. これは,パラメータ数の大自由度極限をとるなどの諸々の仮定のもとで, 浅いニューラルネットワークの学習ダイナミクスを厳密に導出できるという手法です.近年,統計力学のメッカともよべるフランスの研究者たちが この手法を用いた一連の研究を発表したことで,この手法は再び注目を集めています [Goldt et al. NeurIPS 2019] [Goldt et al. 2019] .