高木 志郎

About

フリーランスで研究者をしています.どのようにして人間は思考しているのか,知能の限界はどこで 可能性は何かということに興味があります.長期的には研究者を人工的に作ることを目標に研究をしています. また,研究という営みそれ自体にも関心があり,広い意味での研究の自動化・民主化にも興味を持っています.

研究業績の詳細については英語のページをご覧ください.

Research

修士課程では,機械学習において「学習はいつうまくいくのか?」という問題について研究しました.

正則化手法を用いた浅いニューラルネットワークのオンライン学習の統計力学的解析

ニューラルネットワーク自体は古くから存在していましたが,学習が難しいことで知られていました. 近年のニューラルネットワークの実応用への躍進には,この困難な学習を容易にする手法の発展が欠かせませんでした. そのような手法の一つに「正規化手法」と呼ばれる手法があります. 私はこの正規化手法が学習にどのような影響を与えるのかについて研究しました. 学習ダイナミクスを解析するにあたり,私は1990年代に物理学者によって提案された, 統計力学的解析手法を用いました [Saad & Solla 1995]. これは,パラメータ数の大自由度極限をとるなどの諸々の仮定のもとで, 浅いニューラルネットワークの学習ダイナミクスを厳密に導出できるという手法です.近年,統計力学のメッカともよべるフランスの研究者たちが この手法を用いた一連の研究を発表したことで,この手法は再び注目を集めています [Goldt et al. NeurIPS 2019] [Goldt et al. 2019]

メタ学習

私たち人間は,「学習方法自体を学習する」といったような,ある種の階層的な学習を行います. このような学習のことを「メタ学習」といいます. このメタ学習を用いて,タスクをうまく解くための事前知識を学習する手法に, Model-agnostic Meta-learning (MAML)と呼ばれる手法があります. 私はこの手法がうまくいくのはどのような場合かを調べました. MAMLでは,個別のタスクについてどれだけ一度に学習を進めるかという量(タスクごとの学習率)と, タスク全体についてどれだけ学習を進めるかという量(メタ学習率)があります. 極めて大雑把な計算の結果,学習がうまくいくために取りうるメタ学習率と, タスクごとの学習率の間の,ある種の関係性を予測することができました. この関係性は,数値実験によって,実験的にも確認することができました.

学部時代は,国際政治学と感性心理学についての研究を行いました.

日米安保公共財論再考

「日米安全保障体制はアジア太平洋の公共財である」という文言・認識が政府内外において定着しています. しかし,経済学において一般に用いられる「公共財」という概念を念頭に置いた時に, 二国間の軍事的な関係である日米安保体制にこのような文言を用いることには違和感を覚えます. そこで私は,日米安保体制はいつどのようにして「公共財」と呼ばれるようになったのか, それはどのような文脈を反映していて,その政策的含意は何か,ということについて調べました.

人間の顔に対する印象について

私たちは人間の顔を見る時に,「魅力的である」「怖い」などのなんらかの印象を受けます. しかしこのような印象はなぜどのようにして生じるのでしょうか? 私はこのような顔認識における印象の発生において, 複数の神経細胞の同期的な発火による巨視的なパターンが重要であると考えました. そこで,経頭蓋交流電気刺激(tACS)を用いて大域的な活動に介入を行うことで, 人間の顔に対する印象に変化が現れるかを調べました.

Job

受託させていただけるお仕事を随時募集しております.これまで携わらせていただいたお仕事には以下のようなものがあります.

論文サーベイ資料作成及び発表

ご要望に基づいて,機械学習関連の論文をサーベイし,スライドにまとめてご説明いたします. 例えば,これまで以下の様なケースについて扱ってきました.

その他,法人向け講義資料の作成及び講義も担当させていただいたことがあります. 機械学習は全くわからないけれど色々知りたい,といった場合も喜んでご説明いたします. いずれの場合においても,できるだけご要望に添える情報を提供できる様にお話を伺いますので, 少しでもご興味を持たれましたら,是非ご連絡ください.

例:BERT後の自然言語処理についてのサーベイ

機械学習モデルの改良

新しく使えるデータが増えた,対応しなければならないケースが増えたなどの場合に, 機械学習モデルの改良に携わらせていただいた経験があります. ニューラルネットワークのモデルの実装においては,pytorchを用いた実装を行うことができます.

その他簡単なデータ解析や数値実験くらいであればお手伝いできますので,是非ご連絡ください.

Contact