転移学習の概要から重要度重み付き学習およびその要素技術である密度比推定をPythonによる実装例を通して解説します
本セミナーは、2024年3月18日に開催したアーカイブセミナーです。
実世界で機械学習を利用しようとするとき、予測モデルを訓練するデータと、それをテストするデータまたは運用時に提示されるデータが異質的である場合がしばしばあります。
この異質性は、画像や自然言語といったデータのモダリティの違いから来る場合もあれば、単一のモダリティであってもドメインごとにデータの生成分布が異なることに起因して生じる場合もあります。
転移学習とは，新しいタスクに対する有効な仮説を効率的に見つけるために別のタスクで獲得した知識を利用するための機械学習の方法を指します。
上述のような異質的な複数のドメインにまたがる環境で高性能な予測モデルを学習する方法も転移学習の守備範囲であり、特に大量の訓練データを用意することが難しい問題や、大規模なモデルの訓練コストを軽減する問題への強力なアプローチの１つとなっています。
また、医学や材料科学といったトータルのデータ数が限られている領域での知識獲得にも有効であることが期待されます。
本セミナーでは、ドメインの異質性の表現として、予測モデルの訓練時とテスト/運用時にデータの生成分布が変化する分布シフト（distribution shift）の設定に注目し、特に共変量シフト（covariate shift）という仮定を満たすときの方法である重要度重み付き学習と，その要素技術である密度比推定の方法について解説します。
本セミナーのトピックスは以下の通りです。
転移学習の概要：転移学習の期待リスク最小化問題としての定式化，ドメインの異質性，ドメインの不一致度と負転移
重要度重み付き学習の基礎：共変量シフト，確率密度比，重み付き経験損失最小化問題としての定式化
密度比推定の基礎：確率密度比の直接推定，カルバック-ライブラー重要度推定法（KLIEP），制約なし最小二乗重要度適合法（uLSIF）
実装例紹介：2と3についてPythonによる実装と実行例を紹介
このセミナーを通じて、転移学習の基本概念と、重要度重み付き学習の概要および実装手順を学ぶことができます。
松井 孝太（名古屋大学 講師）
[略歴]
2014年3月：名古屋大学大学院情報科学研究科 計算機数理科学専攻 博士課程後期課程 満期退学
2014年4月：名古屋工業大学つくり領域 特任研究員
2015年4月：名古屋大学大学院医学研究科 臨床医薬学講座生物統計学分野 特任助教
2018年6月：理化学研究所革新知能統合研究センター データ駆動型生物医科学チーム 特別研究員
2020年4月：名古屋大学大学院医学研究科 臨床医薬学講座生物統計学分野 講師
[主な研究実績]
Matsui, K., Kumagai, W., and Kanamori, T. (2017). Parallel distributed block coordinate descent methods based on pairwise comparison oracle. Journal of Global Optimization, 69-1, 1-21.
Matsui, K., Kumagai, W., Kanamori, K., Nishikimi M. and Kanamori, T. (2019). Variable Selection for Nonparametric Learning with Power Series Kernels. Neural Computation, 31-8, 1718-1750.
Matsui, K., Kusakawa, S., Ando, K., Kutsukake, K., Ujihara T. and Takeuchi, I. Bayesian Active Learning for Structured Output Design. arXiv:1911.03671 (preprint).
¥11,000
ベーシックプラン
お支払いから1ヶ月間、いつでもどこでも受講できます。
※講義動画のダウンロードはできません。
万が一、セミナーの資料や動画が異なる、動画や資料が閲覧できないなどの不備がございましたら、運営へお問い合わせください。
.png)
