独立成分分析は埋め込み空間の普遍的な幾何学的形状を明らかにする
Discovering Universal Geometry in Embeddings with ICA

概要

本研究では，独立成分分析 (ICA) を利用して，単語や画像の埋め込みにおける一貫した意味構造を明らかにする．我々のアプローチは，主成分分析 (PCA) における白色化処理の後に残る異方性情報を活用することにより，事前に訓練されたモデルの埋め込みから独立した意味の成分を抽出する．各埋め込みは，いくつかの解釈可能な軸から構成され，これらの意味をもつ軸は，異なる言語，アルゴリズム，モダリティ間で一貫性を保つことを実証する．埋め込みの幾何学的形状に普遍的な意味構造が発見されたことで，埋め込みにおける表現の理解が深まった．

産業界への展開例・適用分野

埋め込みは機械学習の最も基本的な構成要素の 1 つである．そのため，興味のあるデータを埋め込みとして扱う機会は多い．その際，それらの埋め込みについて ICA 変換することで，その埋め込みがどのような特徴をとらえているのかを容易に理解することができると考えられる．

研究者

氏名	コース	研究室	役職/学年
山際　宏明	システム科学コース	統計知能分野	博士2回生
大山　百々勢	システム科学コース	統計知能分野	修士2回生
下平　英寿	システム科学コース	統計知能分野	教授

Web Site

https://arxiv.org/abs/2305.13175