Neural Relational Inference for Interacting Systems
タイトル : Neural Relational Inference for Interacting Systems
- 著者
- Thomas N. Kipf (1)
- Ethan Fetaya (2, 3)
- Kuan-Chieh Wang (2, 3)
- Max Welling (1, 4)
- Richard Zemel (2, 3, 4)
- University of Amsterdam
- University of Toronto
- Vector Institute
- Canadian Institute for Advanced Research (CIFAR)
↓本論文
https://arxiv.org/pdf/1802.04687.pdf (ICML2018)
概要
いくつかの物体から構成されているグループと見なせるような動的な物体 (粒子とか?)の相互作用を予測する.
その際に, グループに対して潜在的なグラフネットワークを構築し, その潜在的なグラフ (以下潜在グラフ)上でVAEとグラフニューラルネットワーク (GCNと何が違うのかはあまり分からない, 多分一緒.) を使って推論を行う.
教師なしで学習するが, 優れた性能を示した.
背景
物理学, 生物学, スポーツなどの分野での動的システムは個々の物体が複雑に相互作用しているグループと見なせる.
大抵の場合, 個々の物体間に介在している仕組みは分かっていないので, 難しい.
例としてバスケとかは明らかに他の人に影響されながら個々人の動画が行われている.
頑張ったら''この動きは, この人がこうしたから起きました''といったような説明ができるかもしれない.
他の分野にも応用できるような相互作用の仕組みを明らかにする方法を考えたい.
提案手法
提案モデルの入出力は以下.
- 入力
- N個の物体のある時刻tまでの軌道 (速度や位置)
- 出力
- エッジタイプ (エッジタイプは相互作用のクラスターに相当)
モデルは, 大きく2つに分けられる.
グループの軌道から潜在的な相互作用 (潜在グラフ)を構築するEncoderと, 潜在グラフと時刻tでの物体の情報から時刻t+1での物体の動きを予測するDecoderから成る.
VAE同様にencoderからdecoderに渡す時にサンプリングする過程もある. サンプリングするのは, 以下でも説明するが, エッジの潜在確率変数をサンプリングする.
VAEのモデルとして, 提案モデルを定式化すると, 以下の目的関数を最適化する.
ここで, ,
はそれぞれ, 入力される物体の軌道及び潜在グラフのエッジを表す.
例えば
は物体
間のエッジの確率分布になっている (エッジが複数種類考慮されていることに注意).
Encoder
Encoderは入力について, 物体
(頂点)に対する埋め込みを作り, 頂点→枝→頂点→枝とし,
得られた枝の特徴量を関数に通して, 事後分布とする.
頂点→枝→頂点→枝で特徴量を伝搬することで, グラフ全体の特徴量, すなわち相互作用を考慮することが出来る.
頂点→枝のみでは, それは出来ない.
Sampling
今回の手法の場合, エッジの種類を表すone hot ベクトルをサンプリングしてくる, すなわちサンプリングが離散的な値になるので, そのままだと逆伝搬して学習できない.
よって, ここでは離散分布を連続分布に近似する手法, Gumble Softmaxを用いる. 最近結構使われている.
詳細は以下.
[1611.01144] Categorical Reparameterization with Gumbel-Softmax
[1611.00712] The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
続きはまた気が向いたらまとめる.
実験
参考
