PCA

pca
浅川伸一 <asakawa@twcu.ac.jp>
自己組織化は、多次元刺激として与えられる情報を、その刺激が持つ規則
性に従って 2 次元の皮質上へ照射する対応問題と見なすことができる。すな
わち入力層の空間多次元多様体から 2 次元部分空間への写像である。このよ
うな立場から、統計学の用語を用いて説明を試みる。
通常の意味での主成分分析では列方向に変数 (p)、行方向にデータ数 (n)、
となる行列を仮定する (X = (xij ), (1 ≤ i ≤ n, 1 ≤ j ≤ p)) ことが多いが、こ
こではニューラルネットワークとの関連を考え通常の意味でのデータ行列の
転置を入力データ行列 X とする ( X = (xij ),(1 ≤ i ≤ p, 1 ≤ j ≤ n) ) 主成
分分析とは適当な線形結合
y1
=
w11 x1 + w12 x2 + · · · + w1p xp
(1)
=
Xw1 ,
(2)
によって合成変量 y を最大化するベクトル w を見つけることである。この
ことは線形数学では固有値問題を解くことと同義である。合成変量 y の分散
を最大化するには、データ行列 X の分散共分散行列の最大固有値に対応す
る固有ベクトルを求めればよい。
1
パーセプトロンモデル
上記の主成分分析を神経回路網の立場で表現する。
X は入力データセットで、p 個のユニットからなる入力層に与えられる n
個のサンプルデータであると考える。これらのユニットから m 個の出力層ユ
ニットに全結合しているモデルを考える。
簡単のため出力層のニューロンが 1 個しかない場合 (m = 1) を考えると、
k 番目の入力パターンに対する出力層ユニットの出力は以下の式、
p
yk =
wi xki = (w · xk ) .
(3)
i
に従う、すなわち線形出力ユニットを考える。ここで、wi はパターン k が与
えられたときの i 番目の入力層ユニット xki (1 ≤ i ≤ p, 1 ≤ k ≤ n) と出力層
のユニットとの結合係数である。パターン k が与えられたときの i 番目の入
1
力層ユニットから出力層ユニットへの結合強度 wi が式 (4) のようなヘッブ則
∆wi = η yk xki ,
(4)
を用いて更新されたとすると、wi の漸化式は以下のようになる
p
∆wi (t+1) = wi (t)+∆wi = wi (t)+η yk xi = wi (t)+η
wi xki , (for all k).
i
(5)
wi をまとめて w とベクトル表現すれば
∆w(t + 1) = w(t) + ∆w = w(t) + η (xk · w) xk ,
(6)
である。
学習が成立 (収束) した時点での ∆w は 0 になる (すなわち結合係数の更
新が行なわれない) ことが期待されるので、全入力パターンの平均を考えて
0=
1
n
n
∆w(k) = η
k=1
1
n
n
w · x(k) x(k) = η
k=1
1
X Xw
n
(7)
が成り立っていなければならない。ところが X X は、実対称行列であり、
固有値はすべて正で固有ベクトルは直交する。すなわちヘッブの学習則では
有限回の学習によって解が求められない (実際には最大固有値に対応する固
有ベクトルの方向に際限無く大きくなっていく)1 。
そこで、式 (4) を修正して
∆wi = η yk (1 − yk ) xki
(8)
のように変形すると結合強度ベクトルは最大固有値の方向を向き、かつ収束
することが Oja(1988) によって証明されている。すなわち、ヘッブ則を使っ
た自己組織化アルゴリズムを用いて入力データの統計的な性質をネットワー
クに学習させることができる。
X が 2 重中心化されていれば、rank(X) = p − 1 が保証されることになる。
⊥
X X = P⊥
M XP M
⊥
P⊥
M XP M
= L X X − L⊥ X X
(9)
ここで、すべての要素が 1 であるベクトルへの射影演算を L(·) と表わした。
直交射影行列の固有値は常に 1 であることを考慮すると、式 (7) の固有値問
題は
w = X Xw
(10)
となって固有値 1 に対応する固有ベクトルを求める問題と同一になる。
10
以外に解がない
2
1.1
|w| = 1 になることの証明
出力 x の分散を考えれば
1
n
n
yk2 = w X Xw
(11)
k=1
である。ここで (w · w) = 1 の条件のもとで x の分散を最大化することを考
える。w は Lagrange の未定乗数 λ を用いて
E = w X Xw − λ (w w − 1)
(12)
を w で偏微分して 0 とおいた式
E
= 2Xw − 2λw = 0
∂w
(13)
Xw = λw
(14)
を解いて
が平衡状態で成り立つことになる。式 (14) は式 (10) と同じ形をしている。
ここで
λ = w Xw = w λw = λ|w|2
(15)
となるので、|w| = 1 が証明された。
1.2
出力層が複数ある場合
出力ニューロンが j 個 (1 ≤ j ≤ m) の場合は、
∆wij = ηy j
xj −
xk wk
xi
(16)
を用いて更新すればよいことが (Sanger, 1989) によって示された。Sanger の
考え方は、Gram–Schimidt の直交化をそのままニューラルネット上で実現し
たものととらえることができる。
文献
Oja, E. (1988). A simplified neuron model as a pricipal component analyzer.
Journal of Mathematical Biology, 15, 267–273.
Sanger, T. (1989). Optimal unsupervised learning in a single–layer linear
feed–forward neural network. Neural Networks, 2, 459–473.
3