大規模常識知識ベース構築のための常識表現の自動獲得 - 言語処理学会

言語処理学会 第20回年次大会 発表論文集 (2014年3月)
大規模常識知識ベース構築のための常識表現の自動獲得
真嘉比 愛
山本 和英
長岡技術科学大学 電気系
{makabi, [email protected]
1
はじめに
だ汎用的な知識ベースの構築を試みている.しかし上
位オントロジーを使ったこれらの研究は,厳密に定義
言葉の意味を理解する計算機を実現するためには,
された常識を利用できる反面,上位オントロジー上で
言語の文法的理解とともに,大量の常識 (世界知識) が
定義される常識表現と実際の語彙表現との対応が取れ
必要となる.そのため,それらの常識を集め,自然言
ないことが多く,自然言語処理のタスクで扱いづらい
語処理で利用可能な常識知識ベースを構築することを
という問題がある.
目指す研究が注目されている.
これに対し,MIT メディアラボが構築している常
本研究では,自然言語処理の意味解析に利用できる
識知識ベース ConceptNet[3] は,単語や短い文の単位
常識知識ベースを構築するために,名詞が格助詞付き
で常識定義を行なっているため,上位オントロジーと
で係る用言 (動詞,形容詞,サ変名詞) の集合をその名
比較して自然言語処理のタスクに適応しやすいという
詞の持つ常識であると仮定し,これらの常識を大規模
メリットがある.しかし各概念が持つ常識の大半が人
な Web テキストから自動的に獲得する手法を提案す
手で集められたものであり,常識の網羅性が低いとい
る.たとえば,名詞 “犬” と文中で係る “が-ほえる”,
う問題がある.ConceptNet を自動的に拡張しようと
“と-散歩” といった用言の集合は,名詞 “犬” が持つ常
する研究もあるが,十分な拡張には至っていない [8].
識である.
そこで本研究では,自然言語処理で利用可能な常識
更に,常識が類似した名詞は類似した常識集合を持
知識ベースを構築するために,自然言語を利用して常
つと仮定し,獲得した常識を利用して名詞同士の類似
識定義を行うとともに,大量の常識を自動的に収集す
度計算を行う.名詞同士の類似度を測ることで,同時
る手法を提案する.
に名詞同士の関係性を推定することが可能となる(例
えば,名詞 “犬” と名詞 “猫” は類似した常識を持つ類
3
処理対象となる名詞および用言
似した概念であり,双方の名詞に共通する常識集合は
本研究では,日本語語彙大系【1】中で “名詞-具体”
上位概念である “動物” が持つ常識集合に類似する).
各名詞に対し常識を定義し,更にそれらの名詞を常識
でラベル付けされている名詞 12,042 語を常識付与の
の類似度に基づいた関係ネットワークで結ぶことで,
対象として扱う.具体名詞のみを選別することで,常
最終的に大規模常識知識ベースの構築を目指す.
識付与の対象として相応しくない名詞(原因,理由と
いった名詞同士の関係を定義する名詞 等)を除外する.
2
関連研究
次に,Web 日本語 N-gram【2】の 7-gram データを
CaboCha【3】を利用して構文解析し,対象名詞に対
人工知能研究の分野では,常識知識ベースは上位オ
し格助詞付きで係る用言をその名詞に対する常識とし
ントロジーと呼ばれることもある.上位オントロジー
て定義する.最終的に,1,631,209 個の名詞-用言対を
とは,大量の一般的概念を定義したオントロジーであ
獲得した.
る.Ahrens et al.[1] は上位オントロジーの一種であ
る SUMO[6] をベースとして,SUMO 中で定義される
4
常識として適切な用言の自動選定
概念をテキストコーパス中の語へマッピングする手法
を提案している.また Niles and Pease[7] や,Hanett
本研究では,名詞を特徴付ける用言をその名詞の持
and Felbaum[4] は,上位オントロジー中の概念と既
存の語彙資源を組み合わせることで,常識を組み込ん
つ常識と定義し,常識の持つ性質として以下の仮説を
立てた.
― 682 ―
Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved. 図 1: 係り先の用言数が多い上位 N 件の名詞について,N の値を変化させた場合の削除用言数の変化 (横軸:用言
の出現名詞数,縦軸:用言の異なり数)
(1) 名詞 n に対し高頻度で係る用言 p は,名詞 n の常識で
ある可能性が高い.
の結果から,各名詞における削除用言数を決定する.
(2) 名詞 n は常識の集合によって特徴づけられるはずなの
で,どのような名詞にも係る用言は常識として不適切
である.
を求め,N=1,000∼20,000 の間においては近似曲線の
(3) 用言 p が名詞 n の常識として適切か否かは,その名詞
の係り先の用言の異なり数に依存する.多くの名詞に
係る用言でも,係り先の用言数が少ない名詞に対して
は常識となる場合がある(e.g. 用言 “が-走る” は,係
り元の名詞 “ひと” を特徴づけないが,係り先の用言
数が少ない名詞 “ランナー” を特徴づける).
仮説 (1) および仮説 (2) から,特定の名詞に高い頻
N を変化させた場合の削除用言数の変化から近似曲線
式から削除用言を決定する.削除用言数を求める式を
以下に示す.
y = 13135.0 × x−0.583
(1)
N が 1,000 よりも小さい場合は N=1,000 で削除さ
れる 234 語を削除し,N が 20,000 を超える場合は,
N=20,000 の場合に削除される 40 語を削除した.
度で係る用言はその名詞にとって常識である可能性が
高いが,その用言が多くの名詞に係る汎用的な用言で
あった場合は,常識として不適切となる.つまり,多
くの名詞に対し係る用言を,常識として不適切である
として除外する必要がある.
まず,係り先の用言の異なり数が多い (=多くの用
言の係り元となる) 順に名詞を並べ替え,上位 N 件の
名詞に対する用言の出現分布を調査した (図 1).横軸
は用言の出現名詞数 (e.g. 用言 “が-走る” が 500 種類
の名詞の係り先となった場合,出現名詞数は 500 とな
る),縦軸は用言の異なり数を示している (e.g. 出現名
詞数が 500 の用言が 10 語あった場合,用言の異なり
図 2: 多くの用言の係り元となる名詞上位 N 件におけ
る削除用言数の変化
数は 10 となる).結果から,出現名詞数の増大に伴い
以上の処理により選定した用言を,それぞれの名
値の出現が疎となっている事が分かる.これは,一部
詞に対する常識として扱う.それぞれの用言が名詞に
の汎用的な用言 (e.g. ある, 行う) が極端に多くの名詞
係って出現する頻度が高いほど,その名詞の常識とし
の係り先となっていることが原因である.本研究では
て適切な用言であると考えられる.
この点に着目し,用言の異なり数が出現名詞数に対し
疎となる範囲に属する用言を削除対象の用言 (=常識
5
各概念同士の類似度計算
として不適切な用言) であるとした.
常識知識ベースを構築するために,獲得した常識を
仮説 (3) に基づき,各名詞に対する削除用言を決定
するため,N の値を 1,000 から 70,000 まで変化させた
場合の,削除される用言数の変化を調査した.この結
用いて名詞間の意味的関係を調査する.我々は名詞間
に現れる性質として以下の 2 つの仮説を立てた.
果を図 2 に示す.N=1,000∼20,000 の間においては削
除用言数は累乗的に変化し,N が 20,000 を超えた段
1. 名詞対に付与される常識集合が類似していた場合,そ
の名詞対は類似した概念を持つ.
階でほとんど変化しなくなっていることが分かる.こ
― 683 ―
Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved. (
2. 名詞 a と名詞 b が類似しおり,かつ名詞 b と名詞 c も
類似している場合は,名詞 a と名詞 c もまた類似した
名詞である.
max sim(wi , wj ) = max
2d(wi,x , wj,y )
d(wi,x )d(wj,y )
)
(3)
ここで d(wi ) とは,根から wi までの深さ,d(wi , wj )
仮説 (1) より,名詞同士の類似度はその名詞同士の
とは,根から名詞 wi と名詞 wj が共有する上位概念ま
持つ用言集合の類似度で測れることになる.更に,係
での深さを表している.名詞 wi と名詞 wj が類似した
り受け解析誤り等によって付与された低頻度の用言に
概念を持っている場合,両 sim 関数の値は高くなる.
よる影響を抑えるために,解析対象となる名詞同士が
持つ共通した用言集合のうち,それぞれにおいて最も
6.1
頻度の低い用言以下の用言集合を削除した.図 3 に,
名詞 “犬” と名詞 “猫” の例を示す.
比較手法
提案手法を以下のベースラインと比較する.
(1) 用言の削除は行わず,Harman 正規化した TF で重み
付けした用言を用いた場合(ベースライン 1).
(2) 自己相互情報量(PMI)のスコアが β 以下の用言を,
類似度計算に悪影響を及ぼす用言であると考え削除す
る手法 (ベースライン 2).本手法は相澤 [9] によって
定義された名詞同士の類似度計算手法のうち,実験中
で最も精度の高かった手法である.
本実験では文献 [9] と同様の手法で相関係数の変化
を調査し,定数 β = 0 と設定した.
図 3: 削除対象となる低頻度用言の決定
6.2
評価結果
次に実際に名詞同士の類似度を計算する.名詞 wi
以下に示す式を用いて,概念 x ∈ X を持つ名詞 wi
と名詞 wj が類似しており,更に名詞 wi と名詞 wa も
と,概念 y ∈ Y を持つ名詞 wj の類似度を計算する
類似していれば,仮説 (2) から,名詞 wj と名詞 wa も
(Jac: Jaccard 係数,Simp: Simpson 係数,W Jac:
また類似している可能性が高い.つまり,名詞 wi と
重み付き Jaccard 係数,f (wi , p): 名詞 wi に係る用言
名詞 wj の類似度が高い場合,名詞 wi とその他の名
p の出現頻度).
詞との類似度集合 SIMi と,名詞 wj とその他の名詞
Jac(wi , wj ) =
との類似度集合 SIMj の類似度も高くなる.
以上の考え方から,比較する 2 つの名詞とその他の
Simp(wi , wj ) =
名詞集合との類似度を計算し,両者の類似度集合の相
∑
関を求め,この相関係数を両者の類似度とする.
6
p
W Jac(wi , wj ) = ∑
評価
p
作成した名詞の常識知識ベースについて,名詞に対
し正しい常識が付与され,名詞同士の関係を正しく計
算できているか評価する.本研究では,評価セットと
して日本語語彙大系中で “名詞-具体” にラベル付けさ
れ,更に日本語 N-gram 中で出現頻度の上位 90 %を占
める 1,617 個の名詞を用いて,評価セットと正解セッ
トにおける各名詞間の類似度集合の相関係数を求める.
正解セットとして,日本語語彙大系中における名詞間
の距離を計算した.概念 x ∈ X を持つ名詞 wi と,概
念 y ∈ Y を持つ名詞 wj の類似度は以下の式で計算さ
れる.
1
ave sim(wi , wj ) =
|XY |
∑
x∈X,y∈Y
|X ∪ Y |
|X ∩ Y |
|X ∪ Y |
min(|X|, |Y |)
min(f (wi , p), f (wj , p))
max(f (wi , p), f (wj , p))
(4)
(5)
(6)
ベースラインと提案手法に付与される用言のトップ
10 の例を,表 1 に示す.提案手法では,すべての用
言がそれぞれの名詞に対する常識となっている.これ
に対し,どちらのベースラインも出現頻度は高くても
多くの名詞に係る汎用的な用言 (e.g. “に-なる”) が上
位にきてしまっている.これらの名詞は常識として相
応しくなく,提案手法ではこうした不適切な用言の削
除に成功している.本研究は動詞を利用して名詞同士
のシソーラスを自動構築する従来の研究 [5, 2] と比較
して,名詞同士の関係性を測れるだけではなく,不適
切な用言を削除してしまうことで,名詞に付与する用
言レベルでの細かい比較が可能となっている.
2d(wi,x , wj,y )
d(wi,x )d(wj,y )
表 2 に,それぞれに付与した用言を利用して名詞同
士の類似度を計算した結果を示す.提案手法はベース
(2)
― 684 ―
Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved. 表 1: 名詞に対して付与される用言の違い (スコア順上位 10 件)
ベースライン 1
名詞:世の中
ベースライン 2
提案手法
ベースライン 1
名詞:道路
ベースライン 2
提案手法
に-なる
に-ある
を-生き抜く
を-変える
に-いる
で-起こる
に-存在
に-広める
に-出る
に-必要
に-なる
に-ある
を-生き抜く
を-変える
に-いる
で-起こる
に-存在
に-広める
に-出る
に-必要
を-生き抜く
で-起こる
に-存在
に-広める
に-必要
に-送り出す
の-役に立つ
に-役立つ
に-貢献
を-動かす
が-分断
に-関連
を-走る
に-面す
を-使う
を-挟む
を-直進
を-利用
から-出入り
に-ある
が-分断
に-関連
を-走る
に-面す
を-使う
を-挟む
を-直進
を-利用
から-出入り
に-接す
が-分断
を-走る
に-面す
を-挟む
を-直進
から-出入り
に-接す
を-横断
を-渡る
が-整備
ラインと比較して高い精度を取ることが示された.特
に Jaccard 係数を用いた場合に最高の精度を出してい
る.このことから,提案手法の方が名詞に対してより
常識として相応しい用言を付与出来ていることが確認
できた.この結果は,本手法は名詞に対する常識集合
を集められるだけではなく,類似度計算手法としても
有用であることを示している.
ベースライン 1
ベースライン 2
提案手法
7
ave
max
ave
max
ave
max
Simp
0.326
0.335
0.442
0.446
0.499
0.461
WJac
0.378
0.376
0.371
0.364
0.582
0.558
【2】 工藤 拓,賀沢 秀人,“Web 日本語 N グラム 第一版”,言語
資源協会.
【3】 工藤 拓,松本 裕治,“チャンキングの段階適用による日本語
係り受け解析”,vol.43,no.6,pp.1834–1842,2002.
[1] K. Ahrens, S.F. Chung, and C.R. Huang. Conceptual metaphors: Ontology-based representation and corpora driven mapping principles. In Proceedings of the
ACL 2003 workshop on Lexicon and figurative language,
Vol. 14, pp. 36–42. Association for Computational Linguistics, 2003.
[2] M. Hagiwara, Y. Ogawa, and K. Toyama. A comparative
study on effective context selection for distributional similarity. Journal of Natural Language Processing, Vol. 5,
No. 5, pp. 119–150, 2008.
おわりに
本稿では,常識知識ベースの構築にあたり,常識と
して適切な用言の選定方法について述べた.名詞が係
る用言の異なり数順に名詞をソートし,上位 N 件の
名詞と用言の出現頻度の関係について調査した結果,
名詞に対して不適切な用言を自動的に削除することに
成功した.
各名詞に対して付与される常識集合を評価したとこ
ろ,提案手法は 2 つのベースラインと比較して,適切
な用言が常識として付与されていることが確認できた.
また 2 つのベースラインと比較して名詞同士の類似度
計算の精度が高かったことから,本手法が常識の付与
だけにとどまらず,名詞同士の類似度計算にも有用で
あることが分かった.さらにこの結果から,どのよう
な名詞とも共起する用言は常識として不適切であり,
またその用言が常識として適切か否かは常識の付与対
象である名詞に依存するという,本研究における常識
に関する仮説が立証された.
【1】 白井 諭,大山 芳史,池原 悟,宮崎 正弘,横尾 昭男, “
日本語語彙大系について”,情報処理研究報告.IM,vol.98,
no.106,pp.47-52,1998.
参考文献
表 2: 名詞同士の類似度の評価結果
Jac
0.443
0.451
0.480
0.481
0.607
0.591
使用した言語資源及びツール
[3] C. Havasi, R. Speer, and J. Alonso. Conceptnet 3: a
flexible, multilingual semantic network for common sense
knowledge. In In Recent Advances in NLP, 2007.
[4] H. Hennett and C. Fellbaum. Linking framenet to the
suggested upper merged ontology. In Formal Ontology
in Information Systems: Proceedings of the Fourth International Conference (Fois 2006), Vol. 150, p. 289. Ios
PressInc, 2006.
[5] D. Hindle. Noun classification from predicate-argument
structures. In Proceedings of the 28th annual meeting on
Association for Computational Linguistics, pp. 268–275.
Association for Computational Linguistics, 1990.
[6] I. Niles and A. Pease. Towards a standard upper ontology.
In Proceedings of the 2nd International Conference on
Formal Ontology in Information Systems (FOIS-2001),
pp. 17–19, 2001.
[7] I. Niles and A. Pease. Linking lexicons and ontologies:
Mapping wordnet to the suggested upper merged ontology. In Proceedings of the IEEE International Conference
on Information and Knowledge Engineering, pp. 412–416,
2003.
[8] Rafal Rzepka, Koichi Muramoto, and Kenji Araki. Generality evaluation of automatically generated knowledge
for the japanese conceptnet. In Proceedings of 24th Australasian Joint Conference, pp. 648–657, 2012.
[9] 相澤彰子. 大規模テキストコーパスを用いた語の類似度計算に関
する考察. 情報処理学会論文誌, Vol. 49, No. 3, pp. 1426–1436,
2008.
― 685 ―
Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.