学習者の誤り傾向を反映した英語動詞選択誤りへの訂正 - 言語処理学会

言語処理学会 第 19 回年次大会 発表論文集 (2013 年 3 月)
 ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
学習者の誤り傾向を反映した英語動詞選択誤りへの訂正候補推薦
澤井 悠
小町 守
松本 裕治
奈良先端科学技術大学院大学 情報科学研究科
{yu-s, komachi, [email protected]
ジの問題がある.これに対し,日本語の動詞名詞コロ
1 はじめに
ケーション中の動詞選択支援タスクにおいて,カバレッ
英語学習者に対する作文支援としての,誤り検出およ
び訂正についての研究が盛んにおこなわれている.こ
ジを向上する目的で,言語学習 SNS データを大規模学
習者コーパスとして利用した研究がある [4].
れらの研究では主にスペル誤りや,前置詞・冠詞・時制
また既存研究では,複数の訂正候補が正解となる場
の一致誤りといった文法誤りが対象となっている.一
合があるにも関わらず,自動訂正のみを主眼に置いた
方,英語学習者コーパスにおいて頻出の誤りとして動詞
システムが多い.一方で,システムが出力する訂正候
選択の誤りがある.例えば,CLC-FCE コーパス [1] で
補を学習者が無批判に受け入れる場合は少なく,提示
は動詞の置換誤りを示す “RV” タグは,すべての誤り種
された候補の質を見分けられると報告されている [5].
別のうち,スペル誤りに次いで 2 番目に多い誤りであ
複数の訂正候補を提示し最終的な判断を学習者に委ね
る.また,Konan-JIEM コーパス において動詞選択誤
るというシステムには,実用性があると考えられる.
*1
*2
そこで本稿では,学習者作文中の動詞選択誤りに対
りは,18 の誤り種別中 6 番目に多い誤りである.
They *connect / communicate with other businessmen and do their jobs with the help of computers.
し,訂正候補を推薦するシステムについて述べる.提
案手法では,複数の訂正候補間の多クラス分類の結果
から得た訂正候補のランキングを用いて,入力文中の動
この例文 では,“connect” が学習者の選択した動詞
詞選択誤りの訂正候補推薦をおこなう.広範な学習者
であり, “communicate” は訂正された動詞である.ど
の誤りパターンに対応しシステムのカバレッジを向上
ちらも自動詞としての用法をもつ動詞であり,文法誤
するために,言語学習 SNS から収集した大規模な誤り
りではない.しかし,意思疎通を図るという文意にお
タグ付きコーパスから動詞選択誤りの候補集合を作成
いては “communicate” のほうが適しているため,動詞
し,学習者の誤り傾向を反映させる.訂正候補推薦の
選択誤りであると考えられる.
評価は,公開済み英語学習者コーパス上でおこなった.
*3
前置詞や冠詞の誤り検出・訂正において,訂正候補を
本研究の主な貢献は,大規模な学習者コーパスから
confusion set (以下,候補集合)によって制限するこ
作成した候補集合を用いることにより,類義語辞書か
とが効果的であると示されている [2].動詞選択誤り検
ら候補集合を作成する既存手法に比べ,動詞選択誤り
出・訂正では,前置詞や冠詞と異なり訂正候補となる動
に対するカバレッジの向上を示した点である.
詞数は膨大である.ゆえに,候補集合の重要性はそれ
らに対する研究に比べて高いといえる.
2 動詞選択支援の関連研究
動詞選択誤りに関するこれまでの研究においては,類
Liu ら [3] は,中国人英語学習者作文の動詞選択誤り
義語辞書に基づく候補集合生成が用いられることが多
の自動訂正をおこなった.動詞の候補集合は,類義語
い [3].しかし,学習者の誤りパターンは必ずしも類義
辞書および英中対訳辞書から作成した.検出・訂正対
語同士での混同だけではなく,既存手法にはカバレッ
象の動詞は,中国人英語学習者が用いる動詞のうち頻
出の 50 語に絞っている.本稿では,候補集合を大規模
*1
*2
http://ilexir.co.uk/applications/
clc-fce-dataset/
http://www.gsk.or.jp/catalog/GSK2012-A/
な学習者コーパスから抽出している点や,対象とする
動詞数が 500 語とより幅広いものである点,そして,
*3 CLC-FCE コーパス中の “RV” タグが付与されている箇所から
引用した.
自動訂正ではなく訂正候補の推薦が目的である点が異
― 706 ―
Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved. なる.
リスト 1 各事例に対する検出および訂正候補推薦手順.
Wu ら [6] は,動詞名詞コロケーションにおける動詞
procedure D ETECT E RROR(M i , f , k, v or g )
r anked _cand s ← g et _r anked _cand i d at es(M i , f )
r ank_v or g ← g et _r ank(v or g , r anked_cand s)
if r ank_v or g > k then
return True else return False
end if
end procedure
推薦タスクを,最大エントロピー法による多クラス分
類器を用いておこなった.対象ドメインは学術論文で
あり,評価は人工データでおこなった.ここで,クラ
スとなるのはコロケーション中の動詞であり,790 語の
動詞からなる単一の候補集合から,コロケーションの
procedure S UGGESTA LT C ANDS(r anked _cand s, n)
al t _cand s ← r anked _cand s {1,n}
return al t _cand s
end procedure
動詞を選択する.これに対し,本稿では対象となる動
詞それぞれに候補集合を作成し,多クラス分類に用い
るクラス数(候補数)を削減している.また,より広範
なトピックが含まれる学習者作文コーパス(CLC-FCE)
表 1 穴埋め形式の事例に用いる素性の例
に対して評価をおこなっている点で異なる.
(例:They communicate with other businessmen and do their
jobs with the help of computers.)
“<S>” は文頭を表し,“*V*” は空欄にした動詞の部分を表す.
3 多クラス分類に基づく動詞選択誤り検出
と訂正候補推薦手法
動詞選択誤りの検出および訂正候補推薦には,各対
象動詞ごとの候補集合と多クラス分類器の出力するス
コアを用いる.まず,予め対象とする動詞 v i に対して
訂正候補集合を定めておく.対象とする動詞の候補集
合ごとに,ネイティブコーパスからの事例を用いて,候
補集合中の各動詞をクラスラベルとする多クラス分類
モデル M i を構築する.学習者文が入力となるとき,各
チェックポイントに対する動詞選択誤りの検出および
訂正候補推薦は,リスト 1 に示す手順でおこなわれる.
各チェックポイントに対する検出は,リスト 1 に示す
D ETECT E RROR によりおこなわれる.与えられた文脈
の空欄に入りうる各候補のスコアは,動詞周辺文脈の
素性ベクトル f についてのモデル M i の出力により求
まる.スコアの上位 k 個中に,元の動詞 v or g が含まれ
ていなければ,そのチェックポイントを誤りとして検出
する.誤りを検出した場合には, S UGGESTA LT C ANDS
によって,訂正候補のスコア上位 n 個を推薦する.
対象の動詞とした.この頻出語彙は,CLC-FCE コーパ
ス中の一般動詞の 90% をカバーする.
例
they-*V*-with
<S>-they-*V*
*V*-with-other
N-grams
(POS)
PRP-*V*-IN
<S>-PRP-*V*
*V*-IN-JJ
NP head
(Left, Right)
L_they, L_PRP
R_businessmen, R_NNS
NP head cluster
(Left, Right)
L_01110001, L_0111000, L_011100
R_11011001, R_1101100, R_110110
の例は表 1 に示す.動詞前後の名詞句の主辞の素性は,
n-gram 素性では捉え切れない動詞の主語,目的語を扱
うために用いる.また,名詞句主辞の単語表層素性の
スパースネスを軽減するために,教師なし・階層型のク
ラスタリング手法 [7]*5 によるクラスタリング素性を用
いる.これは後述する ukWaC コーパスから作成した次
元数 256 のもので,表 1 中の異なる長さのビット列は,
3 段階のクラスタ粒度に対応している.
3.2 言語学習 SNS から抽出した大規模学習者コーパ
スを用いた候補集合作成
動詞の語彙は一般に膨大であるものの,本稿では
CLC-FCE コーパスの全動詞語彙中*4 ,頻出の 500 語を
素性名
N-grams
(surface)
候補集合は,言語学習 SNS 上の相互添削データから
マイニングした誤りタグ付きコーパスから抽出された.
使用したコーパスは 相互添削 SNS Lang-8*6 から収集
された 2011 年 10 月時点までの添削付きの英作文であ
3.1 各候補集合に対するモデルの学習
分類器に与える事例は穴埋め形式であり,動詞を空欄
としてクラスラベルとし,周辺文脈から素性ベクトルを
る.添削タグ*7 が付与されている文対数は 1,122,589 文
対であった.これらの文対に Natural Language Toolkit
生成する.動詞周辺文脈の表層および POS の n-gram
に加えて,動詞前後の名詞句の主辞,およびそれらに対
する単語クラスタリング素性を用いる.具体的な素性
*5
*6
https://github.com/percyliang/brown-cluster
http://lang-8.com/
*7 この添削タグは定型化されていない.そのためアノテーショ
ンの粒度は一定ではないし,誤り種別情報も付与されていな
い.
*4 全動詞語彙は 1,292 語である.
― 707 ―
Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved. 2.10*8 により POS タグを付与したものから,DP マッチ
が元の動詞でない場合に検出をおこなう.また,k を増
ングにより訂正前後ともに VB*の POS タグを持つ語の
加させると,元の動詞を正しいとみなしやすくなる.
置換操作箇所を抽出した.結果,224,994 個の動詞置換
4.2 モデル構築
ペアが得られ,パターン数は 76,000 種類であった.こ
多クラス分類器の学習には,ukWaC コーパス [8] を
れらの訂正前後の動詞ペアは原形に戻したうえで,前
ネイティブコーパスとして用いた.これは “.uk” ドメイ
項で述べた対象動詞以外の語を除外した.誤り語を見
ンのウェブサイトから収集されたコーパスであり,多様
出し語として,各見出し語に対する訂正候補の頻度順
なドメインの文章を含む.実験では,極端な短文や表
上位 50 個までを各対象語彙の候補集合とした.対象動
組などをクリーニングして得られた約 44,000,000 文の
詞によって訂正候補の数にばらつきがあるため,候補
中から,各対象動詞についてそれぞれ 20,000 文をラン
集合全体での候補数の平均は 20.4 個である.
ダムに抽出して利用した.各対象動詞についての多ク
ラス分類器は,ロジスティック損失関数・L2 正則化項
4 英語学習者コーパスを用いた評価実験
のオンライン線形分類器であり,Scikit-Learn 0.13*11 を
大規模学習者コーパスを用いた候補集合の効果を
実装として使用した*12 .システムが多数の分類器から
評価するために,英語試験作文の公開コーパスである
なるため,それぞれの分類器のパラメータチューニン
CLC-FCE コーパス上で,訂正候補の推薦性能を自動評
グはおこなわず,デフォルト値を用いた.学習および
価尺度を用いて評価した.
テストにおける構文解析には Fanseparser 0.22*13 を用
4.1 実験設定
いた.
システムのチェックポイントは CLC-FCE コーパス中
4.3 評価尺度
の全 “VB*” の POS タグの箇所(“be” を除く)であり,
動詞選択誤り検出の評価尺度には,システムが検出
訂正候補推薦の対象となるものは,同コーパス中で動
をおこなった箇所に関する Precision と,誤りタグ付き
詞の置換誤りを表す “RV” 誤りタグの箇所である.本
箇所に関する Recall を用いる.また,すべての誤りタ
稿では,複数語にわたる訂正箇所や,入れ子になって
グ付き箇所に対する訂正候補推薦性能の評価には,次式
いる訂正タグ箇所はチェックポイントから除外してい
Lang8CS と呼称)の有効性を示すために,つぎに述べ
に示す Mean Reciprocal Rank (平均逆順位)を用いる.

1

(g ol d i ∈ S i )
1 N
M RR =
RR i ; RR i = r (g ol di )

N i =1
0
(otherwise)
る 2 つの候補集合をベースラインとした.まず,これ
タグ付き箇所数である.事例 i についての逆順位 RR i
る.誤り箇所は,全チェックポイント中の約 4% である
1,083 箇所となる*9 .
大規模学習者コーパスから作成した候補集合(以下,
までの研究で用いられることが多い類義語辞典から
の候補集合として,WordNet から候補集合を作成した
(WordNetCS).これは,対象動詞の Synset と,同一の
Hypernym を共有する語を収集したものである.この
WordNetCS の平均候補数は 14.8 個である.また,複数
の学習者コーパス*10 の動詞選択誤り箇所から作成した
候補集合を作成した(LearnerCS).この LearnerCS の
平均候補数は 5.1 個である.
検出における元の動詞の許容順位 k は,1 ≤ k ≤ 50 と
した.k = 1 の場合,先行研究 [3] のように,最尤候補
*8
http://nltk.org
ここで N は事例数で,実験においてはすべての誤り
は,推薦候補リスト S i 中の正解 g ol d i の順位 r (g ol d i )
を用いて定義される.推薦した候補中に正しい訂正が
含まれていない場合や,システムの対象動詞に含まれ
ない場合は逆順位は 0 となる.MRR 値の逆数は,正解
が平均的に何番目に含まれているかを表すため,MRR
値が高いほど推薦性能が高いことになる.
4.4 結果
図 1 には各候補集合ごとに,ランキングに基づく検出
時の許容順位 k を変化させ,横軸を Precision,縦軸を
Recall としたプロットを示す.図 1 中では,提案手法
である Lang8CS を用いたシステムが Recall,Precision
*9 CLC-FCE コーパスの誤りタグの中では,動詞選択誤りはほぼ
全て当該タグに含まれるものの,語彙選択以外の原因による誤
りも含むことに注意したい.
*10 本稿では,明示的に動詞選択誤りのタグが存在する KonanJIEM コーパスと NICT-JLE コーパス,さらに NUS Corpus of
Learner English (NUCLE)を用いた.
― 708 ―
*11
http://www.scikit-learn.org
*12 実装の都合上,分類器は One-Vs-Rest 形式であり,二値分類器
をクラス数(候補数)分組み合わせて構築した.
*13
http://www.isi.edu/publications/licensed-sw/
fanseparser
Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved. きなかったと考えられる.述語項構造などのより深い
意味的素性の追加によりモデルの改善をおこなう必要
がある.
候補集合に関わる問題としては,言語学習 SNS 由
来の添削データを用いたため,見出し語と意味的な類
似度が低い語が入ってることが挙げられる.例えば,
“hear” の候補集合に “tire” が含まれるような場合であ
る.このような語は,推薦候補に含まれてしまうと学
習者を混乱させる原因にもなるので,クリーニングす
る必要がある.候補集合生成時に類似度尺度による添
図 1 許容順位 k による検出性能の変化.(1 ≤ k ≤ 50)
表2
削ペアの足切りをおこなうことで,訂正候補の質の向
上が期待できる.
誤り箇所に対する訂正候補推薦性能 (MRR 値)
WordNetCS
LearnerCS
Lang8CS
0.069
0.125
0.220
6 おわりに
本稿では,英語学習者の英作文中の動詞選択誤りへ
ともに他の候補集合を用いた場合よりも検出時の性能
が高いことがわかる.また,候補集合の大きさは最も
小さいにも関わらず,LearnerCS は WordNetCS より性
能が良かった.全候補集合についての傾向として,元
の動詞が常に全候補中で最尤でなければならないとい
う検出の条件(k = 1)のときに,最も Recall が高い.
表 2 に,全誤りタグ付き箇所に対する訂正候補推薦
における各実験条件の MRR 値を示す.提案手法である
Lang8CS の MRR 値は 0.220 であり,全候補集合中最も
高い.この値は,推薦した候補中の 4.5 位までに正しい
訂正候補が含まれていることを意味する.
5 考察
検出の Recall が低かった動詞の例として,“get” や
“take” のように,頻出かつ様々な語義の用例をもつ語が
ある.今回用いた素性で捉えられている場合には,熟
語表現として用いられるものは検出および推薦に成功
した.候補集合およびモデルをそれぞれの語義ごとに
構築することで,このような語についても検出が可能
になると期待できる.
モデルの傾向として,誤用も一般的に用いられてし
まっている語には同程度のスコアが与えられる.「O に
影響をおよぼす」という語義の “affect” の誤用である
“effect” がこの例として挙げられる.これは,学習に用
いたコーパスがくだけた表現も含むウェブコーパスで
あるため,誤用を含む文脈も含まれていることが考え
られる.ゆえに,同様の周辺文脈での混同が学習デー
の訂正候補推薦タスクに対し,学習者の誤り傾向に関
する知識を用いた多クラス分類に基づく手法を提案し
た.言語学習 SNS から得た大規模な英語学習者コーパ
スから候補集合を作成し,対象動詞ごとに制約を与え
ることで学習者の誤り傾向を反映させた.評価実験の
結果,既存手法で用いられる類義語辞書や,既存の学習
者コーパスから候補集合を作成する場合に比べて,誤
りパターンに対するカバレッジの改善がみられた.
参考文献
[1] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A New
Dataset and Method for Automatically Grading ESOL Texts. In
Proc. of ACL, pages 180–189, 2011.
[2] Alla Rozovskaya and Dan Roth. Generating Confusion Sets for
Context-Sensitive Error Correction. In Proc. of EMNLP, pages
961–970, 2010.
[3] Xiaohua Liu, Bo Han, Kuan Li, Stephan Hyeonjun Stiller, and
Ming Zhou. SRL-based Verb Selection for ESL. In Proc. of EMNLP,
pages 1068–1076, 2010.
[4] Lis W.K. Pereira, Erlyn Manguilimotan, and Yuji Matsumoto. Collocation Suggestion for Japanese Second Language Learners. In
IPSJ SIG Technical Report NL-210, number 3, pages 3–7, 2013.
[5] Claudia Leacock, Michael Gamon, and Chris Brockett. User Input
and Interactions on Microsoft Research ESL Assistant. In Proc. of
NAACL Workshop, pages 73–81, 2009.
[6] Jian-cheng Wu, Yu-Chia Chang, Teruko Mitamura, and Jason S
Chang. Automatic Collocation Suggestion in Academic Writing.
In Proc. of ACL, pages 115–119, 2010.
[7] Peter F Brown, Vincent J Della Pietra, Peter V DeSouza, Jenifer C
Lai, Robert L Mercer, and Vincent J Della Pietra. Class-Based ngram Models of Natural Language. Computational Linguistics,
18(4):467–479, December 1992.
[8] Adriano Ferraresi, Eros Zanchetta, and Marco Baroni. Introducing and evaluating ukWaC, a very large web-derived corpus of English. In Proc. of the 4th Web as Corpus Workshop, pages 45–54,
2008.
タにある場合,現状の素性ではこれらの事例を識別で
― 709 ―
Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved.