A Consideration for Detection Methods of Phishing Sites based on

All rights are reserved and copyright of this manuscript belongs to the authors.
This manuscript has been published without reviewing and editing as received
from the authors: posting the manuscript to SCIS 2011 does not prevent future
submissions to any journals or conferences with proceedings.
SCIS 2011
The 2011 Symposium on
Cryptography and Information Security
Kokura, Japan, Jan. 25-28, 2011
The Institute of Electronics,
Information and Communication Engineers
ユーザの判断能力に基づいたフィッシングサイト検知技術における一考察
A Consideration for Detection Methods of Phishing Sites
based on Users’ Ability to Decide
宮本 大輔 ∗
Daisuke Miyamoto
櫨山 寛章 †
Hiroaki Hazeyama
門林 雄基 †
Youki Kadobayashi
あらまし 本論文では,ユーザの過去の判断 (Past Trust Decision, PTD) の記録を活用したフィッシン
グサイト検知についての考察を行う.我々の先行研究では,ユーザがウェブサイトを見て「正規サイト
である」「フィッシングサイトである」という判断を行った結果を,既存のヒューリスティクスを用いた
フィッシングサイト検知手法に取り入れることを提案している.しかし先行研究では平均的な精度こそ向
上していたものの,ユーザによっては彼/彼女らの PTD を用いない場合に精度が向上する場合が確認さ
れた.そこで本論文では,PTD を活用すべきユーザ,そうでないユーザについて考察を行う.ユーザを
分類する手法として,ユーザの判断能力の構成要素をコンテンツの文言のみで判断を行っていないこと,
URL や SSL を確認し怪しさに気付いていること,当該サイトを過去に利用した経験を判断に活用できて
いることなどあると仮定し,これら要素に基づいたクラスタ分析を行う.また,クラスタ毎に先行研究の
提案によるフィッシングサイト検知を行い,活用すべき PTD をもつユーザの傾向について考察を行う.
キーワード フィッシングサイト検知,Trust Decision,機械学習,クラスタ分析
1
はじめに
か検知する技術があり,代表的な検知手法としてヒュー
リスティクス方式が知られている.この方式は,ウェブ
フィッシング攻撃は,サイバー社会に対する重大な脅
サイトの URL やドメイン名を分析してフィッシングサ
威の一つである.この攻撃の特徴は,コンピュータシス
イトらしさを計算し,そのスコアによってフィッシング
テムではなく,コンピュータシステムを利用するエンド
サイトの検知を行う.ヒューリスティクス方式の課題は
ユーザを標的とする点である.フィッシング攻撃者は,エ
検知精度であり,新しいヒューリスティクスの開発や,
ンドユーザを本物そっくりに作った偽サイトに誘導し,
複数のヒューリスティクスの組み合わせ手法などにより,
そのウェブサイトに個人情報を入力するよう促す.騙さ
精度の向上を目的とした研究がなされている.
れたエンドユーザがクレジットカードなどの情報を入力
我々の先行研究 [3] では,HumanBoost と名付けた方
してしまうと,その情報が攻撃者に盗み取られる,とい
式を提案した.HumanBoost 方式とは,エンドユーザが
うのがフィッシング攻撃の手口である.こうした攻撃は
ウェブサイトに対してこれまで行った,信頼できる,信頼
被害規模も増えており,市場調査会社の Gartner は調
できないといった判断を行った結果 (Past Trust Decision,
査期間となった 2007 年には約 360 万人がフィッシング
PTD) を活用し,この PTD の記録を既存のヒューリス
ティクスと組み合わせるというものである.この研究で
攻撃により総額 32 億ドルの損害を被ったと報告してい
る [1].セキュリティ会社の RSA は,エンドユーザらは
は,被験者にウェブサイトを表示したブラウザのスクリー
フィッシング攻撃を最大の脅威であると捉えていること
ンショットを閲覧させ,フィッシングサイトと思うか否か
を報告しており [2],その対策技術の確立は急務である.
について質問した.また,ヒューリスティクス方式であ
フィッシングサイトの対策技術の 1 つに,ユーザが閲覧
る CANTINA [4] により各ウェブサイトについてフィッ
しているウェブサイトがフィッシングサイトであるかどう
∗
†
シングサイトか否かを判別させた.この上で,各個人の
独立行政法人情報通信研究機構 〒 184-8795 東京都小金井市貫井
北町 4-2-1. National Institute of Information and Communications Technology, 4-2-1 Nukuikitamachi Koganei Tokyo,1848795, Japan. [email protected]
奈良先端科学技術大学院大学 〒 630-0101 奈良県生駒市高山町 89165. Nara Institutee of Science Technology, 8916-5 Takayama
Ikoma Nara, 630-0101, Japan. {hiroa-ha,[email protected]
みで検知した場合の判別誤り率の平均は 20.0%,既存の
ヒューリスティクスのみで検知した場合は 19.0%,各個
人と既存のヒューリスティクスを組み合わせた検知結果
を組み合わせた場合は 13.4% であるという結果が観測
1
された.しかし,被験者によっては HumanBoost 方式
い.従って,ドメイン名が登録されてから現在までの期
を用いるよりも,既存のヒューリスティクスによって検
間が短い場合はフィッシングサイト,そうでない場合は
知させた場合に誤り率が少なくなるケースも確認された.
正規サイトというように判別することができる.こうし
本論文では,PTD を利用すべきエンドユーザと,そ
たヒューリスティクスは必ずしも正確ではないため,複
うでないエンドユーザの違いについて考察する.まず,
数の異なるヒューリスティクスを組み合わせる必要があ
エンドユーザの能力を,ウェブサイトを利用した経験を
る.ヒューリスティクス方式の課題は検知精度にある.
活用できているかどうか,コンテンツのみによる判断を
前述の Zhang らの調査研究 [5] ではヒューリスティク
行っていないかどうか,URL や SSL に基づいた判断が
ス方式の SpoofGuard [7] は約 94% のフィッシングサイ
できているかどうか,というような要素によって構成さ
トを正しく判別できるものの,約 42% の正規サイトを
れると仮定する.その上で,各要素について被験者実験
誤ってフィッシングサイトと判別する問題が報告された.
に基づいたクラスタ分析を行い,ユーザの分類を行う.
このため,新しいヒューリスティクスの開発により検
その上で,HumanBoost 方式が適応可能なユーザ,そう
知精度を高める試みがなされている.Zhang らは,ウェ
でないユーザについての比較検討を行う.
ブサイトの文言から重要単語を抽出し,それを検索エ
実験では 309 人の被験者から解答を集め,能力に応じ
ンジンに入力し,当ウェブサイトの URL が検索結果
て 5 個のクラスタに分類した.最も HumanBoost 方式
の上位に表示されるかどうかで判別するヒューリスティ
の効果が高かった被験者グループには,利用経験を判断
クスを開発し,既存のヒューリスティクスと組み合わせ
に役立てることができること,ページの内容に頼った判
て使うシステム CANTINA を 2007 年に提案した [4].
断を行っていないこと,ウェブサイトの URL に基づいた
検知を行えること,そしてブラウザの表示するセキュリ
CANTINA では TF-IDF 値を求める語句はウェブサイ
トの全単語が対象であったが,2009 年には Xiang [8] ら
ティ情報を注目できること,といった傾向が観測された.
によって,固有表現抽出によってよりウェブサイトの特
以下, 2 節において関連研究について, 3 節におい
徴を表す単語を抽出することにより,検知精度を高める
て先行研究である HumanBoost 方式について説明する.
という研究が行われた.
4 節において被験者実験の概要を述べ,その実施結果に
基づいた分析を 5 節に行う.実験の考察を 6 に述べ,ま
とめと今後の課題について 7 節で述べる.
2
また,ヒューリスティクスの組み合わせ方式を改良す
ることによる検知精度の向上も試みられている.例えば
Zhang らの CANTINA では,各ヒューリスティクスに
単純な重み付けを行って多数決を行っていた.我々の先
行研究 [9] では AdaBoost, SVM, ニューラルネットな
ど代表的な 9 種類の機械学習手法によるヒューリスティ
クスの組み合わせを評価した.この研究では,3000 件
のウェブサイトを CANTINA で用いられているヒュー
リスティクスを使って分析し,機械学習による判別及び
CANTINA の重み付けによる判別の精度を比較評価し
た.この研究では精度として判別の誤り率,f1 値,AUC
値を用いたが,ほとんどの場合において機械学習による
手法が CANTINA の重み付け手法を上回った.なお,
最も高い精度は AdaBoost [10] の場合において観測さ
関連研究
2.1
フィッシングサイトの検知方式
フィッシングサイトの検知を行う方式としては,URL
フィルタリング方式とヒューリスティクス方式がある.
URL フィルタリング方式は,ユーザが閲覧しているウェ
ブサイトの URL を,フィッシングサイトの URL デー
タベースと照合することによって,フィッシングサイト
であることを検知する.カーネギーメロン大学において
Zhang らが行った 2007 年の調査研究では攻撃の初期段
階においてフィッシング検知精度は約 70%であることが
れた.
示されていた [5].しかし,同大学で 2009 年に行われた,
様々なフィッシングサイトのデータベースを対象とした
2.2
調査 [6] は,様々なフィッシングサイトのデータベース
被験者実験の方式
フィッシング攻撃はエンドユーザを狙った攻撃である
は,攻撃が行われて間もないフィッシングサイトは,そ
ため,フィッシング対策技術の有効性を評価するために被
の 20% 未満しかデータベースに登録されていないこと
験者を募った調査が行われることがある.例えば,フィッ
を報告した.
シングサイト検知ツールの表示する警告の有効性を調べ
ヒューリスティクス方式はウェブサイトの URL やコ
るため,Wu らは被験者らがツールの検知結果をどう受
ンテンツなどからフィッシングサイトらしさを計算する
け取るかという趣旨の実験を行っている [11].また,エ
方式である.有名なヒューリスティクスの例としては,
ンドユーザを教育することによってフィッシング対策を
ドメイン名の取得期間の長さという手法がある.フィッ
行うという授業研究 [12, 13] では,被験者グループに異
シングサイトは発生してから消滅するまでの期間が短
なる教材を与えた上で実験を行い,教材の有効性の比較
2
機械学習における分類問題の一種であると捉えられる.
表 1: PTD データベースの例
URL
Site 1
Site 2
Site 3
···
Site M
Actual
Condition
phishing
phishing
phishing
···
legitimate
The user’s
decision
phishing
phishing
phishing
···
legitimate
Heuristics
#1
phishing
phishing
phishing
···
legitimate
···
···
···
···
···
···
そこで,エンドユーザにウェブサイトを閲覧させ PTD
Heuristics
#N
legitimate
legitimate
legitimate
···
phishing
を作成し,PTD を用いた場合,用いない場合の比較検討
を行った.機械学習手法には AdaBoost を利用した.理
由の 1 つは,単純に 2.1 節に示した通り AdaBoost の性
能が高かったためである.他の理由としては AdaBoost
は,あるヒューリスティクスが正確に解答できなかった
検討を行っている.
ウェブサイトについて,正しく解答できた他のヒューリ
対策技術の評価のために行われる被験者実験とは異
スティクスに高い重みを割り当てるという理論的背景が
なり,エンドユーザがウェブサイトからどのような情報
あるためである.これにより,エンドユーザが間違えや
を得ているのかを調査する被験者実験も行われている.
すいフィッシングサイトを正しく判別できるヒューリス
代表的な例としては, Dhamija らが 2006 年に行った,
ティクスに高い重みが割り当てられ,各エンドユーザの
22 人の被験者に正規サイト 7 件,フィッシングサイト
13 件を閲覧させた実験が挙げられる [14].この実験で
は,フィッシングサイトはインターネットから隔離され
た環境に再現されており,エンドユーザにブラウザを通
してウェブサイトを閲覧させ,エンドユーザの判断の結
果及び判断に至るまでの過程を調査している.被験者は
男性 10 人,女性 12 人によって構成されており,平均年
能力に応じた検知が行えるのではないかと期待した.な
お,複数のエンドユーザが PTD を共有することは,プ
ライシーの問題もあり本論文では考慮しない.
第 1 回の被験者実験は,2007 年 11 月に奈良先端科
学技術大学院大学のインターネット工学講座に所属して
いた 10 名を対象として実験を行った.被験者らは全員
22 歳から 29 歳の男性で,3 人は過去 5 年以内に修士課
齢は約 30 歳であった.結果として,23%の被験者らが
程を卒業しており,残りは修士課程の学生であった.こ
アドレスバー,SSL などの情報を見逃しており,40%の
の実験は 2.2 節で述べた Dhamija の実験を踏襲して行
誤判断を引き起こしていたことが報告された.この他,
われ,被験者らは Windows XP 上で動作する Internet
Fogg らが 2002 年に発表した文献 [15] では,2,684 人を
対象としてユーザがウェブサイトの信頼性を何から得て
いるか調査を行っている.結果として,46.1% のユーザ
がウェブサイトの見た目から,26.5% が見た目と構造か
ら信頼できるか否かを判断していることが観測されてお
り,著者らはエンドユーザが厳格な判断基準を持ってい
ないことを報告した.
Boost [3] 方式について概要を説明する.HumanBoost 方
式は,エンドユーザがウェブサイトを信頼できる,信頼で
きないといった判断を行った結果 (Past Trust Decision,
PTD) を,フィッシングサイトの検知に活用するという
Explorer (IE) 6 を操作し,正規サイト 6 件,フィッシン
グサイト 14 件を閲覧した.被験者らの判断の平均の誤
り率は 19.0%,既存のヒューリスティクスを AdaBoost
で組み合わせた検知の誤り率が 20.0% であったのに対
し,HumanBoost 方式の場合は誤り率が 13.4% と改善
が見られたことを観測した.なお,特殊な設定として IE
6 を多国語ドメイン名を表示できるようにした事を除い
ては,OS やブラウザはインストールされたままの標準
的な設定を用いた.
また,第 2 回の被験者実験として,2010 年 3 月に北
陸先端科学技術大学院大学の篠田研究室に所属していた
11 名を対象として追試を行った.被験者らは全員 23 歳
から 30 歳までの男性で,2 人が過去 5 年以内に修士課
程を卒業しており,残りは修士課程の学生であった.こ
提案である.エンドユーザはウェブサイトに個人情報を
の実験では被験者らにはブラウザを操作させず,IE 6 の
入力する時,つねに何らかの意思決定を行っていると考
スクリーンショットを紙に印刷したプリントを用いて判
えられる.言い換えれば,エンドユーザはウェブサイト
断させた.一部の正規サイトは第 1 回目の実験の時から
に対し正規サイトあるいはフィッシングサイトであると
デザインが変更されていた為,フィッシングサイトもそ
いう出力を行う装置であるとも考えられる.
れらに合わせて調整を行った.被験者らの判別の平均誤
3
HumanBoost
後の議論を正確にするため,先行研究である,Human-
仮に,表 1 のように,各エンドユーザに PTD のデー
り率は 40.5%,ヒューリスティクスによる組み合わせは
タベースが存在していると考える.データベースのス
10.5% であったのに対し,HumanBoost 方式では 9.7%
キーマはウェブサイトの URL 及びそのサイトの実際の
であった.
状況,さらにユーザの意思決定の結果と既存のヒューリ
これらの被験者実験の共通の問題点としては,被験者
スティクスの結果によって構成される.PTD のデータ
の偏りが挙げられる.どちらの実験においても,被験者
ベースを N + 1 個の説明変数と 1 個の目的変数を持つ
は少数であり,全員男性であり,情報工学分野の修士課
バイナリ行列とみなすと,フィッシングサイトの検知は
程の学生または卒業生であった.また,被験者によって
3
は PTD を利用せず,既存のヒューリスティクスのみに
表 2: 意思決定の根拠の調査に使ったウェブサイト
よって判別を行う場合に誤り率が少なくなるケースも確
#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
認された.
そこで,本論文では多種多様なエンドユーザらを対象
とし,エンドユーザがフィッシングサイトを判断する際
の根拠を調査する.そして,そうしたユーザの判断基準
に応じてユーザを分類し,PTD を利用すべきユーザの
傾向,そうすべきでないユーザの傾向について,被験者
実験を通じた調査を行う.
4
被験者実験の概要
第 3 回目の被験者実験として,2010 年 7 月にインター
ネット調査企業に依頼して 309 人分の解答を採取した.
ウェブサイト
ジャパンネット銀行
みずほマイレージクラブ
mixi
Yahoo! JAPAN
東京都民銀行
ガンホー
Gmail
三菱東京 UFJ 銀行
三井住友 VISA カード
twitter
駅ねっと
Amazon
ANA マイレージクラブ
Ameba
ゆうちょダイレクト
楽天市場
スクウェアエニックス
Goo メール
ニコニコ動画
GREE
真偽
真
偽
偽
偽
真
偽
真
真
偽
偽
偽
偽
偽
真
偽
偽
偽
偽
偽
真
言語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
日本語
SSL の有無
SSL (EV SSL)
SSL (EV SSL)
SSL
SSL (EV SSL)
SSL
SSL
この 309 人のうち,男性は 131 人で,女性は 178 人で
表 3: HumanBoost 方式の追試に用いたウェブサイト
あった.職業は技術職の会社員が 48 人,事務職の会社
#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
員が 58 人,主婦が 61 人,学生が 18 人であった.
設問は,年齢や職業などといったユーザの基本的な
属性に加え,ウェブサイトの利用経験の調査,エンド
ユーザの意思決定の根拠の調査,最後に 3 節で述べた
HumanBoost 方式の実験の追試を目的とした調査を目
的として設定した.以下,順に説明する.
4.1
ウェブサイトの利用経験についての調査
これまでの被験者実験では,被験者は利用経験の全く
ないウェブサイトについてもフィッシングサイトか否か
の判断を下さねばならなかった.しかし,エンドユーザ
ウェブサイト
Live.com
東京三菱 UFJ 銀行
PayPal
Goldman Sachs
Natwest Bank
Bank of the West
東京都民銀行
Bank of America
Paypal
Citibank
Amazon
Xanga
Morgan Stanley
Yahoo
U.S.D of Treasury
三井住友 VISA カード
eBay
Citibank
Apple
PayPal
真偽
真
偽
偽
真
偽
偽
真
偽
偽
偽
偽
真
真
偽
偽
偽
偽
偽
真
偽
言語
英語
日本語
英語
英語
英語
英語
日本語
英語
英語
英語
英語
英語
英語
英語
英語
日本語
英語
英語
英語
英語
SSL の有無
SSL
SSL
SSL
SSL
にとってウェブサイトに事前知識がある場合,ない場合
において同様の判断が行えるとは考えがたい.そこで,
あるが,この機能は意図的に外し,エンドユーザにウェ
事前知識として 4.2 節に述べるウェブサイト群について
ブサイトが表示された瞬間のスクリーンショットを閲覧
利用経験の有無の調査を行った.
させた.
4.2
この実験に用いたウェブサイト群を表 2 に示す.正規
エンドユーザの意思決定の根拠の調査
サイトとしてエンドユーザが日常的に利用していそうな
2.2 節に述べた通り,過去の被験者実験ではエンド
ユーザはウェブサイトの内容を意思決定の拠り所として
いることが知られている.しかし,フィッシングサイト
のページの内容は本物そっくりであり,ページの内容に
頼った判断ではフィッシングサイトを正規サイトである
ウェブサイトを選定した.また,フィッシングサイトにも
同様に利用していそうなウェブサイトを模したサイトを
インターネットから隔離された環境に作成し,スクリー
ンショットを取得した.例えばウェブサイト 2 は,みず
ほマイレージクラブのフィッシングサイトであるが,ド
と誤って判断する率が高くなると考えられる.
メイン名を正規サイトに似せて作成している.ウェブサ
そこで,被験者らにいくつかのウェブサイトのスクリー
イト 4, 17 は実際に報告されたフィッシングサイトであ
ンショットを閲覧させ,それぞれ正規サイトかフィッシン
り,ウェブサイト 11, 12 はフィッシングサイトをホス
グサイトと思うかを判断させた.また,被験者らにはそ
ティングすると報告されるなどしたウェブサイトである.
の判断の根拠が「ページの内容」
「ウェブサイトの URL」
この他,SSL を用いない正規サイト及び SSL を用いた
「ブラウザの表示するセキュリティ情報」「その他」(そ
フィッシングサイトを用いた.なお,この調査には全て
の他の場合はその事由)の何であったかについて,1 つ
の日本語のウェブサイトを用いた.
以上の選択肢を解答させた.また,実験を行った 2010
年には IE 6 が古く使われなくなっており,OS として
4.3
HumanBoost 方式の追試
Windows Vista,ブラウザとして IE 8 を利用した.IE 8
にはフィッシングサイトを判別し警告を表示する機能が
サイトのスクリーンショットについても同様に作成した.
最後に,第 1 回目及び第 2 回目の実験で用いたウェブ
4
めの能力の構成要素は,以下の 5 項目であると仮定する.
表 4: 判断基準と平均誤り率
ページの内容
v
URL
セキュリティ
v
v
v
v
v
v
v
v
v
v
v
誤り率
62.1 %
25.5 %
36.9 %
52.0 %
60.0 %
17.7 %
50.2 %
要素 1 過去に利用経験のあるウェブサイトについては,こ
の経験を活かした判断を行うこと.
要素 2 ページの内容に基づいた判断を行っていないこと.
要素 3 ウェブサイトの URL に基づいた検知を行ってい
ること.
ウェブサイトの一覧を表 3 に示す.基本的には先行研
究 [3] の通りである.なお,追試を目的としているため, 要素 4 SSL (EV SSL) を利用しているサイトでは,ブラ
ウザの表示するセキュリティ情報に基づいた判断
スクリーンショットを取得した環境は OS を Windows
を行っていること.
XP ,ブラウザを IE 6 で統一することにした.このた
め,一部のウェブサイトを表 2 と重複させ,閲覧環境に
要素 5 SSL (EV SSL) を利用していないサイトでは,ブ
よって判断の違いがどのように変わるかについても観測
ラウザの表示するセキュリティ情報に基づいた判
することとした.この観測結果については 6 節に述べる.
断を行っていないこと.
5
被験者実験の解析
5.1
さらに,これらの各構成要素について,(0 · · · 1) に正
規化された範囲内における数値化を試みる.構成要素 1
被験者のクラスタリング
については,ウェブサイトの利用経験がある場合に,当
本論文では HumanBoost 方式を利用すべきユーザ,そ
該サイトについての検知率を算出することとした.例え
うでないユーザを分類することを目的として被験者実験
ば 20 サイトのうち被験者が 10 サイトを利用したことが
を行う.この分類の基準として,フィッシングサイトを
あり,その 10 サイトについて 8 サイトを正しく検知でき
正しく判断するための能力をいくつかの構成要素に分解
た場合,この被験者の構成要素 1 についての能力は 0.8
し,それぞれ調査を行うこととした.先述の通り,エン
であると定義する.構成要素 2 については,20 サイトに
ドユーザの意思決定の根拠としては, 4.1 節に挙げたと
ついての判断基準の選択肢に「ページの内容」を選ばな
おり過去のウェブサイトの利用経験, 4.2 節で挙げたと
かった割合を用い,同様に,構成要素 3 については,選
おり,ページの内容,ウェブサイトの URL ,ブラウザ
択肢に「URL」を選んだ割合を用いる.構成要素 4 につ
の表示するセキュリティ情報などを考える.
いては,SSL を用いている 6 サイト (2 件のフィッシン
そこで,これらの情報がウェブサイトの判断に好影響
グサイト含む) について「ブラウザの表示するセキュリ
をもたらすのか,あるいは悪影響をもたらすのかを考え
ティ情報」を選んだ割合を用い,構成要素 5 については,
る.まず,利用経験がないと答えられたウェブサイトの
SSL を用いてない 14 サイト (2 件の正規サイト含む) に
ついて「ブラウザの表示するセキュリティ情報」を選ば
なかった場合を用いる.
次にこれらの数値化された 5 個の構成要素に基づいた
エンドユーザのクラスタリングを行う.クラスタリング
手法の選定として,代表的なクラスタリングのアルゴリ
ズムである EM 法,Fuzzy C means(FCM) 法の比較検
討を行った.各アルゴリズムにおいてクラスタ数を設定
平均誤り率は 48.6% であったのに対し,利用経験があ
るサイトでは 42.7% であることが観測された.これか
ら,利用経験の有無は意思決定の結果に何らかの好影響
を及ぼしていると推測し得る.
次に,各項目と平均誤り率についての調査を行った.
その結果を表 4 に示す.v は該当する選択肢が選択され
た事を示す.例えば,ページの内容によってのみ判断し
ている被験者の平均誤り率は 62.1% であった.表 4 か
する手法は多様な方法が考えられるが,我々はエントロ
らは,ページの内容のみによって判断している場合は誤
ピーと純度に基づいてクラスタ数を決定することとした.
り率が高く,ウェブサイトの URL とブラウザの表示す
エントロピーと純度の測定を行うためには,クラスタ数
るセキュリティ情報をみて判断している場合に誤り率が
が n の場合,被験者を n 通りに分類する何らかの指標
少ない.従って,ページの内容に頼って判断することは
が必要となる.我々は被験者のウェブサイトにおける判
意思決定の結果に何らかの悪影響を及ぼしており,ウェ
断の誤り率を n 個の階級に分けて分類することとした.
ブサイトの URL とセキュリティ情報をみて判断するこ
例えばクラスタ数を 5 とした場合,被験者 i の判断の誤
とは好影響を及ぼしていると考えられる.なお,選択肢
り率 ni について ni < 0.2, 0.2 ≤ ni < 0.4, 0.4 ≤ ni <
として「その他」を定義したが,選択される頻度が少な
0.6, 0.6 ≤ ni < 0.8, 0.8 ≤ ni といったような 5 段階に分
かったため本論文では分析の対象外とする.
類する.これにより,クラスタリングの分類結果と誤り
そこで,被験者らがフィッシングサイトを判断するた
5
表 5: EM 法, FCM 法によるクラスタ数の比較
クラスタ手法
/ クラスタ数
3
4
5
6
7
8
9
10
EM
エントロピー
0.602
0.581
0.500
0.541
0.581
0.615
0.596
0.588
純度
0.734
0.663
0.699
0.589
0.505
0.508
0.518
0.472
FCM
エントロピー
0.556
0.550
0.481
0.536
0.593
0.639
0.573
0.613
純度
0.731
0.702
0.722
0.595
0.508
0.489
0.511
0.469
表 6: 被験者グループのクラスタリング
クラスタ ID
1
2
3
4
5
被験者数
79
58
53
65
54
要素 1
0.193
0.814
0.791
0.511
0.460
要素 2
0.059
0.714
0.768
0.286
0.276
要素 3
0.041
0.745
0.726
0.704
0.499
要素 4
0.050
0.196
0.723
0.130
0.183
要素 5
0.965
0.905
0.563
0.919
0.882
率による分類結果を照合し,エントロピーと純度を計算
図 1: 各クラスタの誤り率
する.
各クラスタリング手法による結果を表 5 に示す.一般
も平均誤り率が減少しているのは自然であると考えられ
に,エントロピーは小さいほど良く,純度は高いほど良
る.表 6 から読み取れるクラスタ 3 の被験者らは,要素
いとされる.能力を構成する要素の数を 5 と仮定してい
1,2,3,4 が高い傾向にある.クラスタ 2 の被験者らは要素
1,2,3 が高い傾向にある点が似ているが,要素 4 はクラ
スタ 3 に比べて低くなっている.クラスタ 1,4,5 はペー
ることもあり,本論文ではクラスタ数に 5 を選択した.
また,EM 法と FCM 法の比較検討の結果,FCM 法に
よるクラスタリングを採用することとした.
ジの内容に頼った判断を行う傾向が強く,HumanBoost
クラスタリングの結果を表 6 に示す.クラスタ ID は
便宜上付与した名前であり,それぞれ 5 個のクラスタを
方式による性能の改善もクラスタ 2,3 のユーザに比べ
意味している.被験者数は各クラスに分類された被験者
るという事象が確認された.
これらの結果から,HumanBoost 方式で活用すべき
PTD を持つユーザの傾向として,クラスタ 3 に代表さ
れる「事前知識を検知に役立てることができる」かつ
数である.要素 1∼5 の数字は,被験者の能力の構成要
素を 5.1 節で述べた手法により数値化し,クラスタ毎に
平均を計算した値である.
「ページの内容に頼った判断を行っていない」
「ウェブサ
5.2
クラスタ毎の HumanBoost 結果
イトの URL に基づいた検知を行える」事であり,また
「ブラウザの表示するセキュリティ情報を注目できる」と
この 5 個の被験者グループについて,各グループの判
いった能力を持つ被験者であると考察できる.
断の平均誤り率,既存のヒューリスティクスを用いた場
合の誤り率,及び HumanBoost 方式を用いた場合の平
6
均誤り率を調査する.まず 4.3 節で述べた通り,20 サイ
ト分の PTD をユーザ毎に作成する.次に,4 分割交差
考察
4.2 節においてエンドユーザの意思決定の根拠の調査
検定法を 10 回繰り返し,誤り率の平均を計算した.
に用いたウェブサイト閲覧環境は OS が Windows Vista,
結果を図 1 に示す.白色のグラフが被験者クラスタ毎
ブラウザが IE 8 であった.また, 4.3 では OS が Win-
の判別の誤り率の平均,灰色のグラフがヒューリスティ
dows XP,ブラウザが IE 6 と違いがある.このため,
クスによる誤り率の平均,黒色のグラフが HumanBoost
表 2, 3 に示す通り一部のウェブサイトを同じにし,ブ
方式を用いた場合の,各被験者クラスタにおける誤り率
ラウザの違いによって影響が出ているのかを観測する.
の平均である.既存のヒューリスティクスによる誤り率
近代的なブラウザは Extended Validation (EV) SSL
は 11.0%,各被験者の誤り率はそれぞれクラスタ 1 が
証明書に対応している.EV SSL 証明書は,証明書認証
49.9%,2 が 35.1%,3 が 26.1%,4 が 41.9%,5 が 44.5%
であった.はそれぞれ 10.4%,8.8%,8.0%,9.9%,9.9%
局が対象機関の法的実在性を調査するなど厳格な発行手
であった.
場合は EV SSL 証明書を用いているウェブサイトを閲覧
続きをしているという特徴がある.また,例えば IE 8 の
被験者の誤り率でいえばクラスタ 3,次いでクラスタ
するとアドレスバーが緑色になり,ウェブサイト所有者
2,4,5,1 の順番となっている.平均誤り率の低いユーザ
の PTD であるから,HumanBoost 方式を用いた際に
の名称が表示されるなどされる.Robert らの実験 [16]
では,被験者らが EV SSL 証明書に対応した IE 7 を用
6
を活用すべきユーザはどのような傾向にあるのかを調査
表 7: EV SSL 証明書を用いている正規サイトにおける
した.
誤り率
ウェブサイト
ブラウザ
/ クラスタ ID
1
2
3
4
5
正規サイト (EV SSL)
IE 8
35.4
60.3
26.4
52.3
51.9
%
%
%
%
%
この調査手法として,被験者にウェブサイトを閲覧さ
正規サイト (EV SSL)
IE 6
46.8
79.3
66.0
55.4
51.9
せ,その際に何を根拠に判断を行ったかをアンケート形
%
%
%
%
%
式で実験を行うこととした.まず,被験者らに対し,こ
れから閲覧するウェブサイトについての利用経験を質問
した.次に,被験者らに 20 サイトを閲覧させ,フィッシ
ングサイトか否かを判断させた.また,この際にその時
いた場合,EV SSL 証明書を使ったウェブサイトの方が
に被験者らが活用した情報として,
「ページの内容」
「ウェ
通常の SSL を用いたウェブサイトよりもウェブサイト
ブサイトの URL」
「ブラウザの表示するセキュリティ情
の所有者の情報を発見しやすくなったという結果が示さ
報」及び「その他」を選択させた.次に,先行研究 [3]
れている.
で用いた 20 サイトを閲覧させ,フィッシングサイトか否
かを判断させた.
本論文での実験では,被験者らは,IE 8 と IE 6 と
実験結果として得られた 309 人分の被験者の解答から,
いう異なる環境において,正規の東京都民銀行のサイト
を閲覧している.東京都民銀行のウェブサイトは 2010
被験者が正規サイトとフィッシングサイトを判断する能
年 7 月現在において EV SSL 証明書を用いており, 4.2
力は 5 項目の要素によって構成されると仮定した.この
節では前述の通りに表示される.しかし, 4.3 節で用
上で,被験者らを Fuzzy C Means 法を用い,構成要素
いた IE 6 は EV SSL 証明書に対応しておらず,通常
に基づいた 5 個のクラスタに分類した.さらに,各ク
の SSL 証明書と同じように鍵アイコンを表示する.な
ラスタにおける被験者の判断の誤り率,既存のヒューリ
お,東京都民銀行にエンドユーザがログインページは
スティクスを用いた場合の誤り率,被験者の判断と既存
のヒューリスティクスを組み合わせた HumanBoost 方
https://www2.paweb.answer.or.jp/ と東京都民銀行
を想起させない URL となっている.さらに,東京都民
銀行のウェブサイトの EV SSL 証明書では,ウェブサ
イトの所有者は NTT DATA CORPORATION と表示
されており,被験者らが東京都民銀行のサイトであるこ
とを確認することは分かり難かったと考えられる.
式による誤り率の平均値を算出した.既存のヒューリス
ティクスによる誤り率は 11.0%,5 個のクラスタに分類
された被験者グループの誤り率の平均は 49.9%,35.1%,
26.1%,41.9%,44.5% であった.HumanBoost 方式に
よる誤り率の平均は,10.4%,8.8%,8.0%,9.9%,9.9%
であった.誤り率の改善が高い被験者グループには,
「利
用経験を判断に役立てることができる」かつ「ページの
内容に頼った判断を行っていない」
「ウェブサイトの URL
に基づいた検知を行える」,また「ブラウザの表示する
セキュリティ情報を注目できる」といった傾向が観測さ
れた.
ただし,この調査実験ではエンドユーザの判断基準
の調査の際に用いたウェブサイトの閲覧環境が Internet
Explorer (IE) 8 であったのに対し,追試では IE 6 を
用いている.IE 8 と IE 6 では,Extended Validation
しかし,結果として,クラスタ 5 の被験者らを除き,
EV SSL 証明書を用いているウェブサイトでは IE 6 よ
りも IE 8 の方が誤り率が少なくなっている.とりわけ
クラスタ 3 の被験者らは EV SSL 証明書の有無によっ
て検知率が大幅に改善されている.察するに,クラスタ
3 の被験者らは,ウェブサイトの URL からフィッシン
グサイトであるかもしれないと考えたのであろう.そし
て,これらの被験者らは EV SSL 証明書を視認したこと
によって正規サイトである可能性の方が高くなると意思
決定を行ったのではないかと考察し得る.被験者らの意
思決定の根拠に用いたウェブサイトと HumanBoost 方
(EV) SSL 証明書などを利用しているウェブサイトを表
式の追試に用いたウェブサイトの閲覧環境を等しくした
示する際に挙動が異なり,エンドユーザが一貫した判断
場合の実験は今後の課題である.
を行えていないという問題が懸念される.また,標本と
して用いたウェブサイトに対する偏りも考えられる.こ
7
まとめ
うした問題を解決するためには,全く独立した被験者実
験の追試を行い,有効性を検証する必要性があると考え
本論文では,エンドユーザがこれまで行ったウェブサ
られる.
イトについて「正規サイトであり信頼できる」「フィッ
今後の課題としては,被験者実験に用いたブラウザを
シングサイトであり信頼できない」といった判断 (Past
統一し,また,ウェブサイトに対する偏りを考慮する必
Trust Decision, PTD) と,既存のヒューリスティクスを
要があると考えられる.また,フィッシングの手口が変
機械学習によって組み合わせてフィッシングサイトの判
化した場合においても PTD に基づいた判別が有効か否
別を行う提案である HumanBoost 方式において,それ
かを検証し続けることも課題である.
7
[10] Yoav Freund and Robert E. Schapire. A DecisionTheoretic Generalization of On-Line Learning and
an Application to Boosting. Journal of Computer
and System Science, 55(1):119–139, 1997.
参考文献
[1] Tom McCall.
Gartner Survey Shows Phishing Attacks Escalated in 2007; More than
$3 Billion Lost to These Attacks. Available
at: http://www.gartner.com/it/page.jsp?id=
[11] Min Wu, Rovert C. Miller, and Simson L.
Garfinkel. Do Security Toolbars Actually Prevent
Phishing Attacks? In Proceedings of Conference
On Human Factors In Computing Systems, Apr.
2006.
565125, Dec. 2007.
[2] RSA Security, Inc.
RSA 2010 Global Online Consumer Security Survey. Available at:
http://www.rsa.com/products/consumer/
whitepapers/10665 CSV WP 1209 Global.pdf,
Jan. 2010.
[12] Ponnurangam Kumaraguru, Yong Rhee, Alessandro Acquisti, Lorrie Faith Cranor, Jason I. Hong,
and Elizabeth Nunge. Protecting people from
phishing: the design and evaluation of an embedded training email system. In Proceedings of
Conference On Human Factors In Computing Systems, pages 905–914, Apr. 2007.
[3] Daisuke Miyamoto, Hiroaki Hazeyama, and Youki
Kadobayashi. HumanBoost: Utilization of Users’
Past Trust Decision for Identifying Fraudulent
Websites. Journal of Intelligent Learning Systems
and Applications, 2(4):190–199, 2010.
[13] Steve Sheng, Bryant Magnien, Ponnurangam Kumaraguru, Alessandro Acquisti, Lorrie Faith Cranor, Jason I. Hong, and Elizabeth Nunge. AntiPhishing Phil: the design and evaluation of a game
that teaches people not to fall for phish. In Pro-
[4] Yue Zhang, Jason Hong, and Lorrie Cranor.
CANTINA: A Content-Based Approach to Detect
Phishing Web Sites. In Proceedings of the 16th
World Wide Web Conference, May 2007.
[5] Yue Zhang, Serge Egelman, Lorrie Cranor, and
Jason Hong. Phinding Phish: Evaluating AntiPhishing Tools. In Proceedings of the 14th Annual
Network and Distributed System Security Symposium, Feb. 2007.
ceedings of the 1st Symposium On Usable Privacy
and Security, Jul. 2007.
[14] Rachna Dhamija, J. Doug Tygar, and Marti A.
Hearst. Why Phishing Works. In Proceedings of
Conference On Human Factors In Computing Systems, Apr. 2006.
[6] Steve Sheng, Brad Wardman, Gary Warner, Lorrie Faith Cranor, Jason Hong, and Chengshan
Zhang. An Empirical Analysis of Phishing Blacklists. In Proceedings of the 6th Conference on
Email and Anti-Spam, Jul. 2009.
[15] Brian Jeffrey Fogg, Leslie Marable, Julianne Stanford, and Ellen R. Tauber. How Do People Evaluate a Web Site’s Credibility? Results from a Large
Study. Technical report, Stanford, Nov. 2002.
[7] Neil Chou, Robert Ledesma, Yuka Teraguchi, Dan
Boneh, and John C. Mitchell. Client-side defense
[16] Robert Biddle, P. C. van Oorschot, Andrew S.
Patrick, Jennifer Sobey, and Tara Whalen.
Browser interfaces and extended validation ssl cer-
against web-based identity theft. In Proceedings
of 11th Annual Network and Distributed System
Security Symposium, Feb. 2004.
tificates: an empirical study. In Proceedings of the
2009 ACM workshop on Cloud computing security,
[8] Guang Xiang and Jason I. Hong. A Hybrid Phish
Detection Approach by Identity Discovery and
pages 19–30. ACM, Nov. 2009.
Keywords Retrieval. In Proceedings of the 17th
World Wide Web Conference, Apl. 2009.
[9] Daisuke Miyamoto, Hiroaki Hazeyama, and Youki
Kadobayashi. An Evaluation of Machine Learningbased Methods for Detection of Phishing Sites.
Australian Journal of Intelligent Information Processing Systems, 10(2):54–63, 2008.
8