カンターレット変換とパルス結合ニューラルネットワークを用 - 徳島大学

社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
信学技報
TECHNICAL REPORT OF IEICE.
カンターレット変換とパルス結合ニューラルネットワークを用いた
可視光画像と赤外線画像の合成法の提案
生田 智敬†
張 松俊††
上手 洋子†
楊 国安††
西尾 芳文†
† 徳島大学
〒 770-8506 徳島県徳島市南常三島町 2-1
†† 西安交通大学
〒 710049 陜西省西安市咸寧西路 28 号
E-mail: †{ikuta,uwate,[email protected], [email protected], [email protected]
あらまし
可視光画像と赤外線画像の合成は,それぞれの画像が持った特徴から非常に重要な情報を得ることができ
る.現在まで,様々な画像合成法が提案されている.特に,パルス結合ニューラルネットワークは画像のエッジに対
して強く反応することから,その有用性が指摘されている.本研究では,非サブサンプルドカンターレット変換を用
いて 2 種類の画像を係数に分解し,各係数ごとに合成を行う.分解された画像係数は,ラプラシアンフィルタと平均
化フィルタの二種類のフィルタにかけららた後,パルス結合ニューラルネットワークによって合成される.提案する
画像合成法を用いることによって,パルス結合ニューラルネットワークのみで画像合成を行った場合より優れた画像
が得られることを示す.
キーワード
画像合成,カンターレット変換,パルス結合ニューラルネットワーク
Fusion of Visible and Infrared Images by Non-Subsampled Contourlet
Transform and Pulse Coupled Neural Network
Chihiro IKUTA† , Songjun ZHANG†† , Yoko UWATE† , Guoan YANG†† , and Yoshifumi NISHIO†
† Dept. of E.E. Eng., Tokushima University, 2-1 Minami-Josanjima, Tokushima 770-8506, JAPAN
†† Dept. of Automation Science and Technology, School of Electric and Information Eng., Xi’an Jiaotong
University, No.28, Xianning West Road, Xi’an, Shaanxi, 710049, CHINA
E-mail: †{ikuta,uwate,[email protected], [email protected], [email protected]
Abstract The image fusion between a visible image and an infrared image is obtained important information
from characters of two images. Currently, various methods are proposed for image fusion. The Pulse Coupled
Neural Network (PCNN) is especially useful, because the PCNN has high response to the edge of the image. In this
article, we use two different methods which are the PCNN and Non-Subsampled Contourlet Transform (NSCT) to
the image fusion algorithm. In this method, the images are decomposed to the coefficients by the NSCT. These
coefficients are treated by a laplacian filter and an average filter. After that, the changed coefficients are fused by
the PCNN. The fused coefficients reconstruct to the fusion image by the NSCT. From simulations, we confirm that
the proposed image fusion algorithm can be obtained to the high quality image than the fusion image of only using
the PCNN.
Key words Image fusion, Counterlet transform, Pulse coupled neural network
1. ま え が き
の画像の特徴から有用であることが報告されている.可視光画
像は,対象のエッジや色等の詳細を知ることができる.しかし,
画像合成は,画像処理分野の中で盛んに研究が行われてい
明暗の差が強い環境や,夜間の撮影等,撮影環境の影響を受け
る [1]- [3].特に,可視光画像と赤外線画像の合成は,それぞれ
やすい.対して,赤外線画像は画像の詳細を得ることが難しく
—1—
カラーでの撮影ができないが,撮影環境による影響は小さい.
用途に合わせて調整が可能である.なお,各画像係数から画像
このように,相対的な特徴を持った画像の合成により,それぞ
を再構成するときは,以上の処理を逆方向に行う.
れの特徴の優れた部分を持った画像が得られると考えられる.
本研究では,画像合成法にパルス結合ニューラルネットワー
ク(PCNN)と非サンプルドカンターレット変換(NSCT)を
用いる.PCNN は,画像処理においてはエッジに対して強い反
応を見せることで知られている [4] [5].エッジは,画像の情報
の中でも特に重要な情報である.そのため,PCNN は画像処理
において広く用いられている [6].また,NSCT はカンターレッ
Image
ト変換 [9] の拡張から提案された手法であり,アップサンプリン
グとダウンサンプリングを行わないため,画像サイズを変更せ
Multi-scale
Decomposition
Directional
Decomposition
ずに画像係数に変換することができる [7] [8].本手法では,最
図 1 非サブサンプルドカンターレット変換.
初に,NSCT を用いて合成する画像を画像係数に分割する.分
割された画像に対してラプラシアンフィルタと平均化フィルタ
をかけた2種類の画像係数を作成する.その後,PCNN によっ
て係数の合成を行う.この処理を,可視光画像と赤外線画像の
両方に行う.そして,フィルタリング後の可視光画像と赤外線
画像の画像係数を PCNN によって一つに合成する.合成され
た係数を基に NSCT により画像を再構成し合成画像を作成す
る.私達は,フィルタリングを用いて画像係数を改変し,それ
を用いることによって,より各画像の特徴が強調されると考え
ている.提案手法を用い画像合成を行った場合,PCNN のみを
用いた場合と比較して優れた合成画像が得られることをシミュ
2. 2 PCNN
PCNN は,猫の視覚野における神経細胞の同期発火現象を
モデル化したニューラルネットワークである [4] [5].PCNN は,
その特徴から画像処理への応用が多く提案されており,実際
に,エッジ強調やセグメンテーション等に有効であることが示
されている [6].なお,PCNN を画像処理に適用する場合,1
つのニューロンに画像の1ピクセルを与える.PCNN における
ニューロンの構成を図 2 に示す.
ܻ௜௝
ܹ ௡ ௜௝,௞௟
…
レーションにより示す.
2. 画像合成法
本研究では,可視光画像と赤外線画像の画像合成法を提案す
1
る.可視光画像の詳細な情報が得られる特性と,赤外線画像の
ܻ௜௝
Linking
෍
ܹ ௡ ௜௝,௞௟
ߙ௅
‫ܯ‬௡ ௜௝,௞௟
Feeding
…
撮影環境によって影響を受けにくい特性を利用し,この2つを
提案手法では,NSCT によって画像の係数化を行い,各係数毎
෍
に2種類のフィルタリングを行う.そして,PCNN を用いて2
௜௝,௞௟
ܸఛ
ߙఛ
ߠ௜௝ -
画像合成することにより単独では得られない画像を作成する.
‫ܯ‬௡
1 + ߚ‫ܮ‬௜௝
Step function
‫ܨ‬௜௝
ܻ௜௝
ܷ௜௝ +
ߙி
ܵ௜௝
種類の係数を合成し,さらに,可視光画像と赤外線画像の合成
図2
パルス結合ニューラルネットワーク
を行う.以下に提案手法の詳細を示す.
2. 1 NSCT
NSCT は, カンターレット変換を拡張した画像分解法であ
PCNN では,ニューロンが格子状に配置されており,入力は
Linking 部と Feeding 部から構成される Linking 部では,近傍
る [7] [8]. NSCT では,画像を各周波数成分に分割する際にアッ
に存在するニューロンからの入力を受容し,Feeding 部では,
プサンプリングとダウンサンプリングを行わない.そのため,
外部刺激を受容する.画像処理に応用する場合,外部刺激とし
NSCT によって分割された各画像係数のサイズが全て等しくな
て画像のピクセル情報を加える.Linking 部と Feeding 部は,
る.この NSCT では,画像のエッジの検出が優れており,ノイ
次式のように与えられる.
ズ除去等に優れた性能を示すことが示されている.NSCT にお
Lij (n)
=
e−αL Lij (n − 1)
∑
+VL kl Wij,kl Ykl (n − 1),
(1)
Fij (n)
=
(2)
用いる.方向性フィルタを用いることで,各画像係数に残るの
e−αF Fij (n − 1) + Sij
∑
+VF kl Mij,kl Ykl (n − 1),
は一定方向の同周波数帯の係数となる.このように,近い周波
なお,α は自己フィードバックの減衰係数,L は Linking 部の
数帯において見られる画像の方向は,その画像におけるエッジ
出力,W は他ニューロンとの結合荷重,F は Feeding 部の出
となる可能性が高く,エッジ検出が容易に行える.また,NSCT
力,S は外部刺激,V は結合荷重の正規化係数,M は他ニュー
では周波数と方向ともに任意に分割する数を決めることができ,
ロンとの結合荷重である.Linking 部と Feeding 部は,ともに
いて画像の分解は,2種類のフィルタによって行われる.図 1
に NSCT における処理を示した.まず画像は,ピラミッドフィ
ルタバンクによって周波数高低成分に分解される.次に,各周
波数成分に分解された画像に対して,方向性フィルタバンクを
—2—
ローカルフィードバックを持っており,前の状態を保持してい
そして,この2つの画像係数を PCNN を用いて合成する.以
る.式(1)に示すとおり,Linking 部は周りのニューロンと
上の処理のフローチャートが図 3 である.すべての画像係数に
ローカルフィードバックのわから計算される.また Feeding 部
対してこの処理を行う.そして,フィルタリングされた可視光
の出力は,周りのニューロンの出力,外部刺激,ローカルフィー
画像の画像係数と,フィルタリングされた赤外線画像の画像係
ドバックの総和から決定される.ニューロンの内部状態 U は,
数を合成する.そして,合成された画像係数より NSCT の逆
Linking 部と Feeding 部の入力から,次式に従い計算される.
操作に,より画像を再構成する.
Uij (n)
=
Fij (n){1 + βLi j(n)},
(3)
PCNN ではしきい値は動的に変化する.しきい値 θ は次式に
Coefficient A
Coefficient B
Laplacian filter
Average filter
Laplacian filter
Average filter
Normalization
Normalization
Normalization
Normalization
よって定義される.
θij (n)
=
e−αθ θij (n − 1) + Vθ Yij (n),
(4)
Fusion by the PCNN
Fusion by the PCNN
式 (4) が示すように,ニューロンが出力 Y を持った時,しきい
値が大きくなる.そのため,ニューロンは,しきい値によって
Fusion by the PCNN
連続的に発火することが制限される.各ニューロンの出力は,
Fused coefficient
次式のようにしきい値と内部状態の比較から得られる.
Yij =
{ 1,
0,
図 3 提案手法のフローチャート.
Uij (n) > θij (n − 1)
otherwise.
(5)
3. 結
果
本研究では,画像係数の合成に PCNN を用いる.2つの画像
係数をそれぞれ PCNN にかけ,等しい試行回数分,状態を変
化させる.その後,2つの PCNN のニューロンの出力値を比
較し,大きい値の係数を選択する.結合則は式(6)のように
Iij =
Bij ,
量,情報量,標準偏差を用いる.相互情報量は,合成後の画像
が,合成に用いる可視光画像と赤外線画像の情報をどれだけ
定義される.
{ Aij ,
この章では,提案する画像合成手法と NSCT と PCNN のみ
を用いた画像合成法の比較を行う.比較指標として,相互情報
持っているかを示している.情報量は,合成後の画像が持って
Yij,A > Yij,B
otherwise,
(6)
らばり具合を表す.標準偏差が大きいほど,先鋭化された画像
であることが期待できる.
なお,A と B は画像係数である.
まず,夜間に撮影された2つの画像の合成を行う(図 4).可
2. 3 提 案 手 法
提案手法では,NSCT によって各成分に分割された画像係数
に対してフィルタリングを行う.各画像係数に対してラプラシ
アンフィルタを適用したものと,同様の画像係数に平均化フィ
ルタを用いたものを用意する.ラプラシアンフィルタは,空間
2次微分を計算するフィルタで,輝度の大きな部分を強調する.
そのため,一般的にエッジ検出フィルタとして用いられる.ラ
プラシアンフィルタは式 (7) で表される.


−1 −1 −1


Laplacianf ilter = 
9
−1 
 −1

−1 −1 −1
いる情報の期待値を示す.標準偏差は,画像のピクセル値の散
視光画像では,夜間に撮影されているため光源の部分だけが強
調されている.そのため,画像の全体像を見ることができない.
一方,赤外線画像では,可視光では見えない部分まで撮影でき
ている.ただし,可視光画像とは異なり光源とは異なる部分が
明るくなている.図 5 が合成後の画像である.PCNN による結
果および提案手法ともに可視光画像と赤外線画像の特徴が合成
されていることがわかる.表 1 に合成画像の数値結果を示す.
画像では差を見ることが出来なかったが,すべての指標におい
て,提案手法の結果が優れていることがわかる.
(7)
平均化フィルタは,ピクセル値を近傍のピクセルに分配し画像
を平均化する.平均化フィルタをは,式 (8) で与えられる.


0.11 0.11 0.11



(8)
Averagef ilter = 
 0.11 0.12 0.11 
0.11 0.11 0.11
もともと同一の画像係数に,異なったフィルタを用いることに
より,それぞれの特徴が強調された画像係数となる.その後,
ラプラシアンフィルタを用いた係数と平均化フィルタを用いた
(a) 可視光画像.
(b) 赤外線画像.
図 4 合成に用いる画像.
係数で値の大きさに差がでないように,それぞれを正規化する.
—3—
表2
結
果
.
相互情報量
情報量
標準偏差
PCNN
5.5801
7.4862
53.454
Proposed
6.0821
7.5491
54.669
4. ま と め
本研究では,NSCT と PCNN を用いた可視光画像と赤外線
画像を用いた新たな画像合成法を提案した.可視光画像と赤外
(a) PCNN.
(b) 提案手法.
図5
合 成 画 像.
表1
結
果
線画像は,それぞれ異なった特徴を持っている.この2つの画
像を合成することにより,より優れた画像を得ることが期待で
きる.提案手法では,NSCT を用いて画像を画像係数に分解し,
.
相互情報量
情報量
標準偏差
その各係数に対してラプラシアンフィルタと平均化フィルタを
PCNN
2.4956
7.0300
32.713
適用する.フィルタリングされた2つの画像係数を PCNN に
Proposed
2.8358
7.1275
34.865
よって合成し,さらに,可視光画像の係数と赤外線画像の係数
を PCNN によって合成する.最後に,NSCT の逆処理によっ
次に,図 6 を合成した時の結果を示す.この画像では,可視
て合成画像を作成する.提案手法によって得られた合成画像は,
光画像において木の詳細を確認することができない.対して,
NSCT と PCNN のみによる合成画像と比較して各画像の指標
赤外線画像では複数の木を確認することができる.図 7 に合成
において優れた結果を得た.
結果を示す.この結果では,赤外線画像のほうの情報が多く選
択されている.そのため,赤外線画像と合成画像が似た画像と
なった.しかし,詳細に見ると赤外線画像には写っていない部
分が合成画像に反映されていることがわかる.さらに,表 2 よ
り,提案手法のほうが PCNN を用いた合成画像より優れてい
ることがわかる.
(a) 可視光画像.
(b) 赤外線画像.
図 6 合成に用いる画像.
文
献
[1] B. Xu and Z. Chen, “A Multisensor Image Fusion Algorithm
Based on PCNN,” Proc. the 5th World Congress on Intelligent Control and Automation, pp.3679-3682, June 2004.
[2] W. Min, P. Dongliang, and Y. Shuyuan, “Fusion of Multiband SAR Images Based on Nonsubsampled Contourlet
and PCNN,” Proc. 4th International Conference on Natural Computation, pp.529-533, Oct. 2008.
[3] Q.X. Bo, Y.J. Wen, X.H. Zhi, and Z.Z. Qian, “Image Fusion
Algorithm Based on Spatial Frequency-Motivated Pulse
Coupled Neural Networks in Nonsubsampled Contourlet
Transform Domain,” Acta Automatica Sinica, vol.34, no.12,
pp.1508-1514, Dec. 2008.
[4] R. Erikhorn, “Feature Linking via Synchronization among
Distributed Assemblies: Simulations of Result from Cat Visual Cortex,” Neural Computation, vol.2, pp.293-307, 1990.
[5] T. Lindblad and J.M. Kinser, Image Processing Using
Pulse-Coupled Neural Networks, Springer 2005.
[6] J.L. Jhonson and M.L. Padgett, “PCNN Models and Applications,” IEEE Transactions of Neural Network, vol.10,
no.3, pp.480-498, May 1999.
[7] A.L Cunha, J. Zhou, and M.N. Do, “The Nonsubsampled Contourlet Transform: Theory, Design, and Applications,” IEEE Transaction on Image Processing, vol.15,
no.10, pp.3089-3101, Oct. 2006.
[8] J. Zhou, A.L. Cunha, and M.N Do, “Nonsubsampled Contourlet Transform: Construction and Application in Enhancement,” Proc. International Conference on Image Processing, pp.469-472, Sept. 2005.
[9] G. Yang, H.V.D. Wetering, M. Hou, C. Ikuta, Y. Liu, “A
Novel Design Approach for Contourlet Filter Banks,” IEICE Transactions on Information and Systems, vol. E93-D,
no.7, pp.2009-2011, Jul. 2010.
(b) 提案手法.
(a) PCNN.
図7
合成画像.
—4—