PDF:2962KB - サイエンティフィックシステム研究会

サイエンティフィック・システム研究会
科学技術分科会 第1回会合資料
固体地球プラットフォーム:
GeoFEM
GeoFEM ( 大規模並列シミュレーションプラットフォーム )
Mikio Iizuka
( 財 ) 高 度 情 報 科 学 技 術 研 究 機 構 ( RIST
RIST)
)
˜ 要求されている講演のポイント
n H P C の「新分野での利用事例」の話題として、アプリの狙い
n 計 算 機 の 利 用 上 の 工 夫 点 (チ ュ ー ニ ン グ ポ イ ン ト 等 )
˜
˜
˜
˜
˜
˜
˜
IT の 観 点
-- 研究内容そのものが中心とした講演よりも、 計 算 機 の 使 い 方 の 事 例 。
-- な ぜ そ の 計 算 機 な の か 、 な ぜ そ の 方 法 な の か の 意 図 。
・工夫点
-- 計 算 機 を 途 中 で 変 え た 場 合(
合 ( 例 : VPP500
VPP500--- >VPP800) の 工 夫 点 や 印 象
-- 運 用 で 解 決 で き る 点 と 、 マ シ ン 等 に 依 存 し な け れ ば な ら な い 点
-- チューニング、 利 用 面 で の 工 夫 点 他
n 将 来 展 開(計 算 機 側 へ の 要 求 要 件 等 )
n 成果の普及。
1
˜ 本 日 の 講 演 で は 、 GeoFEMの 特 徴 で あ る 以 下 の 点 に 注 目
n
並列プラトフォームを通して、並列計算機を容易に、有効に
利用する
˜
GeoFEMは、洗練された並列計算のためのデータ構造をベースに、
並 列 処 理 を ソ ル バ ー 部 に 全 て 集 約 さ せ る ( そして、ソルバーを並列プ
ラ ト フ ォ ー ム の 組 み 込 む) こ と で 、 解 析 プ ロ グ ラ ム の 開 発 者 が 、 並 列
計算を意識することなく、並列有限要素法の解析プログラムを開発
できることを可能にしました。( GeoFEMセミナーちらしより)
Parallel
sub
Plate Plate Mantle solver
system
model model model
A
B
C
Parallel
visualize
sub system
Parallel
ParallelSolid
SolidEarth
Earth Platform
Platform
GeoFEM
並列プラットフォーム
概要
˜ はじめに
˜ 固体地球プラットフォームとは
˜ システム全体の統合化技術
˜ GeoFEMにおける大規模シミュレーション技術
n 並列計算、ベクトル計算
˜ マルチスケール解析のための連成解析技術
˜大規模可視化技術
˜ 研究開発成果の普及と海外研究協力
˜ おわりに(将来展開)
2
はじめに
□ 地 球 変 動 現 象 の 解 明 ・ 予 測 ( 環 境 問 題, 自 然 災 害):
国 民 生 活 の 安 全 確 保 ・ 人 類 社 会 の 持 続 的 発 展 : “大規模・高精度シミュレーション”
□ 情 報 科 学 技 術 の 高 度 化: “ 並列スーパーコンピュータ, シミュレーションソフトウェア開発”
高 精 度 の 地 球 変 動 予 測 の た め の 並 列 ソ フ ト ウ ェ ア 開 発
( 科 学 技 術 振 興 調 整 費 総 合 研 究 平成10年度∼5年間)(中核機関:RIST)
地 球 温 暖 /エルニーニョ
気象災害予測
高精度気象予測
仮想地球
超長期地球変動
地震予測シミュレーション
災害予測
地球シミュレーター
高度な並列ソフトウェア群
高度な並列ソフトウェア群
地球ダイナモ
全球海洋大循環モデル 台風
オイルスピル
非静力モデル
領域
局域
マントル対流
日本列島域の地殻活動
全球
全球
領域
地震発生過程
地球流体フレームワーク
風神
強震動伝播
局域
固体地球プラットフォーム
GeoFEM
モデル
モデル
ダ ウ ン バ ー スト
並 列I / O
大気海洋
大学
国研
地球科学
RIST
融合
情報技術
並列線形ソルバ 並列可視化
固体地球
情 報 側 リ ー ダ ー : 矢 川 教授(東大)
GeoFEM リ ー ダ ー : 矢 川 教 授 、
奥田助教授(東大)
固体地球プラットフォームとは
1
固体地球プラットフォーム開発の背景
˜ 過去の固体地球科学研究
n 部分的、ケースバイケースのモデル、理想化されたモデル
n 各スケール・各モデルは個別の研究者・研究グループにより独立に研究
˜ 固体地球: 広い時空間スケール
に渡る多様な物理現象が連成す
る大規模で複雑なシステム
Plate
model
A
n 近年、断層の破壊モデル等の物理モデ
ル研究が急速に進展
n 計算機シミュレーションによる研究が急
速に発展している
n 地球全体を1つのシステムとして取り扱
×
× ×
わなければ、固体地球科学の進歩はあ
り得ないという認識が広がりつつある
n 多様な物理要素モデルとその連成シュミュ
レーションが急速に重要となっている
Plate
model
B
Mantle
model
C
˜ 様々なモデルを試行錯誤的に取り入れてシミュレーション
n
確定していないモデルも多い
˜ 固体地球の要素モデルで使用されている解析手法は有限要素法、差分
法等多様
n 要素モデル・解析手法を個別に並列化するためには多大な労力
˜ 1つの現象だけでも地球シミュレータ相当、またはそれ以上の演算能力を
必要としているものもある
n 超並列計算機を利用することは必須
˜ 膨大な量の観測データが利用される
n 近 年 の 観 測 技 術 の 進 歩 に よ り G P Sデータ、トモグラフィーデータのよう観測デー
タが爆発的に増加
˜ 大 規 模 な 解 析 か ら は Tera バイト級の膨大な量の解析結果データが生成さ
れる 4
固体地球プラットフォームの構築方針
˜ 大規模なデータを扱い大規模・複雑解析を可能とするシミュレーションシス
テムを構築する、超並列計算機を容易に、効率的に扱えるようにする
˜ 共通基盤的機能を1つのプラットフォームすなわち、固体地球プラットフォー
ムに統合
n 並 列 I/O
I/O・
・並 列 線 形 ソ ル バ ー サ ブ シ ス テ ム ・ 並 列 可 視 化 サ ブ シ ス テ ム
n 様々なモデルを試行錯誤的に取り入れ連成させるための、プラグインインター
フェース・カップラー
˜ 固体地球プラットフォームを通して、固体地球科学研究者が研究開発する
多様なモデルをまた地球シミュレータ等の多様な超並列計算機を扱う
GeoFEMから固体地球プラットフォームへ
˜ 固体地球の要素モデルは多様な解析手法が用いられている
˜ 第1ステップとして並列有限要素法を対象に大規模シミュレーションプラッ
トフォーム(並列有限要素法プラットフォーム)の研究開発を実施
n 有限要素法は、以下の特徴を有する
˜
˜
˜
複雑形状の取り扱いに適している
局所的な処理が中心のため並列化が容易である
複雑な構成式,物理モデルなどの適用が容易である
˜ 次ステップにその拡張として、他の解析手法を対象とした研究開発を実施
˜ 本講演では、主に並列有限要素法プラットフォームに関して述べる。(以下、
GeoFEMとは、並列有限要素法プラットフォームのことである。)
5
開発工程
Tiger
多 目 的 の 汎 用 的 な 並 列 有 限 要 素 コ ー ド を 目 指 す ( 1997∼1998)
- High Performance FE Parallel Platform
Parallel I/O, Solvers,Visualization
Analysis modules(Fluid, Solid, Wave) - Pluggable Design
Snake
固 体 地 球 解 析 を 目 指 す ( 1999∼2001)
- 100M ∼10G DOF Problems
- Multi - level Approaches Solvers
- Multi - module Couplers
- Optimized Solid Earth Simulation on “G S 4 0 ”
固体地球科学と固体地球プラットフォーム
□ 固体地球は大規模・複雑システム
局域
日本列島領域
千年∼一万年
全球
数秒∼数分
百万年∼一億年
コア対流
プレート運動
日本列島域の
地殻変動
プレート形状
プレート応力蓄積
データ同化
3次元不均質場・
複雑断層系での
地震発生過程
地震波動
モデル
モデル
モデル
プレート運動
モデル
モデル
マントル
対流
モデル
モデル
モデル
多種多様なモデルを統合してシミュレーション
モデルの検証・高度化、固体地球システムの解明
□ 固体地球
プラットフォーム
(並列有限要素法
プラットフォーム
GeoFEMの拡張)
モデル
モデル
プラグインシステム
並列連成システム
並 列 I/O 並 列 ソ ル バ ー
並列可視化
地球シミュレータ
6
開発メンバー
http:[email protected]
矢 川 元 基 ( 東 大 /Leader)
奥 田 洋 司 ( 東 大 / C o -L e a d e r / t h e r m a l - fluid)
飯 塚 幹 夫 ( R I S T / s t r u c t u r e)
柄 谷 和 輝 ( CRC, R I S T / s t r u c t u r e)
G. P r a b h a k a r(RIST/structure)
関 田 大 吾 ( MRI / system integration, coupler)
竹 島 由 里 子 ( お 茶 大 / visualization)
陳莉(RIST/visualization)
中 島 研 吾 ( RIST/linear solver, optimization)
藤 代 一 成 ( お 茶 大 /visualization)
松 井 宏 晃 ( RIST/thermal- fluid)
南 一 生 ( RIST/linear solver, optimization)
和 田 義 孝 ( RIST/pre&post - processing)
中 村 壽 ( RIST/administration)
丸 茂 彩 ( RIST/administration)
お茶大,東大,横浜国大 大学院生スタッフ
江連真一,櫛田慶幸,鈴木靖子,永田雅喜,中村浩子
システム全体の統合化技術
˜ GeoFEM
n
並列有限要素法解析のシミュレーションプラットフォーム
˜ 解析モジュールを組み込み、統合化された並列有限要
素法シミュレーションシステムを構築するための基盤
˜ ここでは、以下について説明
GeoFEMのシステム構成
n 統合化技術の基本であるプラグイン技術について説明
n
7
GeoFEMのシステム構成
GeoFEM
のシステム構成
ユーティリティ
入力データ処理
解析サブシステム
固体地球分野の
諸要素モデルをプラグイン
地 震 サ構造計算(Static
イ ク ル の 準 静 的 linear
解析 )
構造計算(Dynamic
地 震 構造計算(
波linear
動 伝)
播解析
Contact)
プラット
パーティショナ
入力
データ
読 込 I/F
ソルバ
I/F
フォーム
可視化
I/F プラグインイン
並列連成サブシステム
並列計算用
メッシュデータ
ターフェース
プラットフォーム
(並列に関することはプ
ラットフォームに集約)
並 列 線形ソルバ 可 視 化
サブ
I/O サブシステム シ ス テ ム
可視化データ
ビューワ
超並列計算機を活用
前処理付き反復法を用いた
並列線形ソルバをサポート
GeoFEMでは、プラグインによりプラットフォームを通
して、並列計算機を使う
˜ G e o F E Mでのプラグインとは/ 作 業 面 か ら 見 て
ユーザーの解析コードの 入 出 力 部 分を,プラットフォームと
ユーザーの解析コードの入
分 を,プラットフォームと
の 接 続 界 面 で あ る API (Application Program Interface)
Interface)に合
わ せ て 変 更 し,
し,geoutil の既定ルーチンを呼び出すことにより,
プラットフォームのサービス(データの読込み,可視化器への
プラットフォームのサービス
(データの読込み,可視化器への
データ転送等) が受けられるようにすること。
n 線 形 ソ ル バ の 呼 び 出 し 部 分 をソルバサブシステムの API
APIに
に合
わせて変更し, 並列線形ソルバを使える
並列線形ソルバを使えるようにすること。
ようにすること。
n
8
プラグイン作業
GeoFEM の世界
ユーザの解析プログラム
データ
入力
線形
ソルバ
データ
出力
GeoFEMメ ッ シ ュ テ ゙ ー タ
フォーマットへの変換
解析モジュール
領域分割
入力
I/F
並列
I/O
プリプロ
セッサ
ポストプロ
セッサ
ソルバ
I/F
線形ソルバ
サブシステム
可視化
I/F
可視化サ
ブシステム
GPP
view
2 次 元 熱 伝 導 F E M 解析プログラムのプラグイン例
˜ F E M 演 習 用 コ ー ド,定 常 熱 伝 導 問 題 , フルマトリックス,直接法ソルバ
˜ 2次 元 3節 点 三 角 形 要 素 ,境 界 条 件 は 規 定 温 度 , 熱 流 束 , 発 熱
˜ F o r t r a n -7 7, c o m m o n 文
作業量(4日)
プラグインされたプログラムの規模
割合
行数
(1) ユーザー(オリジナル)プログラム
27.86%
534
(2) 制御部プログラム
12,21%
234
(3)入力データインターフェースプログラム
16.01%
307
(4) ソルバ処理インターフェースプログラム
33.33%
639
(5) 可視化部 インターフェースプログラム
10.39%
203
(*)
プ ラ合計
グイン作業量
100.00%
1917
(1)オリジナルのプログラムに比べ,
かなりソースコードの増加有り。
しかし,オリジナルのプログラム
は,教育用であり,かなりシンプル。
(2)メッシュ,制御データの読み込み,
ポストへの出力,ソルバの結合に
は,通常この程度の行数は普通。
(3)プラグインという言葉のイメージか
らくる作業の量にしては,多いと思
われる人もいるでしょう。
(4)しかし,プラグイン作業により,解
析モジュールの並列化が可能であ
り,飛躍的な並列化作業の簡素化
に な っ て い る。
9
˜ 効果面から見て(どんな嬉しいことがあるのか?)
自分で解析コードの並列化をしたら, 領 域 分 割 手 法 に 基 づ い て
も,領域分割はどうする,通信テーブルはどう作る,解析モジュー
ルのどこをどう並列化するのか,並列の入出力はどうする,可視
化はどうすると…ほとんど絶望的な状況に陥る。つまり, 非常に
面 倒である。
n GeoFEMでは,入出力とソルバに関するプラットフォームのAPI
に合わせて,シリアルなユーザの解析プログラムを変更すれば,
並 列 化 ができる(PLUG & Parallel Play)。
n しかも,すでにプラグインされた構造,流体の解析モジュールを
使えば,後は単にシリアルな解析コードの開発と同じ 作業で 並 列
の解析モジュールの機能アップが進められる。
n さらに, 入力データが共有でき, 可 視 化 器 も 接 続される。
n
˜ プラグインを実現している仕組み
データ構造とそれを反映した分散メッシュ入力データ
˜ 分散メッシュ入力データは通信情報も含む
n 並列線形ソルバのサポート
˜ GeoFEM
GeoFEMでは,データ構造に基づき,線形ソルバで集中的に
では,データ構造に基づき,線形ソルバで集中的に
並列処理を取り扱う。それゆえ, GeoFEM のプラグインによ
る解析プログラムの並列化では,並列化の作業はユーザー
には見えない!
n 並列データ入力のサポート
˜ メッシュデータ,コントロールデータ
n 並列データ出力のサポート
˜並列計算機上で可視化器へ解析結果を渡すことが可能
˜ v3.0
.0では,
では,UCD
UCD出
出力,並列可視化器のどちらかを選択可能
n
10
GeoFEMにおける大規模シミュレーション技術:
並列計算、ベクトル計算
˜ 次ぎに、並列有限要素法プラットフォームの要素技術に関して説明
GeoFEMに お け る 並 列 計 算 処 理
SPMD: Single-Program Multiple-Data
・巨大な解析対象 → 局所分散データ,領域分割( Partitioning)
・有限要素コードは領域ごとに係数マトリクスを生成:要素単位の
処理によって可能:シリアルコードと変わらない処理
・グローバル処理,通信は線形ソルバーのみで生じる
内積,行列ベクトル積,前処理
局所データ
FEMコード
FEM
コード
線形ソルバー
MPI
局所データ
FEMコード
FEM
コード
線形ソルバー
MPI
局所データ
FEMコード
FEM
コード
線形ソルバー
MPI
局所データ
FEMコード
FEM
コード
線形ソルバー
11
˜ Node Based Partitioning
Internal nodes
External nodes
3
2
1
2
3
4
T=1
.0
T=1
.0
5
6
7
Region 1
6
7
8
Region 2
˜ Iterative Solvers(CG,BiSolvers(CG,Bi-CGSTAB...) with
Localized preconditioners
Elapsed Time at Solver [sec.]
Parallel Performance
10
7
10
6
10
5
10
4
10
3
10
2
10
1
10
0
100 M DOFs
1 PE
8 PE
27 PE
64 PE
125 PE
216 PE
1,000 PE
Prediction(1PE)
Prediction(1PE)/1,000
Elapsed Time up to
108 DOF Problems
- simple cubic shape
- 3.3X107 nodes
- Hitachi SR2201 1,000 PEs
Static Linear Elastic
- localized ICCG solver
- 1,500 iters
iters,, 4,600 sec.
- >60% scalability
- >95% CPU usage
-1
10
-2
10
10
2
10
3
10
4
10
5
10
6
10
7
10
8
10
9
Degrees of Freedom
12
1,000
1PE
8PE
27PE
64PE
125PE
216PE
343PE
512PE
729PE
1000PE
Pre.(1PE)
Pre.(1PE/1000)
100.0
Speed-up Sn (Computed by Wn)
Whole Elapsed Time [sec.] : Tw
1,000.0
10.0
1.0
n = 10
n = 20
n = 30
n = 33
n = 35
n = 37
ideal
100
10
1
1
0.1
1E+0
1E+1
1E+2 1E+3
1E+4
1E+5
1E+6
1E+7 1E+8
10
1E+9
100
No. of PEs
1,000
Degrees of Freedom
Wave Propagation
Speed-up, Parallel efficiency
- explicit time integration
- >98% scalability,
scalability, >98% CPU usage
Vector Performance
ベクトル計算機用ソルバーの結果
˜ Parallel/Vector ICCG for Solid Mechanics : Flat MPI type
n Localized Block IC Preconditioning : Full LU fact. in 3X3 Block
n DJDS (RCM + Cyclic Multicolor) Ordering for V e c t o r i z a t i o n
–
–
S. Doi
Doi,, T.W
T. W a s h i o,
o , T.O
T. O s o d a a n d e t . a l . ( N E C )
Long Vector Length, Low Memory Storage
˜ Example : Pure Extension of Cube
n NEC SXSX - 4
– JAERI/CCSE
– 2X3 PEs
PEs,, 12 Gflops P e a k
– 0 . 2 0 M DOFs
DOFs,, 1 PE, 970 Mflops (~50% of Peak Performance)
n Hitachi SR2201
– University of Tokyo
– 1,024 PEs
PEs,, 300 Gflops P e a k
– Pseudo Vector : Distributed Memory Architecture
– 2 7 . 2 M DOFs
DOFs,, 252 PEs
PEs,, ~95% Parallel Work Ratio
– 1 6 . 2 Gflops (>22% of Peak Performance)
13
Recent Results :
Performance on SR2201: Fixed Problem Size/PE
27.2 MDOFs, 16.2 Gflops
17.5
100
15.0
90
Work Ratio (%)
Mflops/%
Gflops
12.5
10.0
7.5
5.0
70
60
Mflops/PE
Peak=300Mflops
50
2.5
0.0
80
0
50
100
150
PE#
200
40
250
0
50
100
150
PE#
200
250
( ■ : 105, ● : 2.40×
2.40 × 104, ▲ : 104) DOFs
DOFs/PE
/PE
Vector Optimization for GeoFEM of Solid Earth Simulation Codes
˜ マトリクスの合成部分の単体プロセッサの性能が問題
Process
GeoFEM
Solver part
Parallel
Performance
Single PE
Performance
Matrix
Assemble Part
Good - More than 95%
Hitachi SR2201/1,000 PE
Good - 970Mflops
NEC SX-4/Peak 2Gflops
A Remaining
Problem
14
Performance
· Test Problem Definition
· Whole GeoFEM Test Code Code n 900 Mflops on SXSX-4 (Peak/2.0Gflops)
n 2.1 Gflops on VPP5000 (Peak/9.6Gflops)
Elastic Structure Analysis
for Cube Shape
n 50000 Elements
n 164000 DOF
n
Procedures
Operation
counts
Mflop
Alpha
21164/500
sec.
Mflops
NEC SX-4
Fujitsu VPP5000
sec.
Mflops
sec.
Mflops
· Matrix Assembling Assembling 123.6
1672.3
12.5
0.9
n 740
Mflops2.1
on SXSX736.8
-4 (Peak/2.0Gflops)
Matrix Assembling
1540
Solver
8530
197.1
43.3
9.1
938.4
4.0
2148.6
Total
10070
209.6
48.1
11.2
900.7
4.9
2063.5
Earth Simulator における実効速度予測
40 Tflops (GS40
GS40のピーク性能)
のピーク性能)
X 0.801 (640
640ノードの並列化効率
ノードの並列化効率*
*)
Xα
(ノード内
ノード内8
8PE
PEの並列化効率
の並列化効率,, 0.8と仮定
0.8と仮定**
**)
)
X 0.49
(1PE
1PEベクトル性能
ベクトル性能***)
***)
0.801 x
0.8 x 0.49 = 0.315
= 12.6 Tflops (→応用ソフトウェアでは世界最速
応用ソフトウェアでは世界最速))
(*) 性能評価ツール vampire, dimemas
dimemasを用いて,
を用いて,T3E
T3Eでの演算 での演算 性能から推定
(**) 文献,私信,
文献,私信,SR8000
SR8000での実績に基づく
での実績に基づく
(***) SX4 での実績 (GS40
GS40の要素
の要素PE
PEは
はSX4
SX4仕様に近い
仕様に近い))
15
連成解析もプラグインを通して実現
˜ 固 体 地 球 の 要 素 モ デ ル の 組 み 合 わ せ を 考 慮 し、実行、通
信、I/O等 の 統 合 制 御 が 必 要
n
個々のプログラム開発において、毎回行なうことは極めて困難
Zooming Mesh
generation
C
Mesh
generation
B
A
Earthquake
generation process
B
Seismic wave
propagation
C
A
Partitioner
Analysis subsystem
Job controller
Seismic Wave
Propagation
( PSM)
Xmesh
I
O
Fault Dynamic
Rupture
(GeoFEM)
I
O
Solver
EQ Generation
Cycle (GeoFEM)
I
O
Solver
Interface(PLUG)
Coupler
Mesh relation data
Parallel
I/O
subsystem
control data
Parallel
solvers
subsystem
Parallel
visualize
subsystem
Platform
˜ プラグイン+カプラーインターフェース作成のみで、並列連
成を実現(可視化サブシステムも1つの連成サブシステムとして扱われる)
˜ カップラー:モジュール間のメッシュの関係の把握、物理
量の内挿、プロセッサ間のデータ転送を実施
n
解 析 モ ジ ュ ー ル 利 用 者 は 、 連成解析モジュール間でのメッシュ
の 依 存 関 係、物 理 量 の 内 挿、プロセッサ間のデ[タ転送を 意 識 す
ることなく、並列環境下において連成解析システムを使用するこ
とが可能
Physical space
Analysis region I
Analysis region II
Inter-module
Calculative
communication
(mesh)space
PE#
1
PE#
2
PE#
3
PE#
4
PE#
1
PE#
2
PE#
3
PE#
4
partition
partition
Two “partition” processes are done
independently.
˜ Implementation
(Already partitioned)
mesh sets
Xmesh Inter-mesh
Xmesh:
parallel analysis tool
Mesh relation
info.
Analyzer
Analyzer
Coupler
module I
module II
16
GeoFEMの連成システム作成法
GeoFEM
の連成システム作成法
˜ 連成するサブシステムプロ
グラムをモジュールで包む。
˜ 連成するサブシステムプロ
グラムをプラグインする。
˜ Job controller を作成する。
˜ 解析モジュール毎に、その
物理量データ構造とインター
フェースデータ構造の変換
サブルーチン
(to_couple
to_couple,, from_couple
from_couple)
)を
作成する。
˜ モジュール間の内挿サブルー
チンを作成する。
˜ データの
データのload,
load, save サ ブ ル ー
チンの作成。
Coupler
Seismic wave
propagation
process(B)
Earthquake
generation
process(A)
Coupler can Know all
data space
data space
data space
Put/Get method
from_couple
Geofem_get
data_md
load
_c u p _ d a t a
to_couple
Geofem_put_
data_md
save
Interpolation function
_ cup_data
(can be made by users)
Coupler data space
convert data type
convert data type
and copy data from coupler and copy data from A
to B
to coupler
解析例
断層解析モジュールでの並列連成は開発中
Zooming analysis
˜ Model
解析1
n
HTTR Carbon Block (CB)’
(CB)’
˜ Material property
n Young
Young’’s modulus 193 GPa
n Poisson
Poisson’’s ratio
0.275
˜ Elastic analysis
1 step
constrained
displacement
mm
0
DOFs: 24,999
80
x,y,z fixed plane
1 step 解析
2 step 解析
抜き出し
細分割
解析2
解析1から結果をもらって初期値として設定
2 step 解析(解析1の step2の結果と比較)
17
Zoomed
mesh
Elastic Analysis (B)
Elastic Analysis (A)
Zooming
B
Whole mesh
A
Partitioner
Analysis modules
Job controller
process
analysis(A)
process
analysis (B)
Xmesh
I
O
Mesh relation data
I
Solver
O
Solver
Interface(PLUG)
Coupler
Parallel
I/O sub
system
control data
Parallel
solver sub
system
Parallel
visualize
sub system
Platform
並列連成の解析結果
1 PE
2 PEs
Zoomed
Analysis module A
Zoomed
Analysis module B
18
˜ リアルな3次元不均質場での 断 層 面1
面 1km
kmメッシュ幅以下
メッシュ幅以下
での地震発生過程∼地震波動伝播までの解析
地震発生サイクルの準静的モデリング
断層面内及び断層間相互作用
地震発生の動的モデリング
不均質場での波動伝播
強震動波形のシミュレーション・予測
摩擦構成則
内陸断層
プレート境界断層
粘弾性的相互作用
GeoFEM_LSMearth Coupling
˜ Under the framework of ACES international
research collaborations on earthquake
simulation
˜ Final goal:
n to simulate the realistic fault zones/plate
subduction by this coupled analysis.
LSMearth: QUAKES(QUEENSLAND UNIVERSITY
ADVANCED CENTE ROFR EARTHQUAKE
STUDIES )で 開 発 さ れ た 格 子 固 体 モ デ ル の 粒 子 法
コード(固体解析用)
19
大規模可視化技術
˜ 大規模シミュレーション
大容量の解析結果データが生成
n 可視化に代表されるポスト処理に過大な負荷
˜ 大規模解析結果の処理を容易にする並列可視化手法
n
n 大規模な可視化処理を高速に実施可能とする 並列可視化手法の開発
n 可 視 化 処 理 か ら 生 成 さ れ る 大 規 模 な 可 視 化 デ ー タ 量 を 適 切 に 削 減 す る こと
を可能とする、 詳 細 度 制 御 付 き 削 減 手 法 の 開 発
˜ 解 析 結 果 か ら 自 動 的 に 特 徴 を 抽 出 し、 ユ ー ザ ー の 解 析 結 果 デ ー
タの理解を助けることを可能とする技術
n ホモトピー法による物理量の特徴の自動認識法の開発
20
並列可視化処理
˜ 計算負荷の高い可視化マッピング並列計算機上で並列に実施
Input
data
Input
data
Input data
put
Platform on Parallel Computer
Analysis
Analysis
Analysis module
Geometric
Geometric
feature
Geometric
extraction
feature
featureextraction
extraction
Simplification
Simplification
Simplification
Distributed
Collection
Viewing/shading
Rendering
(ex:Interval Volume)
WS
Data
Visualizer
Reducing visualize Data
Image display
可視化形状の単純化:可視化データの削減
並列可視化例
西南日本の地殻変動解析
等価応力の断面コンター図
456,000 nodes モ デ ル/16 P E s
日本列島周辺の断層解析:
3次元ベクトル場およびテ
ンソル場から任意本のハイ
パーストリームライン(断面
が楕円形状をした流線)
21
可視化データ量を削減する技術
˜ 大規模ボリュームデータから抽出される等値面や区間型ボリュー
ムなどの幾何学的データ構造の詳細度制御
n 幾 何 学 的 制 約と カ ラ ー コ ー デ ィ ン グ さ れ た 表 面 に 分 布 す る 物 理 値 の 変 化 を
同時に考慮に入れて制御
n 物 理 的 に 重 要 な 情 報 を 失 う こ と な く 、 可 視 化 デ ー タ を 削 減(データの間引き、
可視化形状の簡単化)することが可能
解析結果の特徴を自動抽出する技術
˜ ホモトピー解析により、物 理 量 の 分 布 特 徴を 把 握
n それに基づき不透明度や色相を強調する部分を自動的に決定し、ボリュー
ムレンダリングを実行することで、物理量分布の特徴を自動的に認識しやす
くする。
n 通 常 の 可 視 化 作 業 で は 、 試 行 錯 誤 に よ る 可 視 化で 物 理 量 の 分 布 特 徴 を 認
識するため、可視化回数が多くなるが、この方法を用いれば、可 視 化 回 数 を
劇 的 に 減 ら せ る 可 能 性 が あ り、 可 視 化 処 理 の 負 荷 が 大 き い 大 規 模 解 析 に
おいてはその意義が非常に大きい。
V 1(ρ
min )
V2(ρ
critical )
V3( ρ max )
CIS
(a) ホモトッピー解析:グラフが交差する特異点の配置で物理分布の特徴を解析する
Isosurfaces
AVS defaults Constant opacity
( b) 従来の等値面、均一な色相や非透過率を使う方法では満足な可視化不可能
Our method
Hue(色 相 )
Opacity(非 透 過 率 )
Hue+opacity
(c) ホモトピー解析により、物理量の分布特徴を解析し、それに基づき非透過率や色相を強調
する部分を自動的に決定し、可視化した結果(物理量分布の特徴が自動的に強調された。)
ホモトピー解析とそれに基づく可視化の自動化・表示結果
22
研究成果の普及と海外研究協力
GeoFEMセミナー
˜ 成果は固体地球分野のみならず、広く理工学一般へ普及するため
˜ 多 数 の 参 加 者 ( 第 1回(’99、7月):174名
、第2回(’00、7月):76名、
第3 回(’01、7月):66名(第1回、第2回、第3回とも定員超え))
WEBで の 公 開
˜ 成果は固体地球分野のみならず、広く理工学一般へ普及するため
˜ GeoFEM ver.4.0
n ダウンロード関連統計( ver.3.5 以前も含む)
n 2001年 7月 11日 現 在
˜ 総 数 2 2 9(うち日本:
9(うち日本:148
148)
)
˜ ・世界 27
27ヶ
ヶ国
˜ ・アメリカ: 26
26,ドイツ:
,ドイツ: 8,中国:
,中国:77, U K:
K:5
23
GeoFEM ver.4.0
静弾性,動弾性,静的接触,
非定常熱伝導,ソルバー,
可視化器,パーティショナ
サンプルデータ
非圧縮性熱流動
メッシュビューア
海外研究機関との研究交流等
˜ ア メ リ カ 国 立 サ ン デ ィ ア 国 立 研 究 所( Sandia National Laboratories)
n 悪条件マトリクスに対する線形ソルバ適用問題
˜ ド イ ツ 国 立 情 報 処 理 研 究 所( German National R e s e r c h Center for Information
T e c h n o l o g y , G M D)
n AMG(代 数 的 多 重 格 子 解 法 ) に 関 す る 研 究 交 流
˜ N E C 欧 州 研 究 所(ドイツ)
n 動的負荷バランスに関する研究交流
˜ 地 震 シ ミ ュ レ ー シ ョ ン の 国 際 的 情 報 交 換 機 関 で あ る A C E S( A P E C C o o p e r a t i o n
for Earthquake Simulation)
n
地震シミュレーションの研究交流
24
おわりに(将来展開)
GeoFEM / Snake
˜ プラットフォームの充実
n Solvers : multi
multi--level approach
n Parallel Visualizations
n Optimization for “Earth Simulator”
Simulator”
n System Integration : multi
multi--module couplers
Non-FEM Appl
NonAppl.. : FDM, BEM, PSM etc.
˜ Applications :
n
n solid earth issues, practical engineering problems,
problems
coupled
coupled
25
科学技術振興調整費 総合研究
「高精度の地球変動予測のための並列ソフトウェア開発」
固体地球シミュレーション統合化モデル
˜ 全 地 球 ス ケ ー ル 内的要因による固体地球変動(マントル,コア)
n Mantle : 128X120X240= 3,686,400 cells,
△ r = 2 0 k m , △ d= 1.5 deg
˜ C o r e : 1 0 , 0 0 0 X 1 0 0= 1 , 0 0 0 K nodes, △ t ∼ 1 0 - 7
˜ 局所不均質場スケール 複雑断層系での地震発生過程 ・ 地震波動伝播
˜ 地 震 発 生 サ イ ク ル 問 題 設 定 1,100km X 900km X 200km, △t=100 y, 10 3 steps
˜
˜
˜
˜
˜
˜
˜
SR8000 (4nodes) 0.15M DOF ( △ h=15km), 1.0M DOF ( △h = 8 k m )
Earth Simulator : △h=1km, 200M nodes
動 的 破 壊 問 題 設 定 300km X 300km X 50km, △ t=10 - 4 sec, 10 5 steps
SR8000 (4nodes) 0.15M DOF ( △ h=15km), 1.0M DOF ( △h = 8 k m )
Earth Simulator : △h=1km, 30M nodes
強 震 動 問 題 設 定 300km X 300km X 50km, △t = 1 0 - 2 sec, 10 3 steps
Earth Simulator : △h=0.2km, 100M nodes
Quasi 3D model of Northeast Japan
Crust.a
(8.5 cm/y)
(0.8 cm/y)
East
North
Crust.b
West
Crust.c
South
Mantle.b
z
Mantle.c
Mantle.d
200km
Eurasia Plate
x
y
Pacific Sea
Plate
constant friction
coefficient (0.1)
Mantle.a
Plate
20
0k
m
Philippine Sea
Plate
km
530 km
0
66
Plate velocity: 5cm/year
(6.6 cm/y)
Equivalent stress contour at 20 years
Example of Analysis
• Earthquake cycle at Southwest Japan
model
Earthqukecycle
for 400 years
1100km
900km
200 km
Crust,Plate
Rigidity (Pa)
48× 1010
Poisson’s ratio 0.258
Viscosity (Pa.s)
Subduction
5 cm/yr
Earthquake
one earthquke/100yr
Upper Mantle
63.9 48× 1010
0.283
1.0× 1019 Pa .s
earthquake
26
まとめ
˜ 地球シミュレータをもってしても、以上説明のスケール毎のシミュ
レーションがやっと可能となる程度と考えられている。飛躍的な
計算資源を必要としている。
˜ このプロジェクトの成果が、固体地球科学を大きく前進させると
共に、ハイエンドスーパーコンピュータ利用の拡大、大規模シミュ
レーション技術の高度化、他分野の大規模シミュレーションの活
性化に大きく寄与するものと期待される。
˜ 本研究は、東京大学矢川教授をリーダーとする
本研究は、東京大学矢川教授をリーダーとするGeoFEM
GeoFEMプロジェ
プロジェ
クトの研究成果に基づくものである。プロジェクトメンバーに深く感
謝を表します。
地球規模の地震シミュレーションネットワーク
モデル
モデル
プラグインシステム
並列連成システム
米 国 のGEM(General Earthquake
Model、http://milhouse.jpl.nasa
.gov/gem/)
高度観測システム・データ処理
並 列 I/O 並 列 ソ ル バ ー
並列可視化
地球シミュレータ
GeoFEM
確率・複雑系モデル
Australian Solid Earth Simulator
(オーストラリア固体地球プロジェクト)
の固体地球シミュレーションプラットフォーム
27