数値モデルの出力データ及び
NCEP再解析データの
取り扱い方の現状
石渡 正樹 (北大・地球環境)
dcmodel プロジェクト
http://www.gfd-dennou.org/library/dcmodel
地球大気との比較
階層的モデル群による
アプローチ
dcchart プロジェクト
http://dennou-k.gfd.dennou.org/arch/dcchart/
• 教科書的な図を集める・自分たちで書く
– Gtool4 netCDF 規約に基づくデータ
• モデルの答え合わせ
• 現状では NCEP の再解析データを用いた
地球の気候値の図
• 近い将来には火星も
可視化作業
• データ生成・データ取得
– Gtool4 netCDF 規約に基づくデータ
• 規則正しい, netCDF, 自己記述的情報
• 付加される情報
– 作成者・表題・履歴
etc...
– 変数・時刻・座標・欠損値・単位 etc...
– 数値モデルの場合、 I/O ライブラリ: gt4f90ioを使用
• 解析・描画
– Dennou Ruby ツール群 (GPhys, gpview, GAVE)
• Web 化(公開)
– 基本的には「手動で」ガシガシ作る
– Ruby スクリプトでちょっと省力化
具体例
• 大気大循環モデルを用いたパラメータ変更実験
– agcm5
– 放射のパラメータを変えたときに熱帯の雨の降り方はどう
変わるか
– 研究グループは10人以下
• データの置き場の実際
– 実際のサーバ中のディレクトリ・ファイルを見てみましょう
– 10ケース程度の実験で全部で100GB程度
• 結果の図の置き方の実際
– http://dennou-k.gfd-dennou.org/
arch/ape/agcm5/mradl/stdexp/stdexp.html
– このような web ページを介して結果の検討
html生成
• dcmodel-thum.rb
– ウエブページ生成のためのrubyスクリプト
– 画像ファイルを先に用意しておく
– サムネイルを自動生成
– 図に説明をつけることも可能
– 横に何枚並べるかくらいの指定はできる
– http://www.gfd-dennou.org
/library/dcmodel/doc/dcmodel-tools/dcmodelthum-rdoc/
現状
• モデルが出力する数値データ、そこから派生する画像データ
の管理は基本的に「手動」で作業者の記憶に頼っている。
• 数値実験の履歴の管理はほとんどしてない
– どんな実験やったのかわからなくなってしまう
– 各実験の覚え書きをちゃんと残しておきたいが。。
• ファイル(数値データも画像も)の管理情報は基本的に頭の
中に
– cd でディレクトリツリーの中をさまよったりする
• 画像データの「属性」の管理をしたいのだが、「正解」は良く
わかっていない
– どうやって図を描いたか忘れてしまう
– スクリプトの形で「コマンドライン」を残しておくというので必要十分?
凝った画像メタデータ管理をやる?
• 管理すべきはディレクトリ構造と画像ファイル
– 所詮はツリー構造
– XMLベースの管理でいけるんじゃないかとう話もある
– しかし、凝ったことをするのには現在の個人的な気分はネ
ガティブだが。。。
– どういうメタデータが必要かという考察は必要だろう
• RDF,RSS,FOAFによる画像データ管理
– RDF: http://www.w3.org/RDF/
– RSS: 3系統あるそうだ
http://www.openspc2.org/RSS/
– FOAF: http://rdfweb.org/foaf/
おしまい
具体例2
• 2次元乱流のパラメータ実験
– spmodel
– パラメータを変えたときにエネルギースペクトル分布はど
う変わるか
– 研究グループは数人
• データの置き場の実際
– 実際のサーバ中のディレクトリ・ファイルを見てみましょう
– 10ケース程度の実験で全部で100GB程度
• 結果の図の置き方の実際
– http://www.gfd-dennou.org/library/spmodel/2d-cyclicee/baro/free-decay/exp/index.htm
– このような web ページを介して結果の検討
ソフトウェアの全体像
models
SPMODEL
tools for analysis and visualization
GAVE
DCPAM
DCL
GPhys
ISPACK
gt4f90io
RubynetCDF
gtool4 netCDF convention
netCDF3.6 / netCDF4
data
歴史的経緯
• 1990: AGCM5 と GTOOL3
– もともと気象庁のモデルであったものを大学用モデルとして
再構築
– データ形式の考案、I/Oライブラリと可視化ツールの作成
• 1996:ISPACK開始
– スペクトル変換法のためのライブラリ
• 1999: Davis プロジェクト
– netCDF を用いることによる自己記述形式の検討:gtool4
– オブジェクト指向スクリプト言語Ruby 使用し始める
• 2002 :SPMODEL, Ruby モジュール達が本格的に
• 2003 :gt4f90io, GMS開始
ダウンロード

davis-meeting_2006-03