WFCAM データ解析のメモ

2005/4の観測データのメモはこちら

2007/3のUKIRT-WFCAMの観測も丸々二日データがとれた。でも、LTOテープで送られてきたそのデータはやっぱり色々面倒だった…
っていうか、ずいぶん様子が違うじゃないか。
というわけで、メモ再び。

テープの読出し

これは前回といっしょ。すばる解析研究棟に行って、sb72にあるLTOドライブにテープを入れて

  tar xbvpf 128 /dev/rmt/1n

とする。"128" というのはここに書いてあるように、ブロックサイズが64KBに設定されているため。

データ取り扱い

以前は圧縮形式のextended FITS立ったのだが、今回は違う。
で、調べてみたところ、どうやらNDFという形式らしい。

というわけで、関連情報

どうやらstarlinkをインストールして、その中の ndf2fitsというコマンドを使えばいいみたい。
$STARPATHにstarlinkをインストールしたとすると、

setenv LD_LIBRARY_PATH $LD_LIBRARY_PATH:$STARPATH/starlink/star/lib
gunzip w20070306_00001.fit.gz
$STARPATH/starlink/star/bin/convert/ndf2fits w20070306_00001.sdf "*" merge container

なんとかNDF形式をFITSに変換するだけのコードが手にはいらんかのう…

PROCWFCAM ver 6.0に、ndftofits.sh というスクリプトをつくったのでこれを使う。

PROCWFCAMの解析速度のマシン依存性

いろんな環境で、PROCWFCAMのスクリプトを走らせてみた。

dark2には32フレーム(sb72は30フレーム)入力して走らせた
それ以外には9フレーム入力して走らせた (tmpfsに1.5GBしか割り振れなかったので)。なお、tmpfsが12GBあれば、/tmp上だけで108枚処理できる。

結果は以下。数値は処理完了にかかった時間（秒）

#	マシン名	CPU	OS	作業dir	データdir	IRAFdir	dark2	skyflat	obj	mask	maskskyflat	objsubcombine1	objsubcombine2
1	rokkaku	(Xeon 2.40GHz)	Vine Linux 3.2(kernel 2.4.33)	/tmp (tmpfs)	/mnt/rscr2 (RAID5)	/tmp (tmpfs)	59	21	56	36	22	14	150
2				/tmp (tmpfs)	karasuma:/mnt/scr6 (NFS-e100)	/tmp (tmpfs)	65	32	66	41	22	13	161
3				/mnt/rscr2 (RAID5)	/mnt/rscr2 (RAID5)	/tmp (tmpfs)	211	45	159	39	51	43	309
4				/mnt/rscr2 (RAID5)	karasuma:/mnt/scr6 (NFS-e100)	/tmp (tmpfs)	241	38	162	47	36	41	376
5	karasuma	(PIII 1GHz)	Vine Linux 3.2(kernel 2.4.33)	/tmp (tmpfs)	/mnt/scr6 (USB-HD)	/tmp (tmpfs)	126	50	144	74	50	34	377
6				/mnt/scr3 (SCSI-HD)	/mnt/scr6 (USB-HD)	/tmp (tmpfs)	139	53	156	76	53	35	381
7	sb72	(USIIIi 1.28GHz)	Solaris9	mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	/tmp (swap)	103	49	102	50	50	33	234
8				mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	100	49	103	53	54	33	302

やはり、全体としてディスクIOが大きく効いているのがわかる(# 1,3)
が、必ずしもそれだけではない。RAID5(Dellのmegaraidが遅いだけか?)の読み書きの遅さがボトルネックになりうる(# 3,4)
あと、CPUのパワーも結構効く (# 1,5)
sb7?系はディスクIOもrokkakuのRAID5よりも速く、tmpfsが使えないわりには速度も出ていた (# 7,8)

ということで、科研費で買う新解析マシンのスペックとしては

結構早いCPU
メモリたくさん(16GBが最低線)
ハードディスクも早くないといけない。作業ディレクトリは遅いRAID5にはしたくない

PROCWFCAMの解析速度のマシン依存性 (2)

科研費で新マシンを入手できたので、再度試験。

PROCWFCAM ver 0.84
dark2には41フレーム入力して走らせた
それ以外には9フレーム入力して走らせた (/tmpに1GBしか使えないマシンもあるため)。
画像表示はしていない
いろいろとやることが増えているので（露出マップづくりとか）、前回の試験に比べて処理は重くなっている

結果は以下。数値は処理完了にかかった時間（秒）

#	マシン名	CPU	OS	作業dir	データdir	IRAFdir	dark2	skyflat	obj	mask	maskskyflat	objsubcombine1	objsubcombine2
1	sanjo	(Xeon 2.66GHz)	Vine Linux 4.1+seed(kernel 2.6.21)	/mnt/sscr2 (RAID0+1)	/mnt/sscr4 (USB-HD)	/tmp (tmpfs)	50	16	31	30	14	6	116
2				/tmp (tmpfs)	/mnt/sscr4 (USB-HD)	/tmp (tmpfs)	35	10	23	19	11	6	101
2				/tmp (tmpfs)	/tmp (tmpfs)	/tmp (tmpfs)	35	10	23	19	11	6	100
3	rokkaku	(Xeon 2.40GHz)	Vine Linux 3.2(kernel 2.4.33)	/tmp (tmpfs)	sanjo:/mnt/sscr4 (NFS-e1000)	/tmp (tmpfs)	83	28	49	36	25	13	N/A (> 168)
5				/mnt/rscr2 (RAID5)	sanjo:/mnt/sscr4 (NFS-e1000)	/tmp (tmpfs)	253	46	144	38	68	37	543
6				/mnt/rscr2 (RAID5)	/mnt/rscr2 (RAID5)	/tmp (tmpfs)	257	46	138	44	56	38	560
7	karasuma	(PIII 1GHz)	Vine Linux 3.2(kernel 2.4.33)	/tmp (tmpfs)	/mnt/scr6 (USB-HD)	/tmp (tmpfs)
8				/mnt/scr3 (SCSI-HD)	/mnt/scr6 (USB-HD)	/tmp (tmpfs)
9	sb71	(USIIIi 1.28GHz)	Solaris9	mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	/tmp (swap)
10				mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	173	52	98	52	57	41	633
11	sb56	(? 3GHz)	Solaris9(i86pc)	/m56b	/m56b	/m56b	100	28	66	36	31	23	574

PROCWFCAMの解析速度のマシン依存性 (3)

実際のデータ量でどうなるかをチェック。

PROCWFCAM ver 0.84
skyflat, obj, mask, maskskyflat, objsubcombine2a は180フレーム入力して走らせたとき。
maskskyflat, objsubcombine1は36フレーム入力して走らせたとき。
画像表示はしている。
さらに、180枚丸々処理するのに必要な時間を
(skyflat + obj + mask + maskskyflat+ objsubcombine2a)+5*(maskskyflat+ objsubcombine1)
として算出。

結果は以下。数値は処理完了にかかった時間（秒）

#	マシン名	CPU	OS	作業dir	データdir	IRAFdir	dark2	skyflat	obj	mask	maskskyflat	objsubcombine1	objsubcombine2a	Total
1	sanjo	(Xeon 2.66GHz)	Vine Linux 4.1+seed(kernel 2.6.21)	/mnt/sscr2 (RAID0+1)	/mnt/sscr4 (USB-HD)	/tmp (tmpfs)	-	105	300	56	62	33	837	1773
9	sb71	(USIIIi 1.28GHz)	Solaris9	mbf2d:/mbf2d (NFS)	mbf2d:/mbf2d (NFS)	/tmp (swap)	-	324	1163	134	186	154	2589	5910

やはり、新マシン(sanjo)だとトータルの解析時間にしても4倍近くのゲインが得られるようだ。

実際のデータに適用してみました。

SDF

Last Updated 2007/8/24
kmotohara@ioa.s.u-tokyo.ac.jp