FileBlog公式パフォーマンスデータ（検索インデックス構築）

検索インデックス構築と、同時実行スレッド数の関係

テスト目的

マルチコアCPU/マルチCPU環境においてFileblogは、同時多重処理によってインデックス構築のスピードを向上させることができます。最適な多重度はハードウェア資源に依存しますが、この効果を検証しました。

テスト環境紹介

< clover >

鉄飛テクノロジーの性能試験環境メインサーバです。

モデル	Fanatic Computer BTO SuperMicro Server
OS	Windows Server 2008 R2 Standard 64bit
CPU	Intel Xeon E5405 2.00GHz x 2 (12M Cache, 1333MHz FSB, HyperThreading無)
メモリ	12.0GB RAM
ストレージ構成	HDD SATA 2TB x 8 (RAIDコントローラ接続）
参考価格	約 \325,000 (2008年4月)

< nomura-dev >

鉄飛テクノロジーの性能試験用サーバです。

モデル	Dell PowerEdge SC440
OS	Windows Server 2003 Standard SP2
CPU	Intel Pentium Dual-Core E2180 2.00GHz x 1 (1M Cache, 800MHz FSB, HyperThreading無)
メモリ	2.0GB RAM
ストレージ構成	HDD SATA 250GB x 1
参考価格	約 \28,000 (2008年8月)

< テスト用データについて >

総ファイル数： 103,953 ファイル
総容量　：　約56 GB
ワード文書（.doc) ： 26,444 ファイル, 約 6.8 GB
エクセルファイル（.xls）： 17,094 ファイル, 約 2.7 GB
パワーポイント（.ppt ： 11,457 ファイル, 約 18.2 GB
PDFファイル（.pdf）： 48,925 ファイル, 約 28.6 GB

これらのファイルは、Google検索から拡張子で検索して、無作為にダウンロードしたものです。

結果要約

多重度を上げて同時処理数を増やすことでインデックスの構築時間は短縮される事が結果に出ました。

< clover >

シナリオ	多重度	構築時間(分）/1万文書	平均CPU使用率％
A-１	1	73.0	12.0%
A-2	2	37.7	23.1%
A-3	4	19.8	38.5%
A-4	8	10.5	61.9%
A-5	16	8.7	78.4%
A-6	32	7.1	83.5%

< nomura-dev >

シナリオ	多重度	構築時間(分）/1万文書	平均CPU使用率％
B-1	1	90.2	21.0%
B-2	2	48.8	40.4%
B-3	4	32.9	63.2%
B-4	8	28.3	75.9%

※多重度　：　CPUが同時並行処理するスレッド数

ＣＰＵ使用率と構築時間の相関

多重度を上げるほどにインデックス構築スピードが上がります。　ただし、上げすぎて、CPU使用率が100%に近づくと、向上率は頭打ちとなります。

< clover >

この試験機の場合、シナリオA-6(32多重)はCPUボトルネックで頭打ちとなっています。初期導入時に限っては大丈夫でも、通常運用時には　オンラインパフォーマンスに悪影響を及ぼすと考えられます。
CPU使用率が90%弱の、シナリオA-5(16多重)または　シナリオA-4（8多重）の条件が現実的でしょう。