保存するベクトルの数と次元数、精度(float32・float16・int8・バイナリ)、1件あたりのメタデータ容量、インデックスのオーバーヘッド率を入れると、ベクトルデータベースに必要なストレージ容量を計算します。精度を下げたときにどれだけ減るかも確かめられます。
ベクトルDB ストレージ容量計算ツール(埋め込みの次元数・精度)
ベクトル数・次元数・精度・メタデータ容量・インデックスのオーバーヘッドから、ベクトルデータベースに必要なストレージ容量を計算します。
使い方
- 保存するベクトルの数(チャンク数など)と、埋め込みモデルの出力次元を入力します。次元の初期値1024は例の値です。
- 保存する精度を選び、1件あたりのメタデータ(元の文章のIDや見出しなど)の容量を入力します。
- インデックスのオーバーヘッド率を入力して、合計容量と内訳を確認します。初期値50%は例の値です。
計算式
1ベクトル = 次元数 × 1要素のバイト数(バイナリは ⌈次元数÷8⌉)
本体 = ベクトル数 × 1ベクトル
インデックス = 本体 × オーバーヘッド率
合計 = 本体 + インデックス + ベクトル数 × メタデータ
1要素のバイト数は float32 が4、float16 が2、int8 が1です。バイナリでは1要素を1ビットで表すため、8要素で1バイトになります。
計算例
初期値の「100万件、1024次元、float32、メタデータ200バイト、オーバーヘッド50%」で計算します。
- 1ベクトル:1024×4 = 4,096バイト
- 本体:1,000,000×4,096 = 3.81GB
- インデックス:3.81GB×50% = 1.91GB
- メタデータ:1,000,000×200 = 190.73MB
- 合計:約5.91GB
表示は1GB=1024³バイトで換算しています。
結果の見方
容量の大部分は「ベクトル数×次元数×精度」で決まります。float32 から float16 にすると本体は半分、int8 なら4分の1、バイナリなら32分の1になります。次元数の小さい埋め込みモデルを選ぶのも、容量を減らす方法の一つです。
検索を速くするためにインデックスをメモリに載せる方式では、ストレージだけでなく同じくらいの RAM が必要になります。サーバーの大きさを決めるときの目安にしてください。
精度ごとの容量の比較
100万件・1024次元のベクトル本体だけの容量です(インデックスとメタデータを除く、1GB=1024³バイト)。
| 精度 | 1ベクトル | 本体の容量 |
|---|---|---|
| float32 | 4,096バイト | 約3.81GB |
| float16 | 2,048バイト | 約1.91GB |
| int8 | 1,024バイト | 約0.95GB |
| バイナリ | 128バイト | 約122MB |
件数が増える予定がある場合は、将来の件数でも計算しておくと、容量が足りなくなるのを防げます。
メタデータの容量は見落とされやすい部分です。元の文章も一緒に保存する場合は、1件あたり数千バイトになることもあります。
注意点
- 概算です。インデックスのオーバーヘッドは方式や設定で大きく変わるため、使うデータベースの資料や実測で確認してください。
- 精度を下げると容量は減りますが、検索の精度が少し下がることがあります。粗い検索のあとに元の精度で並べ直す(再ランキング)方法と組み合わせることがあります。
- 元の文章そのものを一緒に保存する場合は、その容量をメタデータに含めてください。
- バックアップや複製を持つ場合は、その分の容量が別に必要です。
ベクトルDBの容量のよくある質問
Q. 100万件のベクトルを保存するには何GB必要ですか?
A. 次元数と精度によります。1024次元・float32なら本体だけで約3.81GB(1GB=1024³バイト)で、これにインデックスとメタデータが加わります。
Q. float16やint8にすると検索精度は落ちますか?
A. わずかに落ちることがありますが、影響の大きさはデータと埋め込みモデルによります。実際のデータで検索結果を比べて確かめるのが確実です。
Q. インデックスのオーバーヘッドとは何ですか?
A. 近いベクトルを速く探すために作る補助データの容量です。グラフ型や分割型など方式によって大きさが変わります。
