ベクトルDB容量計算ツール|次元・精度別

保存するベクトルの数と次元数、精度(float32・float16・int8・バイナリ)、1件あたりのメタデータ容量、インデックスのオーバーヘッド率を入れると、ベクトルデータベースに必要なストレージ容量を計算します。精度を下げたときにどれだけ減るかも確かめられます。

ベクトルDB ストレージ容量計算ツール(埋め込みの次元数・精度)

ベクトル数・次元数・精度・メタデータ容量・インデックスのオーバーヘッドから、ベクトルデータベースに必要なストレージ容量を計算します。

使い方

  1. 保存するベクトルの数(チャンク数など)と、埋め込みモデルの出力次元を入力します。次元の初期値1024は例の値です。
  2. 保存する精度を選び、1件あたりのメタデータ(元の文章のIDや見出しなど)の容量を入力します。
  3. インデックスのオーバーヘッド率を入力して、合計容量と内訳を確認します。初期値50%は例の値です。

計算式

1ベクトル = 次元数 × 1要素のバイト数(バイナリは ⌈次元数÷8⌉)
本体 = ベクトル数 × 1ベクトル
インデックス = 本体 × オーバーヘッド率
合計 = 本体 + インデックス + ベクトル数 × メタデータ

1要素のバイト数は float32 が4、float16 が2、int8 が1です。バイナリでは1要素を1ビットで表すため、8要素で1バイトになります。

計算例

初期値の「100万件、1024次元、float32、メタデータ200バイト、オーバーヘッド50%」で計算します。

  • 1ベクトル:1024×4 = 4,096バイト
  • 本体:1,000,000×4,096 = 3.81GB
  • インデックス:3.81GB×50% = 1.91GB
  • メタデータ:1,000,000×200 = 190.73MB
  • 合計:約5.91GB

表示は1GB=1024³バイトで換算しています。

結果の見方

容量の大部分は「ベクトル数×次元数×精度」で決まります。float32 から float16 にすると本体は半分、int8 なら4分の1、バイナリなら32分の1になります。次元数の小さい埋め込みモデルを選ぶのも、容量を減らす方法の一つです。

検索を速くするためにインデックスをメモリに載せる方式では、ストレージだけでなく同じくらいの RAM が必要になります。サーバーの大きさを決めるときの目安にしてください。

精度ごとの容量の比較

100万件・1024次元のベクトル本体だけの容量です(インデックスとメタデータを除く、1GB=1024³バイト)。

精度 1ベクトル 本体の容量
float32 4,096バイト 約3.81GB
float16 2,048バイト 約1.91GB
int8 1,024バイト 約0.95GB
バイナリ 128バイト 約122MB

件数が増える予定がある場合は、将来の件数でも計算しておくと、容量が足りなくなるのを防げます。

メタデータの容量は見落とされやすい部分です。元の文章も一緒に保存する場合は、1件あたり数千バイトになることもあります。

注意点

  • 概算です。インデックスのオーバーヘッドは方式や設定で大きく変わるため、使うデータベースの資料や実測で確認してください。
  • 精度を下げると容量は減りますが、検索の精度が少し下がることがあります。粗い検索のあとに元の精度で並べ直す(再ランキング)方法と組み合わせることがあります。
  • 元の文章そのものを一緒に保存する場合は、その容量をメタデータに含めてください。
  • バックアップや複製を持つ場合は、その分の容量が別に必要です。

ベクトルDBの容量のよくある質問

Q. 100万件のベクトルを保存するには何GB必要ですか?

A. 次元数と精度によります。1024次元・float32なら本体だけで約3.81GB(1GB=1024³バイト)で、これにインデックスとメタデータが加わります。

Q. float16やint8にすると検索精度は落ちますか?

A. わずかに落ちることがありますが、影響の大きさはデータと埋め込みモデルによります。実際のデータで検索結果を比べて確かめるのが確実です。

Q. インデックスのオーバーヘッドとは何ですか?

A. 近いベクトルを速く探すために作る補助データの容量です。グラフ型や分割型など方式によって大きさが変わります。