大きなファイルの保存

Overview

このガイドでは、 GridFSを使用してMongoDBに大容量ファイルを保存、検索する方法を学びます。GridFSはC++ドライバーによって実装された仕様で、ファイルを保存するときにチャンクに分裂し、検索時にそれらのファイルを再アセンブルする方法を記述します。 ドライバーのGridFSの実装は、ファイルストレージの操作と組織を管理する抽象化です。

ファイルのサイズがBSONドキュメントサイズ制限の 16 MB を超える場合は、 GridFSを使用します。GridFSがユースケースに適しているかどうかの詳細については、 MongoDB Serverマニュアルの GridFSを参照してください。

GridFS の仕組み

GridFS により、ファイルはバケット（ファイルのチャンクとそれを説明する情報を含む MongoDB コレクションのグループ）に整理されます。 バケットには、GridFS の仕様に定義されている規則を使用して名前付けされた、以下のコレクションが含まれています。

• chunks コレクションは、バイナリファイルのチャンクを保存します。

• files コレクションは、ファイルのメタデータを保存します

ドライバーは、最初にデータを書き込むと、 GridFSバケットが存在しない場合はそれを作成します。 バケットには、別の名前を指定しない限り、デフォルトのバケット名 fs がプレフィックスが付いた前述のコレクションが含まれます。ファイルと関連メタデータを効率的に取得するために、ドライバーは各コレクションにインデックスを作成します。 ドライバーは、 GridFSバケットで読み取りおよび書込み操作を実行する前に、これらのインデックスが存在することを確認します。

GridFSインデックスの詳細については、 MongoDB Serverマニュアルの「 GridFSインデックス 」を参照してください。

GridFSを使用してファイルを保存する場合、ドライバーはファイルを小さなチャンクに分割し、各ファイルは chunksコレクションに個別のドキュメントとして表されます。また、ファイルID、ファイル名、およびその他のファイルメタデータを含むドキュメントを filesコレクションに作成します。C++ドライバーにストリームを渡して消費するか、新しいストリームを作成してそのストリームに直接書き込むことで、ファイルをアップロードできます。

次の図は、 GridFSがバケットにアップロードされるときにファイルを分割する方法を示しています。

ファイルを検索する際、 GridFSは指定されたバケット内の filesコレクションからメタデータを取得し、その情報を使用して chunksコレクション内のドキュメントからファイルを再構築します。ファイルの内容を既存のストリームに書込むか、ファイルをポイントする新しいストリームを作成することで、ファイルを読み取ることができます。

GridFS バケットの作成

GridFSからのファイルの保存または検索を開始するには、データベースで gridfs_bucket() メソッドを呼び出します。このメソッドは、既存のバケットにアクセスし、バケットが存在しない場合は新しいバケットを作成します。

次の例では、 dbデータベースでgridfs_bucket()メソッドを呼び出します。

auto bucket = db.gridfs_bucket();

mongocxx::options::gridfs::bucket opts;
opts.bucket_name("myCustomBucket");
auto bucket = db.gridfs_bucket(opts);

ファイルのアップロード

次の方法を使用して、 GridFSバケットにファイルをアップロードできます。

• open_upload_stream() :ファイルの内容を書き込むことができる新しいアップロードストリームを開きます

• アップロード_from_stream() : 既存のストリームの内容をGridFSファイルにアップロードします

mongocxx::options::gridfs::upload opts;
opts.chunk_size_bytes(1048576);
auto uploader = bucket.open_upload_stream("my_file", opts);
// ASCII for "HelloWorld"
std::uint8_t bytes[10] = {72, 101, 108, 108, 111, 87, 111, 114, 108, 100};
for (auto i = 0; i < 5; ++i) {
    uploader.write(bytes, 10);
}
uploader.close();

std::ifstream file("/path/to/input_file", std::ios::binary);
bucket.upload_from_stream("new_file", &file);

ファイル情報の検索

このセクションでは、GridFS バケットの files コレクションにストアされているファイル メタデータを検索する方法を学びます。メタデータには、参照先のファイルに関する次のような情報が含まれます。

• ファイルの _id

• ファイルの名前

• ファイルの長さ/サイズ

• アップロード日時

• その他の情報を保存できる metadataドキュメント

GridFSバケットからファイルを検索するには、バケットで mongocxx::gridfs::bucket::find() メソッドを呼び出します。このメソッドは、結果にアクセスできる mongocxx::cursorインスタンスを返します。カーソルの詳細については、「 カーソルからデータにアクセスする ガイド」を参照してください。

auto cursor = bucket.find({});
for (auto&& doc : cursor) {
    std::cout << bsoncxx::to_json(doc) << std::endl;
}

{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "new_file" }
{ "_id" : { "$oid" : "..." }, "length" : 50, "chunkSize" : 1048576, "uploadDate" :
{ "$date" : ... }, "filename" : "my_file" }

ファイルのダウンロード

次の方法を使用して、 GridFSバケットからファイルをダウンロードできます。

• open_Download_stream() : 新しいダウンロード ストリームを開き、ファイルの内容を読み取ることができる

• ダウンロード_to_stream() :ファイル全体を既存のダウンロード ストリームに書込みます

auto doc = db["fs.files"].find_one(make_document(kvp("filename", "new_file")));
auto id = doc->view()["_id"].get_value();
auto downloader = bucket.open_download_stream(id);
std::vector<uint8_t> buffer(downloader.file_length());
downloader.read(buffer.data(), buffer.size());

std::ofstream output_file("/path/to/output_file", std::ios::binary);
auto doc = db["fs.files"].find_one(make_document(kvp("filename", "new_file")));
auto id = doc->view()["_id"].get_value();
bucket.download_to_stream(id, &output_file);

ファイルの削除

バケットからファイルのコレクション ドキュメントと関連するチャンクを削除するには、 delete_file()メソッドを使用します。 これにより、ファイルが実質的に削除されます。 削除するファイルは、ファイル名ではなく、 _idフィールドで指定する必要があります。

次の例では、_id 値を delete_file() に渡して "my_file" という名前のファイルを削除する方法を示しています。

auto doc = db["fs.files"].find_one(make_document(kvp("filename", "my_file")));
auto id = doc->view()["_id"].get_value();
bucket.delete_file(id);

API ドキュメント

C++ドライバーを使用して大容量のファイルを保存および検索する方法の詳細については、次のAPIドキュメントを参照してください。

• Grifs_bucket()

• mongocx::options::tricfs::バケット

• open_upload_stream()

• アップロード_from_stream()

• find()

• open_ダウンロード_ストリーム()

• ダウンロード_to_stream()

• delete_file()