大きなファイルの保存

Overview

このガイドでは、 GridFS を使用してMongoDBに大容量ファイルを保存、検索する方法を学びます。GridFSストレージシステムは、保存時にファイルをチャンクに分割し、検索時にそれらのファイルを再アセンブルします。 ドライバーのGridFSの実装は、ファイルストレージの操作と組織を管理する抽象化です。

いずれかのファイルのサイズがBSONドキュメントサイズ制限の 16 MB を超える場合は、 GridFSを使用します。 GridFSがユースケースに適しているかどうかの詳細については、 MongoDB Serverマニュアルの GridFS を参照してください。

GridFS の仕組み

GridFS により、ファイルはバケット（ファイルのチャンクとそれを説明する情報を含む MongoDB コレクションのグループ）に整理されます。 バケットには以下のコレクションが含まれています。

• chunks: バイナリファイルのチャンクを保存します

• files:ファイルのメタデータを保存します

ドライバーは、最初にデータを書き込むと、 GridFSバケットがまだ存在しない場合はそれを作成します。 バケットには、別の名前を指定しない限り、デフォルトのバケット名 fs がプレフィックスが付いた chunks コレクションと files コレクションが含まれます。 ファイルと関連メタデータを効率的に取得するために、ドライバーは各コレクションにインデックスを作成します。 ドライバーは、 GridFSバケットで読み取りおよび書込み操作を実行する前に、これらのインデックスが存在することを確認します。

GridFSインデックスの詳細については、 MongoDB Serverマニュアルの「 GridFSインデックス 」を参照してください。

GridFS を使用してファイルを保存する場合、ドライバーはファイルを小さなチャンクに分割し、各ファイルは chunksコレクションに個別のドキュメントとして表されます。 また、ファイルID、ファイル名、およびその他のファイルメタデータを含むドキュメントを filesコレクションに作成します。

次の図は、 GridFSがバケットにアップロードされるときにファイルを分割する方法を示しています。

ファイルを検索する際、GridFS は指定されたバケット内の files コレクションからメタデータを取得し、その情報を使用して chunks コレクション内のドキュメントからファイルを再構築します。

GridFS バケットの作成

GridFS を使用してファイルを保存または検索するには、データベース を表す IMongoDatabaseオブジェクトを渡して、GridFSBucketクラスの新しいインスタンスを作成します。 このメソッドは、既存のバケットにアクセスし、バケットが存在しない場合は新しいバケットを作成します。

次の例では、 dbデータベースに GridFSBucketクラスの新しいインスタンスを作成します。

var client = new MongoClient("<connection string>");
var database = client.GetDatabase("db");
// Creates a GridFS bucket or references an existing one
var bucket = new GridFSBucket(database);

var options = new GridFSBucketOptions { BucketName = "myCustomBucket" };
var customBucket = new GridFSBucket(database, options);

ファイルのアップロード

次の方法を使用して、 GridFSバケットにファイルをアップロードできます。

• OpenUploadStream() または OpenUploadStreamAsync(): 新しいアップロードストリームを開き、ファイルの内容を書き込むことができる

• UploadFromStream() または UploadFromStreamAsync(): 既存のストリームの内容をGridFSファイルにアップロードします

次のセクションでは、これらのメソッドの使用方法について説明します。

using (var uploader = bucket.OpenUploadStream("my_file"))
{
    // ASCII for "HelloWorld"
    byte[] bytes = { 72, 101, 108, 108, 111, 87, 111, 114, 108, 100 };
    uploader.Write(bytes, 0, bytes.Length);
    uploader.Close();
}

using (var uploader = await bucket.OpenUploadStreamAsync("my_file", options))
{
    // ASCII for "HelloWorld"
    byte[] bytes = { 72, 101, 108, 108, 111, 87, 111, 114, 108, 100 };
    await uploader.WriteAsync(bytes, 0, bytes.Length);
    await uploader.CloseAsync();
}

var options = new GridFSUploadOptions
{
    ChunkSizeBytes = 1048576 // 1 MB
};
using (var uploader = bucket.OpenUploadStream("my_file", options))
{
    // ASCII for "HelloWorld"
    byte[] bytes = { 72, 101, 108, 108, 111, 87, 111, 114, 108, 100 };
    uploader.Write(bytes, 0, bytes.Length);
    uploader.Close();
}

var options = new GridFSUploadOptions
{
    ChunkSizeBytes = 1048576 // 1 MB
};
using (var uploader = await bucket.OpenUploadStreamAsync("my_file", options))
{
    // ASCII for "HelloWorld"
    byte[] bytes = { 72, 101, 108, 108, 111, 87, 111, 114, 108, 100 };
    await uploader.WriteAsync(bytes, 0, bytes.Length);
    await uploader.CloseAsync();
}

using (var fileStream = new FileStream("/path/to/input_file", FileMode.Open, FileAccess.Read))
{
    bucket.UploadFromStream("new_file", fileStream);
}

using (var fileStream = new FileStream("/path/to/input_file", FileMode.Open, FileAccess.Read))
{
    await bucket.UploadFromStreamAsync("new_file", fileStream);
}

ファイルのダウンロード

次の方法を使用して、 GridFSバケットからファイルをダウンロードできます。

• OpenDownloadStream() または OpenDownloadStreamAsync(): 新しいダウンロードストリームを開き、ファイルの内容を読み取ることができる

• DownloadToStream() または DownloadToStreamAsync(): GridFSファイルの内容を既存のストリームに書込みます

次のセクションでは、これらの方法について詳しく説明します。

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var doc = bucket.Find(filter).FirstOrDefault();
if (doc != null)
{
    using (var downloader = bucket.OpenDownloadStream(doc.Id))
    {
        var buffer = new byte[downloader.Length];
        downloader.Read(buffer, 0, buffer.Length);
        // Process the buffer as needed
    }
}

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var cursor = await bucket.FindAsync(filter);
var fileInfoList = await cursor.ToListAsync();
var doc = fileInfoList.FirstOrDefault();
if (doc != null)
{
    using (var downloader = await bucket.OpenDownloadStreamAsync(doc.Id))
    {
        var buffer = new byte[downloader.Length];
        await downloader.ReadAsync(buffer, 0, buffer.Length);
        // Process the buffer as needed
    }
}

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var doc = bucket.Find(filter).FirstOrDefault();
if (doc != null)
{
    var options = new GridFSDownloadOptions
    {
        Seekable = true
    };
    using (var downloader = bucket.OpenDownloadStream(id, options))
    {
        var buffer = new byte[downloader.Length];
        downloader.Read(buffer, 0, buffer.Length);
        // Process the buffer as needed
    }
}

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var cursor = await bucket.FindAsync(filter);
var fileInfoList = await cursor.ToListAsync();
var doc = fileInfoList.FirstOrDefault();
if (doc != null)
{
    var options = new GridFSDownloadOptions
    {
        Seekable = true
    };
    using (var downloader = await bucket.OpenDownloadStreamAsync(doc.Id, options))
    {
        var buffer = new byte[downloader.Length];
        await downloader.ReadAsync(buffer, 0, buffer.Length);
        // Process the buffer as needed
    }
}

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var doc = bucket.Find(filter).FirstOrDefault();
if (doc != null)
{
    using (var outputFile = new FileStream("/path/to/output_file", FileMode.Create, FileAccess.Write))
    {
        bucket.DownloadToStream(doc.Id, outputFile);
    }
}

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var cursor = await bucket.FindAsync(filter);
var fileInfoList = await cursor.ToListAsync();
var doc = fileInfoList.FirstOrDefault();
if (doc != null)
{
    using (var outputFile = new FileStream("/path/to/output_file", FileMode.Create, FileAccess.Write))
    {
        await bucket.DownloadToStreamAsync(doc.Id, outputFile);
    }
}

ファイルの検索

GridFSバケット内のファイルを検索するには、GridFSBucketインスタンスで Find() メソッドまたは FindAsync() メソッドを呼び出します。 これらのメソッドは次のパラメーターを受け入れます。

次のコード例は、 GridFSバケット内のファイルからファイルメタデータを検索して印刷する方法を示しています。 Find() メソッドは、結果にアクセスできる IAsyncCursor<GridFSFileInfo>インスタンスを返します。 foreachループを使用して返されたカーソルを反復処理し、 ファイルのアップロード例 にアップロードされたファイルの内容を表示します。

SynchronousAsynchronous対応するコードを表示するには、 タブまたは タブを選択します。

var filter = Builders<GridFSFileInfo>.Filter.Empty;
var files = bucket.Find(filter);
foreach (var file in files.ToEnumerable())
{
    Console.WriteLine(file.ToJson());
}

{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "new_file" }
{ "_id" : { "$oid" : "..." }, "length" : 50, "chunkSize" : 1048576, "uploadDate" :
{ "$date" : ... }, "filename" : "my_file" }

var filter = Builders<GridFSFileInfo>.Filter.Empty;
var files = await bucket.FindAsync(filter);
await files.ForEachAsync(file => Console.Out.WriteLineAsync(file.ToJson()))

{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "new_file" }
{ "_id" : { "$oid" : "..." }, "length" : 50, "chunkSize" : 1048576, "uploadDate" :
{ "$date" : ... }, "filename" : "my_file" }

検索操作 をカスタマイズするには、GridFSFindOptionsクラスのインスタンスをFind() メソッドまたは FindAsync() メソッドに渡します。 GridFSFindOptionsクラスには、次のプロパティが含まれています。

ファイルの削除

GridFSバケットからファイルを削除するには、GridFSBucketインスタンスで Delete() メソッドまたは DeleteAsync() メソッドを呼び出します。 このメソッドは、ファイルのメタデータコレクションとそれに関連するチャンクをバケットから削除します。

Delete メソッドと DeleteAsync() メソッドは次のパラメータを受け入れます。

次のコード例は、 "my_file" という名前のファイルを削除する方法を示しており、その _id 値を delete_file() に渡します。

• Buildersクラスを使用して、"my_file" という名前のファイルに一致するフィルターを作成します

• Find() メソッドを使用して "my_file" という名前のファイルを検索します

• ファイルの _id 値を Delete() メソッドに渡してファイルを削除します

SynchronousAsynchronous対応するコードを表示するには、 タブまたは タブを選択します。

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var doc = bucket.Find(filter).FirstOrDefault();
if (doc != null)
{
    bucket.Delete(doc.Id);
}

var filter = Builders<GridFSFileInfo>.Filter.Eq(x => x.Filename, "new_file");
var cursor = await bucket.FindAsync(filter);
var fileInfoList = await cursor.ToListAsync();
var doc = fileInfoList.FirstOrDefault();
if (doc != null)
{
    await bucket.DeleteAsync(doc.Id);
}

API ドキュメント

このページで使用されるクラスの詳細については、次のAPIドキュメントを参照してください。

• GridFSバケット

• GridFSbucketOptions

• GridFSDownloadOptions

• GridFSFindOptions

• GridFSUploadOptions

• GridFSFileInfo

このページで使用されている GridFSBucketクラスのメソッドの詳細については、次のAPIドキュメントを参照してください。

• OpenUploadStream()

• OpenUploadStreamAsync()

• AppUploadFromStream()

• UploadFromStreamAsync()

• OpenDownloadStream()

• OpenDownloadStreamAsync()

• ダウンロードToStream()

• DownloadToStreamAsync()

• Find()

• FindAsync()

• Delete()

• DeleteAsync()