대용량 파일 저장

개요

이 가이드 에서는 GridFS 를 사용하여 MongoDB 에 대용량 파일을 저장 하고 조회 하는 방법을 학습 수 있습니다. GridFS 는 C 운전자 에 의해 구현된 사양으로, 파일을 저장할 때 청크로 분할 하고 검색할 때 다시 조립하는 방법을 설명합니다. 드라이버의 GridFS 구현 은 파일 저장 의 운영 및 조직 을 관리하는 추상화입니다.

파일 크기가 BSON 문서 크기 제한인 16MB를 초과하는 경우 GridFS 를 사용하세요. GridFS 가 사용 사례 에 적합한지 여부에 대한 자세한 내용은 MongoDB Server 매뉴얼에서 GridFS 를 참조하세요.

GridFS 작동 방식

GridFS는 파일 청크와 파일을 설명하는 정보가 들어 있는 MongoDB 컬렉션 그룹인 버킷에 파일을 구성합니다. 버킷에는 GridFS 사양에 정의된 규칙을 사용하여 명명된 다음 컬렉션이 포함되어 있습니다.

• chunks 컬렉션은 바이너리 파일 청크를 저장합니다.

• files 0} 컬렉션에 파일 메타데이터가 저장됩니다.

운전자 는 첫 번째 쓰기 (write) 작업을 수행할 때 GridFS 버킷을 생성합니다(존재하지 않는 경우). 버킷에는 다른 이름을 지정하지 않는 한 기본값 버킷 이름 fs 접두사가 붙은 앞의 collection이 포함되어 있습니다. 파일 및 관련 메타데이터 를 효율적으로 검색하기 위해 운전자 는 컬렉션이 존재하지 않거나 버킷이 비어 있는 경우 각 컬렉션 에 인덱스 도 생성합니다.

GridFS 인덱스에 대한 자세한 내용은 MongoDB Server 매뉴얼에서 GridFS 인덱스를 참조하세요.

GridFS 를 사용하여 파일을 저장 때 운전자 는 파일을 작은 청크로 분할하며, 각 청크는 chunks 컬렉션 에서 별도의 문서 로 표시됩니다. 또한 files 컬렉션 에 파일 ID, 파일 이름 및 기타 파일 메타데이터 가 포함된 문서 를 만듭니다. C 운전자 에 스트림 을 전달하여 소비하거나 새 스트림 을 생성하고 직접 작성하여 파일 을 업로드할 수 있습니다.

다음 다이어그램은 파일이 버킷에 업로드될 때 GridFS 가 파일을 분할하는 방법을 보여줍니다.

GridFS 에서 파일을 조회 할 때 지정된 버킷의 files 컬렉션 에서 메타데이터 를 가져오고 이 정보를 사용하여 chunks 컬렉션 의 문서에서 파일 을 재구성합니다. 파일 내용을 기존 스트림 에 쓰거나 파일 을 가리키는 새 스트림 을 만들어 파일 을 읽을 수 있습니다.

GridFS 버킷 만들기

GridFS 를 사용하려면 먼저 mongoc_gridfs_bucket_new() 함수를 호출합니다. 이 함수는 새 mongoc_gridfs_bucket_t 구조를 만들거나 기존 mongoc_gridfs_bucket_t 에 액세스하고 다음 매개 변수를 허용합니다.

• 데이터베이스: 버킷을 생성할 데이터베이스 를 지정합니다.

• 옵션 문서: 버킷을 사용자 지정하는 옵션을 지정하거나 NULL

• 읽기 기본 설정: 읽기 작업에 사용할 읽기 설정 (read preference)NULL 을 지정하거나 을 지정하여 데이터베이스의 읽기 설정 (read preference) 을 상속합니다.

• 오류 위치: 오류 값의 위치 를 지정하거나 NULL

다음 예시 에서는 mongoc_gridfs_bucket_new() 함수를 호출하고 db 데이터베이스 를 매개 변수로 전달합니다.

mongoc_database_t *db = mongoc_client_get_database (client, "db");
bson_error_t error;
if (!mongoc_gridfs_bucket_new (db, NULL, NULL, &error)) {
    fprintf (stderr, "Failed to create bucket: %s\n", error.message);
}

mongoc_database_t *db = mongoc_client_get_database (client, "db");
bson_t opts = BSON_INITIALIZER;
BSON_APPEND_UTF8 (&opts, "bucketName", "myCustomBucket");
bson_error_t error;
if (!mongoc_gridfs_bucket_new (db, &opts, NULL, &error)) {
    fprintf (stderr, "Failed to create bucket: %s\n", error.message);
}

파일 업로드

다음 함수를 사용하여 GridFS 버킷에 파일을 업로드할 수 있습니다.

• mongoc_gridfs_bucket_open_upload_stream(): 파일 콘텐츠를 쓰기 (write) 수 있는 새 업로드 스트림 을 엽니다.

• mongoc_gridfs_bucket_upload_from_stream(): 기존 스트림 의 콘텐츠를 GridFS 파일 에 업로드합니다.

bson_error_t error;
mongoc_stream_t *upload_stream = mongoc_gridfs_bucket_open_upload_stream (bucket, "my_file", NULL, NULL, &error);
if (upload_stream == NULL) {
        fprintf (stderr, "Failed to create upload stream: %s\n", error.message);
} else {
        const char *data = "Data to store";
        mongoc_stream_write (upload_stream, data, strlen(data), -1);
}
mongoc_stream_close (upload_stream);
mongoc_stream_destroy (upload_stream);

mongoc_stream_t *file_stream = mongoc_stream_file_new_for_path ("/path/to/input_file", O_RDONLY, 0);
bson_error_t error;
if (!mongoc_gridfs_bucket_upload_from_stream (bucket, "new_file", file_stream, NULL, NULL, &error)) {
    fprintf (stderr, "Failed to upload file: %s\n", error.message);
}
mongoc_stream_close (file_stream);
mongoc_stream_destroy (file_stream);

파일 정보 검색

이 섹션에서는 GridFS 버킷의 files 컬렉션 에 저장된 파일 메타데이터 를 조회 학습 방법을 알아볼 수 있습니다. 파일의 메타데이터 에는 다음을 포함하여 파일 이 참조하는 파일에 대한 정보가 포함되어 있습니다.

• 파일의 _id입니다.

• 파일 이름

• 파일의 길이/크기

• 업로드 날짜 및 시간

• 다른 정보를 저장할 수 있는 metadata 문서입니다.

GridFS 버킷에서 파일을 조회 하려면 mongoc_gridfs_bucket_find() 함수를 호출하고 버킷을 매개변수로 전달합니다. 이 함수는 결과에 액세스 할 수 있는 커서 를 반환합니다.

mongoc_cursor_t *cursor = mongoc_gridfs_bucket_find(bucket, bson_new(), NULL);
const bson_t *file_doc;
while (mongoc_cursor_next(cursor, &file_doc)) {
    char *json = bson_as_json(file_doc, NULL);
    printf("%s\n", json);
    bson_free(json);
}
mongoc_cursor_destroy (cursor);

{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "my_file", "metadata" : {  } }
{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "new_file", "metadata" : {  } }

파일 다운로드

다음 함수를 사용하여 GridFS 버킷에서 파일을 다운로드 할 수 있습니다.

• mongoc_gridfs_bucket_open_download_stream(): 파일 내용을 읽을 수 있는 새 다운로드 스트림 을 엽니다.

• mongoc_gridfs_bucket_download_to_stream(): 전체 파일 을 기존 다운로드 스트림 에 씁니다.

char buf[512];
bson_value_t file_id;
file_id.value_type = BSON_TYPE_OID;
bson_oid_init_from_string (&file_id.value.v_oid, "66fb1b8ea0f84a74ee099e71");
bson_error_t error;
mongoc_stream_t *download_stream = mongoc_gridfs_bucket_open_download_stream (bucket, &file_id, &error);
if (!download_stream) {
    fprintf (stderr, "Failed to create download stream: %s\n", error.message);
}
mongoc_stream_read (download_stream, buf, 1, 1, 0);
mongoc_stream_close (download_stream);
mongoc_stream_destroy (download_stream);

mongoc_stream_t *file_stream = mongoc_stream_file_new_for_path ("/path/to/output_file", O_RDWR, 0);
bson_error_t error;
if (!file_stream) {
    fprintf (stderr, "Error opening file stream: %s\n", error.message);
}
bson_value_t file_id;
file_id.value_type = BSON_TYPE_OID;
bson_oid_init_from_string (&file_id.value.v_oid, "66fb1b8ea0f84a74ee099e71");
if (!mongoc_gridfs_bucket_download_to_stream (bucket, &file_id, file_stream, &error)) {
    fprintf (stderr, "Failed to download file: %s\n", error.message);
}
mongoc_stream_close (file_stream);
mongoc_stream_destroy (file_stream);

파일 삭제

mongoc_gridfs_bucket_delete_by_id() 함수를 사용하여 버킷에서 파일의 컬렉션 문서 와 관련 청크를 제거 합니다. 이렇게 하면 파일 이 효과적으로 삭제됩니다.

다음 예시에서는 _id 필드를 참고하여 파일을 삭제하는 방법을 보여 줍니다.

bson_error_t error;
bson_oid_t oid;
bson_oid_init_from_string (&oid, "66fb1b365fd1cc348b031b01");
if (!mongoc_gridfs_bucket_delete_by_id (bucket, &oid, &error)) {
    fprintf (stderr, "Failed to delete file: %s\n", error.message);
}

API 문서

C 운전자 를 사용하여 대용량 파일을 저장 하고 조회 하는 방법에 학습 보려면 다음 API 설명서를 참조하세요.

• mongoc_gridfs_bucket_new()

• mongoc_gridfs_bucket_open_upload_stream()

• mongoc_gridfs_bucket_upload_from_stream()

• mongoc_gridfs_bucket_find()

• mongoc_gridfs_bucket_open_download_stream()

• mongoc_gridfs_bucket_download_to_stream()

• mongoc_gridfs_file_set_metadata()

• mongoc_gridfs_bucket_delete_by_id()