Sobre dados de séries temporais

Comparação de coleções de séries temporais com coleções regulares

Em uma coleção regular, os dados são armazenados sequencialmente como blocos no disco, otimizando a velocidade de gravação. No entanto, requer um índice para cada ponto de dados, que cresce muito rapidamente. Ela também requer um segundo índice que contenha o identificador de série temporal e os próprios carimbos de data/hora, para que os usuários possam consultar uma única série. Para ler esses dados, o MongoDB precisa processar todos os blocos de banco de banco de dados e discos que os contêm, mesmo que um bloco contenha apenas um único documento relevante .

Esse modelo é otimizado para operações CRUD e atualizações frequentes. O saldo de uma conta bancária só precisa refletir o estado atual, portanto, o documento de cada titular da conta é atualizado à medida que essas informações são alteradas.

Compare isso a uma coleção de séries temporais. As coleções de séries temporais gravam os dados em ordem, o que significa que as transações recentes podem ser mantidas na memória para uma recuperação muito mais rápida. Como eles são gravados em sequência, os documentos são armazenados juntos, portanto, não há necessidade de ler todos os blocos de disco depois que um documento não estiver mais na memória. Os dados são indexados pelo metaField, levando a índices muito menores.

Como o metaField afeta o bucket

Como valores metaField devem corresponder exatamente aos documentos de grupo, o número de buckets em uma coleção de séries temporais depende do número de valores metaField exclusivos. Coleções com valores de metaField refinados ou variáveis geram muitos buckets compactados e de curta duração. Isso leva à redução da eficiência de armazenamento e consulta.

Por exemplo, no documento a seguir, metadata é uma boa opção de metaField pois facilita a query de dados de um determinado sensor meteorológico. Usando esses campos, o MongoDB agrupa as leituras de um único sensor.

{
   timestamp: ISODate("2021-05-18T00:00:00.000Z"),
   metadata: { sensorId: 5578, type: 'temperature' },
   temp: 12,
   _id: ObjectId("62f11bbf1e52f124b84479ad")
}

Criação

• O MongoDB cria um novo bucket se não houver um adequado para um documento recebido. Isso ocorre quando alguma das seguintes afirmações é verdadeira:

  • O documento metaField não corresponde a nenhum bucket ativo.

  • O carimbo de data/hora do documento está fora do intervalo de todos os buckets ativos.

  • O documento excede o tamanho restante ou o limite de documento de todos os buckets ativos.

  O registro de data e hora inicial de um novo bucket é arredondado para baixo com base na granularidade da coleção. Isso lida com casos em que documentos com carimbos de data/hora fora de ordem chegam em sucessão próxima.

Fechamento

O MongoDB encerra um bucket em qualquer uma das seguintes circunstâncias:

• O tempo avançou ou retrocedeu além do período coberto, conforme indicado por um carimbo de data/hora do documento de entrada que está fora dos limites do bucket. Esses limites são determinados pela configuração de granularidade da coleção.

• O bucket alcançou o limite de documento (padrão 1000).

• O bucket excedeu seu limite de tamanho de armazenamento. Isso acontece quando:

  • O tamanho excede o máximo permitido (padrão 125KiB).

  • O número de documentos está abaixo de um número mínimo (padrão 10) e o tamanho está abaixo de 12MiB.

    Esse é um limite interno definido que otimiza o desempenho quando os dados consistem em menos documentos maiores.

  • O conjunto de buckets ativos não se encaixa no tamanho permitido do cache do mecanismo de armazenamento. Você pode revisar essas informações usando o comando de banco de dados collStats .

• O catálogo de buckets excede a alocação total de memória permitida (por padrão, 2,5% da memória disponível do sistema)

• Uma operação conflitante, como uma migração ou atualização de blocos, altera o estado em disco de um bucket.

• mongod reinicia. Isso fecha todos os buckets.

Exclusão

O MongoDB elimina um bucket quando:

• O carimbo de data/hora máximo permitido é menor do que a hora atual menos o parâmetro expireAfterSeconds da coleção. Isso é equivalente ao tempo de vida de uma coleção TTL.

• Um comando delete ou db.collection.deleteMany() exclui o último documento no bucket.