Explorando operadores de janela no processamento de fluxo Atlas
Robert Walters4 min read • Published Aug 13, 2024 • Updated Aug 13, 2024
Avalie esse Tutorial
Em nossa postagem anterior sobre janelamento, apresentamos os operadores de janela disponíveis no Atlas Stream Processing. Os operadores de janela são uma das operações mais comumente usadas para processar dados de streaming de forma eficaz. O Atlas Stream Processing fornece dois operadores de janela: $tblingWindow e $hoppingWindow. Neste tutorial, exploraremos ambos os operadores usando o gerador de dados solar de amostra fornecido no Atlas Stream Processing.
Antes de começarmos a criar processadores de fluxo, verifique se você tem um usuário do bancode dados que tenha acesso "atlasAdmin " ao Atlas. Além disso, se você ainda não tiver uma Instância de Atlas Stream Processing criada com uma conexão com o gerador de dados sample_stream_solar, siga as instruções em Introdução ao Atlas Stream Processing: Criando Seu Primeiro Processador de Stream e continue.
Primeiro, confirme se sample_stream_solar foi adicionado como uma conexão, emitindo
sp.listConnections().
Em seguida, vamos definir um estágio$source para descrever de onde o Atlas Stream Processing lerá os dados de stream.
Em seguida, emita um comando.process para visualizar o conteúdo do stream no console.
Você verá o fluxo de dados solar impresso no console. Uma amostra desses dados é a seguinte:
Uma janela em cascata é uma janela de tamanho fixo que avança no tempo em intervalos regulares. No Atlas Stream Processing, você usa o operador$tumblingWindow. Neste exemplo, vamos usar o operador para calcular a média de watts em intervalos de um minuto.
Consulte novamente o esquema a partir dos dados solar do fluxo de amostra. Para criar uma janela caída, vamos criar uma variável e definir nosso estágio de janela caída.
Estamos calculando o valor máximo e a média ao longo de intervalos não sobrepostos de um minuto. Vamos usar o comando
.process para executar a query de streaming em primeiro plano e ver nossos resultados no console.Aqui está um exemplo de saída da declaração:
O pipeline usado em uma função de janela pode incluir estágios de bloqueio e estágios sem bloqueio.
Operadores de acumuladores, como
$avg, $count, $sorte $limit, podem ser usados em estágios de bloqueio. Dados significativos retornados desses operadores são obtidos quando executados em uma série de dados em comparação com um único ponto de dados. É por isso que eles são considerados bloqueadores.Os estágios sem bloqueio não exigem que vários pontos de dados sejam significativos e incluem operadores como
$addFields, $match, $project, $set, $unsete $unwind, para citar alguns. Você pode usar o não bloqueio antes, depois ou dentro dos estágios de bloqueio. Para ilustrar isso, vamos criar uma consulta que mostre a média, o máximo e o delta (a diferença entre o máximo e a média). Usaremos um $match sem bloqueio para mostrar apenas os resultados de device_1, calcularemos o tumblingWindow mostrando máximo e média e, em seguida, incluiremos outro$addFieldssem bloqueio .Agora podemos usar o arquivo .process comando para executar o processador de fluxo em primeiro plano e visualizar nossos resultados no console.
Os resultados desta consulta serão semelhantes aos seguintes:
Observe os segmentos de tempo e como eles se alinham a cada minuto.
Além disso, observe que a saída inclui a diferença entre os valores calculados de máximo e médio para cada janela.
Uma janela de salto, às vezes chamada de janela deslizante, é uma janela de tamanho fixo que avança no tempo em intervalos sobrepostos. No Atlas Stream Processing, você usa o operador
$hoppingWindow . Neste exemplo, vamos usar o operador para ver a média.Para ajudar a ilustrar os segmentos de horário de início e término, vamos criar um filtro para retornar apenas device_1.
Agora, vamos emitir o comando
.processpara visualizar os resultados no console.Um exemplo de resultado é o seguinte:
Observe os segmentos de tempo.
Os segmentos de tempo são sobrepostos em 30 segundos, conforme definido pela opção hopSize. As Windows de salto são úteis para capturar padrões de curto prazo nos dados.
Ao processar dados continuamente dentro de janelas de tempo, você pode gerar insights e métricas em tempo real, que podem ser cruciais para aplicativos como monitoramento, detecção de fraudes e análise operacional. O Atlas Stream Processing fornece operadores de janela de queda e salto. Juntos, esses operadores permitem que você execute várias operações de agregação, como soma, média, mínimo e máximo, em uma janela específica de dados. Neste tutorial, você aprendeu a usar esses dois operadores com dados de amostra solar.
Confira a publicação no blog doMongoDB Atlas Stream Processing . Para saber mais sobre operadores de janela no Atlas Stream Processing, saiba mais em nossa documentação.
Faça login hoje mesmo para começar. O Atlas Stream Processing está disponível para todos os desenvolvedores no Atlas. Experimente hoje mesmo!