Pipeline de agregação Java

Maxime Beugnet8 min read • Published Feb 01, 2022 • Updated Mar 01, 2024

MongoDB Framework de agregação Java

Avalie esse Início rápido

Atualizações

O repositório de início rápido do MongoDB Java está disponível no GitHub.

28 de fevereiro de 2024

Atualizar para o Java 21
Atualize o driver Java para 5.0.0
Atualize logback-classic para 1.2.13

14 de novembro de 2023

Atualizar para o Java 17
Atualize o driver Java para 4.11.1
Atualize o mongodb-crypt para 1.8.0

25 de março de 2021

Atualize o driver Java para 4.2.2.
Exemplo de criptografia no nível do campo do lado do cliente adicionado.

21 de outubro de 2020

Atualize o driver Java para 4.1.1.
O registro do driver Java agora está ativado por meio da popular APIJ SLF4, portanto, adicionei logback no pom.xml e um arquivo de configuração logback.xml.

O que é o aggregation pipeline?

O aggregation pipeline é uma framework para agregação de dados modelada sobre o conceito de pipelines de processamento de dados, assim como o "pipe" no Linux Shell. Os documentos entram em um pipeline em vários estágios que transforma os documentos em resultados agregados.

É a maneira mais poderosa de trabalhar com seus dados no MongoDB. Ele nos permitirá fazer queries avançadas, como agrupar documentos, manipular arrays, remodelar modelos de documentos etc.

Vamos ver como podemos coletar esse poder usando Java.

Configuração

Usarei o mesmo repositório de sempre nesta série. Se você ainda não tiver uma cópia dele, poderá cloná-lo ou apenas atualizá-lo, caso já o tenha:

Trecho de código

Se você não configurou seu cluster gratuito no MongoDB Atlas, agora é um ótimo momento para fazê-lo. Você tem todas as instruções nesta postagem do blog.

Primeiro exemplo com zíperes

No Conjunto dedados de amostrado MongoDB no MongoDB Atlas, vamos explorar um pouco a coleção zipsno banco de dadossample_training.

Trecho de código

Como você pode ver, temos um documento para cada código postal nos EUA e, para cada um, temos a população associada.

Para calcular a população de Nova York, eu teria que somar a população de cada código postal para obter a população de toda a cidade.

Vamos tentar encontrar as 3 maiores cidades do estado do Texas. Vamos projetar isso no papel primeiro.

Não preciso trabalhar com a collection inteira. Preciso filtrar apenas as cidades do Texas.
Uma vez feito isso, posso reagrupar todos os códigos postais de uma mesma cidade para obter a população total.
Então, posso ordenar minhas cidades por ordem decrescente ou população.
Finalmente, posso manter as primeiras 3 cidades da minha lista.

A maneira mais fácil de construir este pipeline no MongoDB é usar o construtor de pipeline de agregação que está disponível no MongoDB Compass ou no MongoDB Atlas na guiaCollections .

Depois de fazer isso, você pode exportar seu pipeline para Java usando o botão Exportar.

Após uma pequena refatoração de código, aqui está o que eu tenho:

Trecho de código

O driver do MongoDB oferece muitos ajudantes para tornar o código fácil de escrever e ler.

Como você pode ver, resolvi esse problema com:

Um estágio $match para filtrar meus documentos e manter apenas o código postal no Texas,
Um estágio $group para reagrupar meus códigos postais nas cidades,
Um estágio $project para renomear o campo _id em city para uma saída limpa (não obrigatório, mas sou elegante),
Um estágio $sort para classificar por população decrescente,
Um estágio $limit para manter apenas as 3 cidades mais populosas.

Esta é a saída que obtemos:

Trecho de código

No MongoDB 4.2, existem 30 diferentes aggregation pipeline stages que você pode usar para manipular seus documentos. Se você quiser saber mais, recomendamos que siga este curso na MongoDB University: M121: The MongoDB Aggregation Framework.

Segundo exemplo com publicações

Desta vez, estou usando a collection posts no mesmo banco de dados.

Trecho de código

MongoDB Enterprise Cluster0-shard-0:PRIMARY> db.posts.findOne()
{
 "_id" : ObjectId("50ab0f8bbcf1bfe2536dc3f9"),
 "body" : "Amendment I\nCongress shall make no law respecting an establishment of religion, or prohibiting the free exercise thereof; or abridging the freedom of speech, or of the press; or the right of the people peaceably to assemble, and to petition the Government for a redress of grievances.\n\nAmendment II\n\nA well regulated Militia, being necessary to the security of a free State, the right of the people to keep and bear Arms, shall not be infringed.\n\nAmendment III\n\nNo Soldier shall, in time of peace be quartered in any house, without the consent of the Owner, nor in time of war, but in a manner to be prescribed by law.\n\nAmendment IV\n\nThe right of the people to be secure in their persons, houses, papers, and effects, against unreasonable searches and seizures, shall not be violated, and no Warrants shall issue, but upon probable cause, supported by Oath or affirmation, and particularly describing the place to be searched, and the persons or things to be seized.\n\nAmendment V\n\nNo person shall be held to answer for a capital, or otherwise infamous crime, unless on a presentment or indictment of a Grand Jury, except in cases arising in the land or naval forces, or in the Militia, when in actual service in time of War or public danger; nor shall any person be subject for the same offence to be twice put in jeopardy of life or limb; nor shall be compelled in any criminal case to be a witness against himself, nor be deprived of life, liberty, or property, without due process of law; nor shall private property be taken for public use, without just compensation.\n\n\nAmendment VI\n\nIn all criminal prosecutions, the accused shall enjoy the right to a speedy and public trial, by an impartial jury of the State and district wherein the crime shall have been committed, which district shall have been previously ascertained by law, and to be informed of the nature and cause of the accusation; to be confronted with the witnesses against him; to have compulsory process for obtaining witnesses in his favor, and to have the Assistance of Counsel for his defence.\n\nAmendment VII\n\nIn Suits at common law, where the value in controversy shall exceed twenty dollars, the right of trial by jury shall be preserved, and no fact tried by a jury, shall be otherwise re-examined in any Court of the United States, than according to the rules of the common law.\n\nAmendment VIII\n\nExcessive bail shall not be required, nor excessive fines imposed, nor cruel and unusual punishments inflicted.\n\nAmendment IX\n\nThe enumeration in the Constitution, of certain rights, shall not be construed to deny or disparage others retained by the people.\n\nAmendment X\n\nThe powers not delegated to the United States by the Constitution, nor prohibited by it to the States, are reserved to the States respectively, or to the people.\"\n\n",
 "permalink" : "aRjNnLZkJkTyspAIoRGe",
 "author" : "machine",
 "title" : "Bill of Rights",
 "tags" : [
 "watchmaker",
 "santa",
 "xylophone",
 "math",
 "handsaw",
 "dream",
 "undershirt",
 "dolphin",
 "tanker",
 "action"
 ],
 "comments" : [
 {
 "body" : "Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum",
 "email" : "HvizfYVx@pKvLaagH.com",
 "author" : "Santiago Dollins"
 },
 {
 "body" : "Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum",
 "email" : "glbeRCMi@KwnNwhzl.com",
 "author" : "Omar Bowdoin"
 }
 ],
 "date" : ISODate("2012-11-20T05:05:15.231Z")
}

Esta coleção de postagens 500 foi gerada artificialmente, mas contém matrizes e quero mostrar como podemos manipular matrizes em um pipeline.

Vamos tentar encontrar as três tags mais populares e, para cada tag, também quero a lista de títulos de postagens que eles estão marcando.

Aqui está a minha solução em Java.

Trecho de código

Aqui estou usando o estágio $unwindmuito útil para quebrar minha array de tags.

Ele me permite no estágio $group seguinte agrupar minhas marcações, contar as postagens e coletar os títulos em uma nova array titles.

Aqui está o resultado final que obtive.

Trecho de código

Como você pode ver, alguns títulos são repetidos. Como eu disse anteriormente, a coleção foi gerada então os títulos das postagens não são únicos. Eu poderia resolver esse "problema" usando o operador $addToSet em vez do operador$push se isso fosse realmente um problema.

Código final

Trecho de código

package com.mongodb.quickstart;

import com.mongodb.client.MongoClient;
import com.mongodb.client.MongoClients;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;
import org.bson.conversions.Bson;
import org.bson.json.JsonWriterSettings;

import java.util.ArrayList;
import java.util.List;
import java.util.function.Consumer;

import static com.mongodb.client.model.Accumulators.push;
import static com.mongodb.client.model.Accumulators.sum;
import static com.mongodb.client.model.Aggregates.*;
import static com.mongodb.client.model.Filters.eq;
import static com.mongodb.client.model.Projections.*;
import static com.mongodb.client.model.Sorts.descending;

public class AggregationFramework {

public static void main(String[] args) {
 String connectionString = System.getProperty("mongodb.uri");
 try (MongoClient mongoClient = MongoClients.create(connectionString)) {
 MongoDatabase db = mongoClient.getDatabase("sample_training");
 MongoCollection<Document> zips = db.getCollection("zips");
 MongoCollection<Document> posts = db.getCollection("posts");
 threeMostPopulatedCitiesInTexas(zips);
 threeMostPopularTags(posts);
 }
 }

/**
 * find the 3 most densely populated cities in Texas.
 *
 * @param zips sample_training.zips collection from the MongoDB Sample Dataset in MongoDB Atlas.
 */
 private static void threeMostPopulatedCitiesInTexas(MongoCollection<Document> zips) {
 Bson match = match(eq("state", "TX"));
 Bson group = group("$city", sum("totalPop", "$pop"));
 Bson project = project(fields(excludeId(), include("totalPop"), computed("city", "$_id")));
 Bson sort = sort(descending("totalPop"));
 Bson limit = limit(3);

List<Document> results = zips.aggregate(List.of(match, group, project, sort, limit)).into(new ArrayList<>());
 System.out.println("==> 3 most densely populated cities in Texas");
 results.forEach(printDocuments());
 }

/**
 * find the 3 most popular tags and their post titles
 *
 * @param posts sample_training.posts collection from the MongoDB Sample Dataset in MongoDB Atlas.
 */
 private static void threeMostPopularTags(MongoCollection<Document> posts) {
 Bson unwind = unwind("$tags");
 Bson group = group("$tags", sum("count", 1L), push("titles", "$title"));
 Bson sort = sort(descending("count"));
 Bson limit = limit(3);
 Bson project = project(fields(excludeId(), computed("tag", "$_id"), include("count", "titles")));

List<Document> results = posts.aggregate(List.of(unwind, group, sort, limit, project)).into(new ArrayList<>());
 System.out.println("==> 3 most popular tags and their posts titles");
 results.forEach(printDocuments());
 }

private static Consumer<Document> printDocuments() {
 return doc -> System.out.println(doc.toJson(JsonWriterSettings.builder().indent(true).build()));
 }
}

Encerrando

O pipeline de agregação é muito poderoso. Acabamos de começar com esses dois exemplos, mas confie em mim se eu disser que é seu melhor aliado se você conseguir dominá-lo.

Encorajo você a seguir o curso M121 na MongoDB University para se tornar um jedi de pipeline de agregação.

Se você quiser aprender mais e afundar seu conhecimento com mais rapidez, recomendamos que você confira o treinamento M220J: MongoDB para programadores Java disponível gratuitamente na MongoDB University.

Na próxima postagem do blog, explicarei a você os Change Streams em Java.

Avalie esse Início rápido

Relacionado

Tutorial

Introdução à paginação de dados com o Quarkus e o MongoDB: um tutorial abrangente

Apr 25, 2024 | 7 min read

Tutorial

Crie uma Java REST API com Quarkus e Eclipse JNoSQL para MongoDB

Jan 30, 2024 | 6 min read

Tutorial

Como Migrar PostgreSQL para MongoDB com Confluent Kafka

Aug 30, 2024 | 10 min read

Tutorial

Como migrar do Realm Java SDK para o Realm Kotlin SDK

May 09, 2022 | 5 min read