Crie um aplicativo resiliente com o MongoDB Atlas
Nesta página
Você pode configurar os recursos de seus sistemas do MongoDB e as bibliotecas de drivers para criar um aplicativo resiliente que possa resistir a interrupções de rede e eventos de failover. Para escrever código de aplicativo que aproveite ao máximo os recursos sempre ativos do MongoDB Atlas, você deve executar as seguintes tarefas:
Instale os drivers mais recentes.
Utilize a cadeia de conexão fornecida pelo Atlas.
Use leituras e gravações repetíveis.
Use uma write concern
majority
e uma write concern que faça sentido para seu aplicativo.Lide com erros em seu aplicativo.
Instale os drivers mais recentes
Primeiro, instale os drivers mais recentes para seu idioma em MongoDBDrivers. Os drivers conectam e retransmitem queries da sua aplicação para o seu banco de dados. O uso dos drivers mais recentes ativa os recursos mais recentes do MongoDB.
Em seguida, em seu aplicativo, importe a dependência:
Se você estiver usando o Maven, adicione o seguinte à sua pom.xml
lista de dependências do :
<dependencies> <dependency> <groupId>org.mongodb</groupId> <artifactId>mongodb-driver-sync</artifactId> <version>4.0.1</version> </dependency> </dependencies>
Se você estiver usando o Gradle, adicione o seguinte à sua lista de dependências build.gradle
:
dependencies { compile 'org.mongodb:mongodb-driver-sync:4.0.1' }
// Latest 'mongodb' version installed with npm const MongoClient = require('mongodb').MongoClient;
# Install the latest 'pymongo' version with pip and # import MongoClient from the package to establish a connection. from pymongo import MongoClient
Cadeias de conexão
Observação
O Atlas fornece uma cadeia de conexão pré-configurada. Para ver as etapas para copiar a string pré-configurada, consulte Cadeias de conexão fornecidas pelo Atlas.
Utilize uma cadeia de conexão que especifica todos os nós no seu cluster do Atlas para conectar seu aplicativo ao seu banco de dados. Se o cluster executar uma eleição de conjunto de réplicas e um novo primário for eleito, uma cadeia de conexão que especifica todos os nós no cluster descobrirá o novo primário sem lógica de aplicativo.
Você pode especificar todos os nós em seu cluster usando:
o formato de conexão DNS Seedlist (recomendado com o Atlas).
A cadeia de conexão também pode especificar opções, principalmente retryWrites e writeConcern.
O Atlas pode gerar uma cadeia de conexãoSRV otimizada para clusters fragmentados usando os balanceadores de carga do seu serviço de pontos de extremidade privados. Quando você utiliza uma cadeia de conexão otimizada, o Atlas limita o número de conexões por mongos
entre seu aplicativo e seu cluster fragmentado. As conexões limitadas por mongos
melhoram o desempenho durante picos nas contagens de conexões.
Observação
O Atlas não é compatível com cadeias de conexão otimizadas para clusters executados no Google Cloud ou no Azure.
Para saber mais sobre cconnection strings otimizadas para clusters fragmentados por trás de um endpoint privado, consulte Melhorar o desempenho da conexão dos clusters fragmentados por trás de um endpoint privado.
Cadeias de conexão fornecidas pelo Atlas
Se você copiar a cadeia de conexão da interface do cluster do Atlas, a cadeia de conexão será pré-configurada para o cluster, usará o formato DNS Seedlist e incluirá as opções recomendadas de retryWrites
e w
(preocupação de gravação) para resiliência.
Para copiar o URI da cadeia de conexão do Atlas:
No Atlas, acesse a Clusters página do seu projeto.
Se ainda não estiver exibido, selecione a organização que contém o projeto desejado no Menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione o projeto desejado no menu Projects na barra de navegação.
Se a página Clusters ainda não estiver exibida, clique em Database na barra lateral.
A página Clusters é exibida.
Copie o URI da connection string.
Copie a cadeia de conexão ou o exemplo completo do driver no código do seu aplicativo. Você deve fornecer as credenciais de usuário do banco de dados.
Observação
Este guia usa a autenticação SCRAM por meio de uma connection string. Para saber mais sobre como usar certificados X.509 para autenticar, consulte X.509.
Use sua cadeia de conexão para instanciar um cliente MongoDB em seu aplicativo:
// Copy the connection string provided by Atlas String uri = <your Atlas connection string>; // Instantiate the MongoDB client with the URI MongoClient client = MongoClients.create(uri);
// Copy the connection string provided by Atlas const uri = <your Atlas connection string>; // Instantiate the MongoDB client with the URI const client = new MongoClient(uri, { useNewUrlParser: true, useUnifiedTopology: true });
# Copy the connection string provided by Atlas uri = <your Atlas connection string> # Pass your connection string URI to the MongoClient constructor client = MongoClient(uri)
Escrituras e leituras retráteis
Observação
A partir da versão 4.0 do MongoDB e com drivers compatíveis com4.2, o MongoDB tenta novamente gravações e leituras uma vez por padrão.
Gravações repetíveis
Use gravações repetíveis para repetir determinadas operações de gravação uma única vez se elas falharem. Se você copiou sua connection string do Atlas, ela incluirá "retryWrites=true"
. Se você estiver fornecendo sua própria connection string, inclua "retryWrites=true"
como um parâmetro de query.
Repetir gravações exatamente uma vez é a melhor estratégia para lidar com erros transitórios de rede e eleições de conjunto de réplicas nas quais o aplicativo não consegue encontrar temporariamente um nó primário íntegro. Se a nova tentativa for bem-sucedida, a operação como um todo será bem-sucedida e nenhum erro será retornado. Se a operação falhar, provavelmente será devido a:
Um erro de rede duradouro
Um comando inválido
Quando uma operação falha, seu aplicativo precisa lidar com o próprio erro.
Leituras repetíveis
As operações de leitura são automaticamente repetidas uma única vez se falharem a partir da versão 4.0 do MongoDB e com motores compatíveis com4.2. Nenhuma configuração adicional é necessária para tentar ler novamente.
Escreva e leia a preocupação
Você pode ajustar a constância e a disponibilidade do seu aplicativo usando write concern e read concern. Preocupações mais rigorosas implicam que as operações de banco de dados aguardam por garantias mais fortes de consistência de dados, enquanto o afrouxamento dos requisitos de consistência fornece maior disponibilidade.
Exemplo
Se a sua aplicação lida com saldos monetários, a consistência é extremamente importante. Você pode usar majority
preocupações de gravação e leitura para garantir que nunca leia dados obsoletos ou dados que possam ser revertidos.
Como alternativa, se o aplicativo registrar dados de temperatura de centenas de sensores a cada segundo, talvez você não esteja preocupado se ler os dados que não incluem as leituras mais recentes. Você pode perder os requisitos de consistência e fornecer acesso mais rápido a esses dados.
Escreva preocupação
Você pode configurar o nível de write concern do seu conjunto de réplicas do Atlas configurado através da URI da connection string. Utilize uma write concern do majority
para garantir que seus dados sejam gravados com sucesso no seu banco de dados e persistam. Esse é o padrão recomendado e suficiente para a maioria dos casos de uso. Se você copiou sua connection string do Atlas, ela incluirá "w=majority"
.
Quando você usa uma write concern que exige confirmação, como majority
, também pode especificar um limite de tempo máximo para que as gravações atinjam esse nível de confirmação:
O parâmetro de cadeia de conexão wtimeoutMS para todas as gravações, ou
A opção tempo-limite para uma única operação de gravação.
Se você utiliza ou não um limite de tempo e o valor que você utiliza depende do contexto do seu aplicativo.
Importante
Se você não especificar um limite de tempo para gravações e o nível de write concern for inatingível, a operação de gravação travará indefinidamente.
Preocupação de leitura
Você pode definir o nível de preocupação de leitura do conjunto de réplicas do Atlas por meio do URI da cadeia de conexão. A preocupação de leitura ideal depende dos requisitos do aplicativo, mas o padrão é suficiente para a maioria dos casos de uso. Não é necessário nenhum parâmetro de cadeia de conexão para utilizar as preocupações de leitura padrão.
Especificar uma questão de leitura pode melhorar as garantias em torno dos dados que a sua aplicação recebe do Atlas.
Observação
A combinação específica de write concern e read concern que seu aplicativo usa afeta as garantias de ordem de operação. Isso é chamado de consistência causal. Para obter mais informações sobre garantias de consistência causal, consulte Consistência causal e read and write concern.
Tratamento de erros
Comandos inválidos, interrupções de rede e erros de rede que não são tratados por gravações repetíveis retornam erros. Consulte a documentação da API do seu driver para obter detalhes sobre o erro.
Por exemplo, se um aplicativo tentar inserir um documento que contém um valor _id
que já é utilizado na coleção do banco de dados, seu driver retornará um erro que inclui:
Unable to insert due to an error: com.mongodb.MongoWriteException: E11000 duplicate key error collection: <db>.<collection> ...
{ "name": : "MongoError", "message": "E11000 duplicate key error collection on: <db>.<collection> ... ", ... }
pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: <db>.<collection> ...
Sem o tratamento adequado de erros, um erro pode bloquear seu aplicativo de processar solicitações até que ele seja reiniciado.
Seu aplicativo deve lidar com erros sem travamentos ou efeitos colaterais. No exemplo anterior de um aplicativo inserindo um _id
duplicado em uma coleção, este aplicativo pode lidar com erros como segue:
// Declare a logger instance from java.util.logging.Logger private static final Logger LOGGER = ... ... try { InsertOneResult result = collection.insertOne(new Document() .append("_id", 1) .append("body", "I'm a goofball trying to insert a duplicate _id")); // Everything is OK LOGGER.info("Inserted document id: " + result.getInsertedId()); // Refer to the API documentation for specific exceptions to catch } catch (MongoException me) { // Report the error LOGGER.severe("Failed due to an error: " + me); }
... collection.insertOne({ _id: 1, body: "I'm a goofball trying to insert a duplicate _id" }) .then(result => { response.sendStatus(200) // send "OK" message to the client }, err => { response.sendStatus(400); // send "Bad Request" message to the client });
... try: collection.insert_one({ "_id": 1, "body": "I'm a goofball trying to insert a duplicate _id" }) return {"message": "User successfully added!"} except pymongo.errors.DuplicateKeyError as e: print ("The insert operation failed:", e)
A operação de inserção neste exemplo gera um erro "duplicate key" na segunda vez em que é invocada porque o campo _id
deve ser exclusivo. O erro é detectado, o cliente é notificado e o aplicativo continua em execução. No entanto, a operação de inserção falha e cabe a você decidir se deseja mostrar uma mensagem ao usuário, repetir a operação ou fazer outra coisa.
Você deve sempre registrar erros. Estratégias comuns para erros de processamento adicionais incluem:
Devolva o erro ao cliente com uma mensagem de erro. Essa é uma boa estratégia quando você não consegue resolver o erro e precisa informar ao usuário que uma ação não pode ser concluída.
Escreva em um banco de dados de cópia de segurança. Essa é uma boa estratégia quando você não consegue resolver o erro, mas não quer correr o risco de perder os dados da solicitação.
Tente novamente a operação além da tentativa única padrão. Essa é uma boa estratégia quando você pode resolver a causa de um erro programaticamente e, em seguida, tentar novamente.
Você deve selecionar as melhores estratégias para o contexto do seu aplicativo.
Exemplo
No exemplo de um erro de chave duplicada, você deve registrar o erro, mas não repetir a operação porque ela nunca terá êxito. Em vez disso, você pode gravar em um banco de dados de fallback e revisar o conteúdo desse banco de dados posteriormente para garantir que nenhuma informação seja perdida. O usuário não precisa fazer mais nada e os dados são gravados, então você pode optar por não enviar uma mensagem de erro para o cliente.
Planejamento de erros de rede
Retornar um erro pode ser um comportamento desejável quando uma operação travaria indefinidamente e bloquearia seu aplicativo de executar novas operações. Você pode usar o método maxTimeMS para colocar um limite de tempo em operações individuais, retornando um erro para que seu aplicativo manipule se esse limite de tempo for excedido.
O limite de tempo que você coloca em cada operação depende do contexto desta operação.
Exemplo
Se sua aplicação ler e exibir informações simples do produto de uma coleção inventory
, você poderá ter certeza razoável de que essas operações de leitura levam apenas um momento. Uma query de execução incomumente longa é um bom indicador de que há um problema de rede duradouro. Definir maxTimeMS
nessa operação para 5000, ou 5 segundos, significa que seu aplicativo recebe comentários assim que você tiver certeza de que há um problema de rede.
Testar failover
No espírito dos testes de caos, o Atlas realizará eleições de conjunto de réplicas automaticamente para manutenção periódica e certas alterações de configuração.
Para verificar se seu aplicativo é resiliente às eleições de conjunto de réplicas, teste o processo de failover simulando um evento de failover.
Aplicação de exemplo resiliente
O aplicativo de exemplo reúne as seguintes recomendações para garantir a resiliência contra interrupções de rede e eventos de failover:
Use a cadeia de conexão fornecida pelo Atlas com gravações repetíveis, preocupação de gravação majoritária e preocupação de leitura padrão.
Especifique um limite de optime com o método maxTimeMS . Para obter instruções sobre como configurar o
maxTimeMS
, consulte sua Documentação do Driverespecífica.Lidar com erros de chaves duplicadas e tempos-limite.
O aplicativo é uma API HTTP que permite aos clientes criar ou listar registros de usuário. Ele expõe um endpoint que aceita solicitações GET e POST http://localhost:3000:
Método | Endpoint | Descrição |
---|---|---|
GET | /users | Obtém uma lista de nomes de usuário de uma coleção do users . |
POST | /users | Exige um name no corpo da solicitação. Adiciona um novo usuário a uma coleção users . |
Observação
1 // File: App.java 2 3 import java.util.Map; 4 import java.util.logging.Logger; 5 6 import org.bson.Document; 7 import org.json.JSONArray; 8 9 import com.mongodb.MongoException; 10 import com.mongodb.client.MongoClient; 11 import com.mongodb.client.MongoClients; 12 import com.mongodb.client.MongoCollection; 13 import com.mongodb.client.MongoDatabase; 14 15 import fi.iki.elonen.NanoHTTPD; 16 17 public class App extends NanoHTTPD { 18 private static final Logger LOGGER = Logger.getLogger(App.class.getName()); 19 20 static int port = 3000; 21 static MongoClient client = null; 22 23 public App() throws Exception { 24 super(port); 25 26 // Replace the uri string with your MongoDB deployment's connection string 27 String uri = "<atlas-connection-string>"; 28 client = MongoClients.create(uri); 29 30 start(NanoHTTPD.SOCKET_READ_TIMEOUT, false); 31 LOGGER.info("\nStarted the server: http://localhost:" + port + "/ \n"); 32 } 33 34 public static void main(String[] args) { 35 try { 36 new App(); 37 } catch (Exception e) { 38 LOGGER.severe("Couldn't start server:\n" + e); 39 } 40 } 41 42 43 public Response serve(IHTTPSession session) { 44 StringBuilder msg = new StringBuilder(); 45 Map<String, String> params = session.getParms(); 46 47 Method reqMethod = session.getMethod(); 48 String uri = session.getUri(); 49 50 if (Method.GET == reqMethod) { 51 if (uri.equals("/")) { 52 msg.append("Welcome to my API!"); 53 } else if (uri.equals("/users")) { 54 msg.append(listUsers(client)); 55 } else { 56 msg.append("Unrecognized URI: ").append(uri); 57 } 58 } else if (Method.POST == reqMethod) { 59 try { 60 String name = params.get("name"); 61 if (name == null) { 62 throw new Exception("Unable to process POST request: 'name' parameter required"); 63 } else { 64 insertUser(client, name); 65 msg.append("User successfully added!"); 66 } 67 } catch (Exception e) { 68 msg.append(e); 69 } 70 } 71 72 return newFixedLengthResponse(msg.toString()); 73 } 74 75 static String listUsers(MongoClient client) { 76 MongoDatabase database = client.getDatabase("test"); 77 MongoCollection<Document> collection = database.getCollection("users"); 78 79 final JSONArray jsonResults = new JSONArray(); 80 collection.find().forEach((result) -> jsonResults.put(result.toJson())); 81 82 return jsonResults.toString(); 83 } 84 85 static String insertUser(MongoClient client, String name) throws MongoException { 86 MongoDatabase database = client.getDatabase("test"); 87 MongoCollection<Document> collection = database.getCollection("users"); 88 89 collection.insertOne(new Document().append("name", name)); 90 return "Successfully inserted user: " + name; 91 } 92 }
Observação
O aplicativo de servidor a seguir usa o Express, que você precisa adicionar ao seu projeto como uma dependência antes de executá-lo.
1 const express = require('express'); 2 const bodyParser = require('body-parser'); 3 4 // Use the latest drivers by installing & importing them 5 const MongoClient = require('mongodb').MongoClient; 6 7 const app = express(); 8 app.use(bodyParser.json()); 9 app.use(bodyParser.urlencoded({ extended: true })); 10 11 const uri = "mongodb+srv://<db_username>:<db_password>@cluster0-111xx.mongodb.net/test?retryWrites=true&w=majority"; 12 13 const client = new MongoClient(uri, { 14 useNewUrlParser: true, 15 useUnifiedTopology: true 16 }); 17 18 // ----- API routes ----- // 19 app.get('/', (req, res) => res.send('Welcome to my API!')); 20 21 app.get('/users', (req, res) => { 22 const collection = client.db("test").collection("users"); 23 24 collection 25 .find({}) 26 .maxTimeMS(5000) 27 .toArray((err, data) => { 28 if (err) { 29 res.send("The request has timed out. Please check your connection and try again."); 30 } 31 return res.json(data); 32 }); 33 }); 34 35 app.post('/users', (req, res) => { 36 const collection = client.db("test").collection("users"); 37 collection.insertOne({ name: req.body.name }) 38 .then(result => { 39 res.send("User successfully added!"); 40 }, err => { 41 res.send("An application error has occurred. Please try again."); 42 }) 43 }); 44 // ----- End of API routes ----- // 45 46 app.listen(3000, () => { 47 console.log(`Listening on port 3000.`); 48 client.connect(err => { 49 if (err) { 50 console.log("Not connected: ", err); 51 process.exit(0); 52 } 53 console.log('Connected.'); 54 }); 55 });
Observação
O seguinte aplicativo da web usa FastAPI. Para criar um novo aplicativo, use o arquivo de amostra da FastAPI estrutura.
1 # File: main.py 2 3 from fastapi import FastAPI, Body, Request, Response, HTTPException, status 4 from fastapi.encoders import jsonable_encoder 5 6 from typing import List 7 from models import User 8 9 import pymongo 10 from pymongo import MongoClient 11 from pymongo import errors 12 13 # Replace the uri string with your |service| connection string 14 uri = "<atlas-connection-string>" 15 db = "test" 16 17 app = FastAPI() 18 19 20 def startup_db_client(): 21 app.mongodb_client = MongoClient(uri) 22 app.database = app.mongodb_client[db] 23 24 25 def shutdown_db_client(): 26 app.mongodb_client.close() 27 28 ##### API ROUTES ##### 29 30 def list_users(request: Request): 31 try: 32 users = list(request.app.database["users"].find().max_time_ms(5000)) 33 return users 34 except pymongo.errors.ExecutionTimeout: 35 raise HTTPException(status_code=status.HTTP_503_SERVICE_UNAVAILABLE, detail="The request has timed out. Please check your connection and try again.") 36 37 38 def new_user(request: Request, user: User = Body(...)): 39 user = jsonable_encoder(user) 40 try: 41 new_user = request.app.database["users"].insert_one(user) 42 return {"message":"User successfully added!"} 43 except pymongo.errors.DuplicateKeyError: 44 raise HTTPException(status_code=status.HTTP_400_BAD_REQUEST, detail="Could not create user due to existing '_id' value in the collection. Try again with a different '_id' value.")