Impressione-se: sinônimos no Atlas Search
Nic Raboy, Anaiya Raisinghani9 min read • Published Aug 03, 2021 • Updated Feb 27, 2023
Avalie esse Tutorial
Às vezes, a palavra que você procura está na ponta da linguagem, mas você não consegue entegiá-la. Por exemplo, quando você estiver tentando encontrar um tuíte muito engraçado que viu na noite passada para mostrar aos seus amigos. Se você está lendo isso e esperando: "Uau, Anaiya e Nic, você está tão certo. Eu gostaria que tivesse uma correção para isso", prepare-se! Temos a solução ideal para aqueles dias em que suas capacidades linguísticas precisas falham, mas você tem uma ideia do que está procurando: Sinônimos no Atlas Search.
Neste tutorial, mostraremos como indexar uma collection MongoDB para capturar pesquisas de palavras que significam coisas semelhantes. Para obter detalhes específicos, vamos pesquisar conteúdo escrito com gíria da Geração Z (Gen-Z). A gíria será mapeada para palavras comuns com sinônimos e, como resultado, você terá uma rápida lição da Geração Z sem precisar abrir o TikTok.
Se você estiver com disponibilidade para aprender algumas palavras novas, além de como mapeamentos de sinônimos podem ser integrados sem esforço ao Atlas Search, este é o tutorial para você.
Existem alguns requisitos que devem ser atendidos para ter sucesso com este tutorial:
- Cluster do MongoDB Atlas M0 (ou superior) executando o MongoDB versão 4.4 (ou superior)
- Node.js
- Uma conta de programador do Twitter
Usaremos o Node.js para carregar nossos dados do Twitter, mas é necessária uma conta de programador do Twitter para acessar as APIs que contêm os Tuítes.
Antes de iniciar esta seção do tutorial, você precisará ter sua Chave de API do Twitter e Segredo de API à mão. Ambos podem ser gerados no Portal do Desenvolvedor do Twitter.
A ideia é armazenar vários tweets no MongoDB que contenham gírias da Geração Z que, posteriormente, possamos entender usando o Atlas Search e sinônimos definidos corretamente. Cada tweet será armazenado como um único documento no MongoDB e terá a seguinte aparência:
O document model acima é mais bizarro do que precisamos. Na verdade, só vamos estar atentos ao campo
full_text, mas ainda é útil saber o que existe para qualquer tuíte.Agora que sabemos como será o document model, só precisamos consumi-lo pelo Twitter.
Vamos usar duas diferentes API do Twitter com nossa chave de API e segredo de API. A primeira API é a API de autenticação e ela nos fornecerá nosso token de acesso. Com o token de acesso, podemos obter dados de tuíte com base em uma query do Twitter.
Como estamos usando o Node.js, Precisamos instalar nossas dependências. Em um novo diretório no seu computador, execute os seguintes comandos a partir da linha de comando:
Os comandos acima criarão um novo arquivopackage.json e instalarão o driver Node.js do MongoDB, bem como o Axios para fazer solicitações HTTP.
Dê uma olhada no seguinte código Node.js que pode ser adicionado a um arquivo principal.js dentro do seu projeto:
Há muita coisa acontecendo no código acima, então vamos detalhá-lo. No entanto, antes de detalharmos, é importante observar que estamos usando variáveis de ambiente para muitas informações confidenciais, como tokens, nomes de usuário e senhas. Por motivos de segurança, você realmente não deveria codificar esses valores.
Dentro da função assíncrona, tentamos estabelecer uma conexão com o MongoDB. Se for bem-sucedido, nenhum erro será gerado e fizermos nossa primeira solicitação HTTP.
Mais uma vez, nesta primeira solicitação HTTP, estamos trocando nossa Chave de API e o Segredo da API por um token de acesso a ser usado em solicitações futuras.
Usando o token de acesso da resposta, podemos fazer nossa segunda solicitação para o endpoint da API dos AWS:
O endpoint da API de tweets espera uma consulta específica do Twitter e alguns outros parâmetros opcionais, como o idioma dos tweets ou a contagem esperada de resultados. Você pode verificar o idioma da consulta na documentação do Twitter.
Neste ponto, temos uma série de tweets para trabalhar.
A próxima etapa é escolher o banco de dados e a collection que planejamos usar e inserir a matriz de tweets como documentos. Podemos usar uma operação
insertManysimples como esta:O
insertMany pega um array de objetos, que já temos. Temos uma série de tweets, então cada tweet será inserido como um novo documento no banco de dados.Se você tiver o shell MongoDB à mão, poderá validar os dados inseridos executando o seguinte:
Agora que há dados com os quais trabalhar, podemos começar a pesquisá-los usando sinônimos de gírias.
Embora estejamos usando uma coleção
tweetspara nossos dados pesquisáveis reais, as informações sobre sinônimos precisam existir em uma coleção de origem separada no mesmo banco de dados.Você tem duas opções de como deseja que seus sinônimos sejam mapeados – explícito ou equivalente. Você não está preso em escolher apenas um tipo. Você pode ter uma combinação de documentos explícitos e equivalentes como sinônimos em sua coleção. Escolha o formato explícito para quando você precisar que um conjunto de termos apareça como resultado do termo inserido e escolha equivalente se quiser que todos os termos apareçam bidirecionalmente, independentemente do termo consultado.
Por exemplo, a palavra "basic" significa "regular" ou "chato". Se decidirmos por um mapeamento explícito (unidirecional) para "basic", estamos informando à Atlas Search que, se alguém pesquisar "basic", queremos retornar todos os documentos que incluam as palavras "basic", "regular" e "chato." Mas! Se fizermos query da palavra "regular", não obteremos nenhum documento que inclua "basic" porque "regular" não está explicitamente mapeado para "basic".
Se decidirmos mapear "basic" de forma equivalente a "regular" e "boring," sempre que consultarmos qualquer uma dessas palavras, todos os documentos que contenham "basic," " regular," e "boring" serão exibidos independentemente da palavra inicialmente consultada.
Para saber mais sobre mapeamentos de sinônimos explícitos versus equivalentes, consulte a documentação oficial.
Para nossa demonstração, decidimos tornar todos os nossos sinônimos equivalentes e formatamos nossos dados de sinônimos da seguinte maneira:
Cada objeto na array acima existirá como um documento separado dentro do MongoDB. Cada um desses documentos contém informações para um conjunto específico de sinônimos.
Para inserir seus documentos sinônimos em sua collection MongoDB, você pode usar a função bruta 'insertMany()' do MongoDB para colocar todos os seus documentos na collection de sua escolha.
A linha
use("synonyms");serve para garantir que você esteja no banco de dados correto antes de inserir seus documentos. Estamos usando a coleçãoslang para armazenar nossos sinônimos e ela não precisa existir em nosso banco de dados antes de executarmos a consulta.Depois de ter sua collection de sinônimos à mão e carregada, é hora de criar seu índice de pesquisa! Um índice de pesquisa é crucial porque permite que você use a pesquisa de texto completo para localizar as queries inseridas nessa collection.
Incluímos capturas de tela abaixo de como será a interface de usuário do MongoDB Atlas Search para que você possa acompanhar:
A primeira etapa é clicar na aba "Pesquisar", localizada na página do cluster entre as abas "Collections" e "Profiler".
A segunda etapa é clicar no botão " Criar índice " no canto superior direito ou, se esse for seu primeiro índice, ele estará localizado no meio da página.
Quando chegar a essa página, clique em "Next" e continue até a página em que você nomeará seu Index e configurará tudo!
Clique em "Avançar" e você poderá criar seu próprio índice de pesquisa!
Depois de criar seu índice do Atlas Search, você pode Go a ele e editar sua definição de índice usando o editor JSON para incluir o que precisa. O índice que escrevemos para este tutorial está abaixo:
Vamos executar isso!
Você tem a opção de escolher entre dinâmico e estático para o seu índice do Atlas Search, e isso fica a seu critério. Para encontrar mais informações sobre a diferença entre mapeamentos dinâmicos e estáticos, consulte a documentação.
Esta seção refere-se aos sinônimos associados ao índice de pesquisa. Neste exemplo, estamos dando a esse mapeamento de sinônimos o nome de "gíria" e estamos usando o analisador de índice padrão nos dados de sinônimos, que podem ser encontrados na coleção de gírias.
Nossa próxima etapa é montar a consulta de pesquisa que realmente filtrará sua collection de tweets e encontrar os tweets que você deseja usando sinônimos!
O código que usamos para esta parte está abaixo:
Queremos pesquisar nossos tuítes e encontrar os documentos que contêm sinônimos para nossa query "throw". Este é o documento de sinônimo para "throw":
Lembre-se de incluir o nome do seu índice do Atlas Search anterior (syncsearch). Em seguida, a consulta que estamos especificando é "throw". Isso significa que queremos ver tuítes que incluam "yet", "throw" e "agree" quando executarmos o script.
O 'caminho' representa o campo no qual queremos pesquisar e, nesse caso, estamos pesquisando " throw " somente no campo 'full_text' dos documentos e em nenhum outro campo. Por último, mas não menos importante, queremos usar sinônimos encontrados na collection que chamamos de " slang. "
Com base nessa consulta, todas as correspondências encontradas incluirão o documento inteiro no conjunto de resultados. Para simplificar isso, podemos usar um estágio de agregação
$projectpara especificar os campos nos quais estamos interessados. Isso transforma nossa consulta no seguinte pipeline de agregação:E estes são os nossos resultados!
Assim como queríamos, temos tweets que incluem a palavra "jogar" e a palavra "yeet!"
Fizemos muitas coisas neste tutorial e esperamos que você tenha gostado de acompanhá-lo. Agora, você tem o conhecimento necessário para carregar dados de fontes externas, criar sua lista de sinônimos explícitos ou equivalentes e inseri-la em uma coleção, além de escrever seu próprio script de pesquisa de índice. Os sinônimos podem ser úteis de várias maneiras, não apenas isolados para as gírias da geração Z. Desde descobrir variações regionais (por exemplo, soda = pop) até encontrar erros de digitação que não podem ser facilmente detectados com o preenchimento automático, a incorporação de sinônimos ajudará você a economizar tempo e um dicionário de sinônimos.
O uso de sinônimos no Atlas Search melhorará a funcionalidade de pesquisa do seu aplicativo e permitirá que você encontre os dados que procura, mesmo quando não conseguir colocar o dedo neles.
Se quiser dar uma olhada no código, nas queries e nos índices usados nesta postagem do blog, confira o projeto no GitHub. Se você quiser saber mais sobre sinônimos no Atlas Search, confira a documentação.
Se tiver dúvidas, acesse o site da nossa comunidade de desenvolvedores, no qual os engenheiros e a comunidade do MongoDB ajudarão você a desenvolver sua próxima grande ideia com o MongoDB.
Avalie esse Tutorial