Tokenizadores

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite edgegramExample no campo Analyzer Name.

4. Expanda Tokenizer se estiver recolhido.

5. Selecione edgeGram no menu suspenso e digite o valor para os seguintes campos:

   Campo	Valor
   minGram	2
   maxGram	7

6. Clique em Add para adicionar o analisador personalizado ao seu índice.

7. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo mensagem.

8. Selecione a mensagem na lista suspensa Field Name e Cadeia de caracteres na lista suspensa Data Type .

9. Na seção de propriedades do tipo de dados, selecione edgegramExample nos menus suspensos Index Analyzer e Search Analyzer.

10. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "edgegramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "edgegramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 7,
        "minGram": 2,
        "type": "edgeGram"
      }
    }
  ]
}

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite keywordExample no campo Analyzer Name.

4. Expanda Tokenizer se estiver recolhido.

5. Selecione keyword no menu suspenso.

6. Clique em Add para adicionar o analisador personalizado ao seu índice.

7. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo mensagem.

8. Selecione a mensagem na lista suspensa Field Name e Cadeia de caracteres na lista suspensa Data Type .

9. Na seção de propriedades do tipo de dados, selecione keywordExample nos menus suspensos Index Analyzer e Search Analyzer.

10. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "keywordExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "keywordExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "keyword"
      }
    }
  ]
}

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite ngramExample no campo Analyzer Name.

4. Expanda Tokenizer se estiver recolhido.

5. Selecione nGram no menu suspenso e digite o valor para os seguintes campos:

   Campo	Valor
   minGram	4
   maxGram	6

6. Clique em Add para adicionar o analisador personalizado ao seu índice.

7. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo título.

8. Selecione título no menu suspenso Field Name e Cadeia de caracteres no menu suspenso Data Type.

9. Na seção de propriedades do tipo de dados, selecione ngramExample nos menus suspensos Index Analyzer e Search Analyzer.

10. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "title": {
        "analyzer": "ngramExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "ngramExample",
      "tokenFilters": [],
      "tokenizer": {
        "maxGram": 6,
        "minGram": 4,
        "type": "nGram"
      }
    }
  ]
}

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite phoneNumberExtractor no campo Analyzer Name.

4. Expanda Character Filters e clique em Add character filter.

5. Selecione mapping no menu suspenso e clique em Add mapping.

6. Insira os seguintes caracteres no campo Original, um de cada vez e deixe o campo Replacement correspondente vazio.

   Original	Substituição
   -
   .
   (
   )

7. Clique em Add character filter.

8. Expanda Tokenizer se estiver recolhido.

9. Selecione regexCaptureGroup no menu suspenso e digite o valor para os seguintes campos:

   Campo	Valor
   pattern	^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$
   group	0

10. Clique em Add para adicionar o analisador personalizado ao seu índice.

11. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo page_updated_by.phone.

12. Selecione page_updated_by.phone no menu suspenso Field Name e String no menu suspenso Data Type.

13. Na seção de propriedades do tipo de dados, selecione phoneNumberExtractor nos menus suspensos Index Analyzer e Search Analyzer.

14. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "phoneNumberExtractor",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [
        {
          "mappings": {
            " ": "-",
            "(": "",
            ")": "",
            ".": "-"
          },
          "type": "mapping"
        }
      ],
      "name": "phoneNumberExtractor",
      "tokenFilters": [],
      "tokenizer": {
        "group": 0,
        "pattern": "^\\b\\d{3}[-]?\\d{3}[-]?\\d{4}\\b$",
        "type": "regexCaptureGroup"
        }
    }
  ]
}

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite dashDotSpaceSplitter no campo Analyzer Name.

4. Expanda Tokenizer se estiver recolhido.

5. Selecione regexSplit no menu suspenso e digite o valor para o seguinte campo:

   Campo	Valor
   pattern	[-. ]+

6. Clique em Add para adicionar o analisador personalizado ao seu índice.

7. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo page_updated_by.phone.

8. Selecione page_updated_by.phone no menu suspenso Field Name e String no menu suspenso Data Type.

9. Na seção de propriedades do tipo de dados, selecione dashDotSpaceSplitter nos menus suspensos Index Analyzer e Search Analyzer.

10. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "page_updated_by": {
        "fields": {
          "phone": {
            "analyzer": "dashDotSpaceSplitter",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "dashDotSpaceSplitter",
      "tokenFilters": [],
      "tokenizer": {
        "pattern": "[-. ]+",
        "type": "regexSplit"
      }
    }
  ]
}

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite standardExample no campo Analyzer Name.

4. Expanda Tokenizer se estiver recolhido.

5. Selecione standard no menu suspenso.

6. Clique em Add para adicionar o analisador personalizado ao seu índice.

7. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo mensagem.

8. Selecione a mensagem na lista suspensa Field Name e Cadeia de caracteres na lista suspensa Data Type .

9. Na seção de propriedades do tipo de dados, selecione standardExample nos menus suspensos Index Analyzer e Search Analyzer.

10. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "standardExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "standardExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "standard"
      }
    }
  ]
}

A definição de índice a seguir indexa o field page_updated_by.email na collection minutes usando um analyzer customizado chamado basicEmailAddressAnalyzer. Ele usa o tokenizador uaxUrlEmail para criar tokens (termos pesquisáveis) a partir de URLse endereços de e-mail no campo page_updated_by.email.

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "basicEmailAddressAnalyzer",
            "type": "string"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "basicEmailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

A query a seguir procura o campo page_updated_by.email na collection minutes para o email lewinsky@example.com.

db.minutes.aggregate([
  {
    "$search": {
      "text": {
        "query": "lewinsky@example.com",
        "path": "page_updated_by.email"
      }
    }
  },
  {
    "$project": {
      "_id": 1,
      "page_updated_by.email": 1
    }
  }
])

{ _id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

O Atlas Search retorna o documento com _id: 3 nos resultados, pois o Atlas Search criou um token com o valor lewinsky@example.com utilizando o tokenizador uaxUrlEmail para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo page_updated_by.email utilizando o tokenizador standard , o Atlas Search retornará todos os documentos para o termo de pesquisa lewinsky@example.com.

A tabela a seguir mostra os tokens que o tokenizador uaxUrlEmail e, em comparação, o tokenizador standard, criam para o documento com _id: 3:

A seguinte definição de índice indexa o campo page_updated_by.email na coleção minutes utilizando um analisador personalizado denominado emailAddressAnalyzer. Ele usa:

• O tipo autocomplete com uma estratégia de tokenização edgeGram

• O tokenizador uaxUrlEmail para criar tokens (termos pesquisáveis) a partir de URLse endereços de e-mail

{
  "mappings": {
    "fields": {
      "page_updated_by": {
        "fields": {
          "email": {
            "analyzer": "emailAddressAnalyzer",
            "tokenization": "edgeGram",
            "type": "autocomplete"
          }
        },
        "type": "document"
      }
    }
  },
  "analyzers": [
    {
      "name": "emailAddressAnalyzer",
      "tokenizer": {
        "type": "uaxUrlEmail"
      }
    }
  ]
}

A query a seguir pesquisa o termo exam no campo page_updated_by.email na coleção minutes.

db.minutes.aggregate([
  {
    "$search": {
      "autocomplete": {
        "query": "lewinsky@example.com",
        "path": "page_updated_by.email"
      }
    }
  },
  {
    "$project": {
      "_id": 1,
      "page_updated_by.email": 1
    }
  }
])

_id: 3, page_updated_by: { email: 'lewinsky@example.com' } }

O Atlas Search retorna o documento com _id: 3 nos resultados, pois o Atlas Search criou um token com o valor lewinsky@example.com utilizando o tokenizador uaxUrlEmail para os documentos, que corresponde ao termo de pesquisa. Se você indexar o campo page_updated_by.email utilizando o tokenizador standard , o Atlas Search retornará todos os documentos para o termo de pesquisa lewinsky@example.com.

A tabela a seguir mostra os tokens que o tokenizador uaxUrlEmail e, em comparação, o tokenizador standard, criam para o documento com _id: 3:

1. Na seção Custom Analyzers, clique em Add Custom Analyzer.

2. Selecione o botão de opção Create Your Own e clique em Next.

3. Digite whitespaceExample no campo Analyzer Name.

4. Expanda Tokenizer se estiver recolhido.

5. Selecione whitespace no menu suspenso.

6. Clique em Add para adicionar o analisador personalizado ao seu índice.

7. Na seção Field Mappings, clique em Add Field Mapping para aplicar o analisador personalizado no campo mensagem.

8. Selecione a mensagem na lista suspensa Field Name e Cadeia de caracteres na lista suspensa Data Type .

9. Na seção de propriedades do tipo de dados, selecione whitespaceExample nos menus suspensos Index Analyzer e Search Analyzer.

10. Clique em Add e depois em Save Changes.

Substitua a definição de índice padrão pelo seguinte:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "message": {
        "analyzer": "whitespaceExample",
        "type": "string"
      }
    }
  },
  "analyzers": [
    {
      "charFilters": [],
      "name": "whitespaceExample",
      "tokenFilters": [],
      "tokenizer": {
        "type": "whitespace"
      }
    }
  ]
}