Use o código e tenha 10% de desconto!

Elasticsearch Consumindo dados real-time com ELK

Alexandre Lourenço

Prefácio

 

A explosão dos dados

Vivemos em um mundo dominado por dados. Nunca foram produzidos tantos dados, de maneira tão rápida. Além disso, nunca se produziram tantos dados de maneira não estruturada, ou seja, que não seguem um modelo de estruturação formalizado, por meio do uso dos conhecidos schemas, como um XSD ou uma tabela em um banco de dados tradicional. 

Para termos uma ideia do tamanho da massa de dados que temos em mãos, basta vermos os números de empresas como Twitter, Facebook e Netflix. Tais empresas processam milhões de dados por dia - em 2011, por exemplo, o Twitter publicou em seu blog que seus usuários alcançaram a marca de 200 milhões de tweets por dia! - e precisam de novos modelos para processar essas verdadeiras montanhas de dados, aproveitando-se de conceitos de computação distribuída.

Seguindo esses conceitos, diversas tecnologias foram criadas, como hadoop, spark, splunk, bancos NOSQL etc. Neste livro, abordaremos uma dessas novas ferramentas que permitem o processamento (consulta) de conjuntos massivos de dados textuais em tempo real, o Elasticsearch.

 

Para quem se destina este livro?

Este livro se destina a desenvolvedores que desejam ampliar seus conhecimentos em Elasticsearch e seu ferramental relacionado, cujos casos de uso discutiremos no decorrer do livro. Para melhor aproveitar o livro, o leitor deve possuir algum conhecimento em REST e JSON, visto que as principais interfaces que temos disponíveis para interagir com um cluster Elasticsearch se utilizam desses padrões de comunicação e formato de mensagens. Conhecimento básico da linguagem Java também pode auxiliar no entendimento.

 

Como devo estudar?

 No decorrer do livro, em alguns capítulos teremos hands-on e outros tipos de atividades práticas. Todo o código-fonte dessas atividades se encontra em meu repositório. Convido o leitor a entrar também no Fórum da Casa do Código: http://forum.casadocodigo.com.br

Sumário

  • 1 Introdução
    • 1.1 Conhecendo o Elasticsearch
    • 1.2 Instalação
  • 2 Dissecando a ELK – Logstash
    • 2.1 Criando pipelines de dados
    • 2.2 Construindo nossa API de pedidos
    • 2.3 Começando com o Logstash
    • 2.4 Parseando as informações de log
    • 2.5 Conceitos e outros plugins
    • 2.6 Filtros condicionais
    • 2.7 Conclusão
  • 3 Dissecando a ELK - Elasticsearch
    • 3.1 Montando um cluster de buscas full text
    • 3.2 Integrando as ferramentas
    • 3.3 Entendendo a estrutura interna do Elasticsearch
    • 3.4 Ações do Elasticsearch
    • 3.5 Preparando a massa de testes com o Apache JMeter
    • 3.6 Analisadores e scores de documentos
    • 3.7 Consultas básicas do Elasticsearch
    • 3.8 Plugins
    • 3.9 Conclusão
  • 4 Dissecando a ELK – Kibana
    • 4.1 Desenvolvendo ricas interfaces para os nossos dados de log
    • 4.2 Conhecendo o Kibana
    • 4.3 Instalação do Kibana
    • 4.4 Configurando o Kibana
    • 4.5 Executando o Kibana pela primeira vez
    • 4.6 Aplicações do Kibana
    • 4.7 Conclusão
  • 5 Elasticsearch avançado
    • 5.1 Manutenção de índices
    • 5.2 Manutenção de documentos
    • 5.3 Montando os exercícios práticos
    • 5.4 Realizando consultas parent-child
    • 5.5 Aprofundando em analisadores textuais
    • 5.6 Templates dinâmicos
    • 5.7 Outros modos de consulta do Elasticsearch
    • 5.8 Filtros e cacheamento de queries
    • 5.9 Conclusão
  • 6 Administrando um cluster Elasticsearch
    • 6.1 Montando o cluster
    • 6.2 Descoberta de nós (discovery)
    • 6.3 Configurando o cluster: configurações no Logstash
    • 6.4 Configurando o cluster: configurações no Kibana
    • 6.5 O arquivo de configuração principal do Elasticsearch
    • 6.6 Resolvendo o split-brain de um cluster Elasticsearch
    • 6.7 Tunning
    • 6.8 Backup & restore
    • 6.9 Monitoração da saúde do cluster com o Watcher
    • 6.10 Expurga com o Curator
    • 6.11 Segurança com o Shield
    • 6.12 Conclusão
  • 7 Considerações finais
    • 7.1 Cases de mercado
    • 7.2 E agora, o que estudar?
    • 7.3 Conclusão

Dados do produto

Número de páginas:
167
ISBN:
978-85-5519-168-8
Data publicação:
03/2016

Compartilhe!

Compartilhe no Facebook Compartilhe no Twitter