Elasticsearch Consumindo dados real-time com ELK
Alexandre Lourenço
Prefácio
A explosão dos dados
Vivemos em um mundo dominado por dados. Nunca foram produzidos tantos dados, de maneira tão rápida. Além disso, nunca se produziram tantos dados de maneira não estruturada, ou seja, que não seguem um modelo de estruturação formalizado, por meio do uso dos conhecidos schemas, como um XSD ou uma tabela em um banco de dados tradicional.
Para termos uma ideia do tamanho da massa de dados que temos em mãos, basta vermos os números de empresas como Twitter, Facebook e Netflix. Tais empresas processam milhões de dados por dia - em 2011, por exemplo, o Twitter publicou em seu blog que seus usuários alcançaram a marca de 200 milhões de tweets por dia! - e precisam de novos modelos para processar essas verdadeiras montanhas de dados, aproveitando-se de conceitos de computação distribuída.
Seguindo esses conceitos, diversas tecnologias foram criadas, como hadoop, spark, splunk, bancos NOSQL etc. Neste livro, abordaremos uma dessas novas ferramentas que permitem o processamento (consulta) de conjuntos massivos de dados textuais em tempo real, o Elasticsearch.
Para quem se destina este livro?
Este livro se destina a desenvolvedores que desejam ampliar seus conhecimentos em Elasticsearch e seu ferramental relacionado, cujos casos de uso discutiremos no decorrer do livro. Para melhor aproveitar o livro, o leitor deve possuir algum conhecimento em REST e JSON, visto que as principais interfaces que temos disponíveis para interagir com um cluster Elasticsearch se utilizam desses padrões de comunicação e formato de mensagens. Conhecimento básico da linguagem Java também pode auxiliar no entendimento.
Como devo estudar?
No decorrer do livro, em alguns capítulos teremos hands-on e outros tipos de atividades práticas. Todo o código-fonte dessas atividades se encontra em meu repositório. Convido o leitor a entrar também no Fórum da Casa do Código: http://forum.casadocodigo.com.br
Sumário
- 1 Introdução
- 1.1 Conhecendo o Elasticsearch
- 1.2 Instalação
- 2 Dissecando a ELK – Logstash
- 2.1 Criando pipelines de dados
- 2.2 Construindo nossa API de pedidos
- 2.3 Começando com o Logstash
- 2.4 Parseando as informações de log
- 2.5 Conceitos e outros plugins
- 2.6 Filtros condicionais
- 2.7 Conclusão
- 3 Dissecando a ELK - Elasticsearch
- 3.1 Montando um cluster de buscas full text
- 3.2 Integrando as ferramentas
- 3.3 Entendendo a estrutura interna do Elasticsearch
- 3.4 Ações do Elasticsearch
- 3.5 Preparando a massa de testes com o Apache JMeter
- 3.6 Analisadores e scores de documentos
- 3.7 Consultas básicas do Elasticsearch
- 3.8 Plugins
- 3.9 Conclusão
- 4 Dissecando a ELK – Kibana
- 4.1 Desenvolvendo ricas interfaces para os nossos dados de log
- 4.2 Conhecendo o Kibana
- 4.3 Instalação do Kibana
- 4.4 Configurando o Kibana
- 4.5 Executando o Kibana pela primeira vez
- 4.6 Aplicações do Kibana
- 4.7 Conclusão
- 5 Graph
- 5.1 Gerando grafos a partir de índices
- 5.2 Grafos: definição
- 5.3 Instalação
- 5.4 Populando dados para o grafo
- 5.5 Analisando a base
- 5.6 Links significantes na análise de grafos
- 5.7 Realizando drill-downs
- 5.8 Salvando o workspace
- 5.9 API de grafos
- 5.10 Licença
- 5.11 Conclusão
- 6 Elasticsearch avançado
- 6.1 Manutenção de índices
- 6.2 Manutenção de documentos
- 6.3 Montando os exercícios práticos
- 6.4 Realizando consultas parent-child
- 6.5 Aprofundando em analisadores textuais
- 6.6 Templates dinâmicos
- 6.7 Alias de índices do Elasticsearch
- 6.8 Outros modos de consulta do Elasticsearch
- 6.9 Filtros e cacheamento de queries
- 6.10 Conclusão
- 7 Administrando um cluster Elasticsearch
- 7.1 Montando o cluster
- 7.2 Descoberta de nós (discovery)
- 7.3 Configurando o cluster: configurações no Logstash
- 7.4 Configurando o cluster: configurações no Kibana
- 7.5 O arquivo de configuração principal do Elasticsearch
- 7.6 Resolvendo o split-brain de um cluster Elasticsearch
- 7.7 Tunning
- 7.8 Backup & restore
- 7.9 Monitoração da saúde do cluster com o Watcher
- 7.10 Expurga com o Curator
- 7.11 Segurança com o Shield
- 7.12 Pacote de plugins X-Pack
- 7.13 Monitoração no X-Pack
- 7.14 Reporting no X-Pack
- 7.15 Segurança no X-Pack
- 7.16 Conclusão
- 8 Considerações finais
- 8.1 Cases de mercado
- 8.2 E agora, o que estudar?
- 8.3 Conclusão
Dados do produto
- Número de páginas:
- 236
- ISBN:
- 978-85-5519-168-8
- Data publicação:
- 03/2016
