Elasticsearch Consumindo dados real-time com ELK
Alexandre LourençoConteúdo
Com o aumento massivo da produção de dados na atualidade, empresas como o Twitter, Facebook e Netflix precisam seguir modelos de estruturação formalizados para processar essas verdadeiras montanhas de dados, aproveitando-se de conceitos de computação distribuída. Dentre as novas tecnologias que permitem o processamento ou consulta de conjuntos enormes de dados textuais em tempo real está o Elasticsearch.
Neste livro, Alexandre Lourenço aborda a stack ELK (Elasticsearch, Logstash e Kibana), dissecando todos os seus aspectos. O objetivo é fornecer um método de se catalogar e efetuar buscas em grandes massas de informação por meio de interfaces REST que recebem ou provêm informações em formato JSON.
Sumário
- 1 Introdução
- 1.1 Conhecendo o Elasticsearch
- 1.2 Instalação
- 2 Dissecando a ELK – Logstash
- 2.1 Criando pipelines de dados
- 2.2 Construindo nossa API de pedidos
- 2.3 Começando com o Logstash
- 2.4 Parseando as informações de log
- 2.5 Conceitos e outros plugins
- 2.6 Filtros condicionais
- 2.7 Conclusão
- 3 Dissecando a ELK - Elasticsearch
- 3.1 Montando um cluster de buscas full text
- 3.2 Integrando as ferramentas
- 3.3 Entendendo a estrutura interna do Elasticsearch
- 3.4 Ações do Elasticsearch
- 3.5 Preparando a massa de testes com o Apache JMeter
- 3.6 Analisadores e scores de documentos
- 3.7 Consultas básicas do Elasticsearch
- 3.8 Plugins
- 3.9 Conclusão
- 4 Dissecando a ELK – Kibana
- 4.1 Desenvolvendo ricas interfaces para os nossos dados de log
- 4.2 Conhecendo o Kibana
- 4.3 Instalação do Kibana
- 4.4 Configurando o Kibana
- 4.5 Executando o Kibana pela primeira vez
- 4.6 Aplicações do Kibana
- 4.7 Conclusão
- 5 Graph
- 5.1 Gerando grafos a partir de índices
- 5.2 Grafos: definição
- 5.3 Instalação
- 5.4 Populando dados para o grafo
- 5.5 Analisando a base
- 5.6 Links significantes na análise de grafos
- 5.7 Realizando drill-downs
- 5.8 Salvando o workspace
- 5.9 API de grafos
- 5.10 Licença
- 5.11 Conclusão
- 6 Elasticsearch avançado
- 6.1 Manutenção de índices
- 6.2 Manutenção de documentos
- 6.3 Montando os exercícios práticos
- 6.4 Realizando consultas parent-child
- 6.5 Aprofundando em analisadores textuais
- 6.6 Templates dinâmicos
- 6.7 Alias de índices do Elasticsearch
- 6.8 Outros modos de consulta do Elasticsearch
- 6.9 Filtros e cacheamento de queries
- 6.10 Conclusão
- 7 Administrando um cluster Elasticsearch
- 7.1 Montando o cluster
- 7.2 Descoberta de nós (discovery)
- 7.3 Configurando o cluster: configurações no Logstash
- 7.4 Configurando o cluster: configurações no Kibana
- 7.5 O arquivo de configuração principal do Elasticsearch
- 7.6 Resolvendo o split-brain de um cluster Elasticsearch
- 7.7 Tunning
- 7.8 Backup & restore
- 7.9 Monitoração da saúde do cluster com o Watcher
- 7.10 Expurga com o Curator
- 7.11 Segurança com o Shield
- 7.12 Pacote de plugins X-Pack
- 7.13 Monitoração no X-Pack
- 7.14 Reporting no X-Pack
- 7.15 Segurança no X-Pack
- 7.16 Conclusão
- 8 Considerações finais
- 8.1 Cases de mercado
- 8.2 E agora, o que estudar?
- 8.3 Conclusão
Autor
Alexandre Lourenço
Formado em Ciência da Computação pela PUC-SP com pós-graduação pelo UNIBTA, Alexandre Eleutério Santos Lourenço trabalha com desenvolvimento de software desde 2003. Atuou com diversos frameworks, ferramentas e linguagens, como Elasticsearch, Kafka, Docker, Kubernetes, Java, Python, Scala, entre outras e, é claro, Akka Streams, tendo trabalhado com a tecnologia em desenvolvimentos ligados a integrações e sistemas de geolocalização.
Dados do produto
- Número de páginas:
- 236
- ISBN:
- 978-85-5519-168-8
- Data publicação:
- 03/2016