Conhecendo o ELK stack

O ELK Stack consiste da união das ferramentas Elasticsearch, Logstash e Kibana.

Juntas, estas ferramentas tem capacidade para tratar grandes quantidades de dados em tempo real, organizar os dados e prover a visualização através de gráfico, tabelas, etc. É uma ótima opção para iniciar em Big Data. O ELK Stack é utilizado por empresas de renome como LinkedIn, GitHub e Twitter.

Componentes do ELK Stack:

  • Elasticsearch
    Ferramenta que faz a indexação dos dados e consulta a estes índices e dados, provendo real-time analytics. Possui outras características como Escalabilidade,
    Alta-disponibilidade, multi-tenant. Full text search.
  • Logstash
    É a ferramenta que faz captura das informações em arquivos (csv, logs, …), processa e gera o output para o Elasticsearch ou outro formato de dados.
  • Kibana
    É um dashboard Web para trabalhar os dados coletados. Suas principais características são pesquisa e visualização através gráfico de torta,
    gráfico de barras, trendlines, mapas, etc.

Estas ferramentas trabalham muito bem juntas, mas cada uma destas ferramentas tem o seu próprio projeto, e são desenvolvidas de forma independente.
As ferramentas tem o código fonte aberto (open-source), mas tem o suporte pago através da empresa Elastic.

Algumas empresas que estão utilizando o ELK:

Para conhecer um pouco do ELK, existe uma demo muito bem montada do dashboard Kibana, a qual
mostra vários aspectos da ferramenta e sua capacidade de utilização no Negócio ou na area de TI.
A demo está disponível no endereço http://demo.elastic.co .

Leia também: