Primeros pasos con Beats y Logstash

Bogotá
Wed, Feb 10, 2021, 6:00 PM (GMT-5)

14 RSVP'ed

About this event

Después de haber participado en los anteriores talleres te preguntarás cómo es que llegan a parar tantos datos en Elasticsearch. Algunos datos se obtienen leyendo bases de datos o cargando hojas de cálculo o archivos separados por comas. Sin embargo, series de datos temporales en cantidades enormes, por algo los llamamos Big Data, provienen de fuentes como las métricas y logs adquiridos de servidores, dispositivos como enrutadores o contrafuegos y muchos otros. Cualquiera que sea la fuente y cualquier que sea la cantidad de datos, el Elastic Stack proporciona herramientas para capturarlos y enviarlos a Elasticsearch para su almacenamiento y procesamiento.

En este episodio de la serie de talleres de primeros pasos con el Elastic Stack, vamos a enfocar nuestra atención en el resto del stack: Logstash y los varios Beats. Con Logstash podemos jalar datos de muchas fuentes como bases de datos y el mismo Elasticsearch. Logstash puede enriquecer y transformar los datos antes de mandarlos a Elasticsearch. Por su lado, los Beats están desplegados en los puntos de origen de los datos donde los capturan y empujan a Elasticsearch. Por ejemplo, cuando un servidor de web escribe una línea en sus archivos de logs indicando un acceso a una página de web y algún otro recurso, Filebeat la detecta, captura y envía a Elasticsearch. Metricbeat, por su lado, lee métricas cada tanto tiempo en el dispositivo en el que está desplegado, como por ejemplo el nivel de utilización de un CPU o la cantidad de memoria libre en un servidor, y la envía a Elasticsearch.

¿Para quién es este taller?

Este taller es para desarrolladores y arquitectos interesados en crear una arquitectura de integración y mediación de datos destinados a Elasticsearch. El prerrequisito es haber tomado los dos talleres anteriores de primeros pasos con Elasticsearch y Kibana.

Al final del taller:

Entenderás el propósito de Logstash y los varios Beats incluidos en el Elastic Stack.

Entenderás cómo instalar, configurar y correr Logstash y los Beats.

Habrás practicado el uso de Logstash para la lectura de datos almacenados en un archivo separado por comas y su envío a Elasticsearch.

Habrás practicado como instalar y configurar Filebeat para leer un archivo de logs y enviar su contenido a Elasticsearch.

Antes de atender el taller:

Para este taller necesitarás el deployment en la nube de Elastic que has estado usando en los dos talleres anteriores (ve a las instrucciones del primer taller para obtener tu cuenta de prueba si no has creado todavía tu deployment). Logstash y Filebeat correrán directamente en tu computadora para lo cual necesitarás tener el JDK de Java instalado y JAVA_HOME definido. Necesitas por lo menos la versión 8 de Java. Tambien necesitas ir a https://www.elastic.co/downloads/logstash para bajar y descomprimir Logstash e ir a https://www.elastic.co/downloads/beats/filebeat para bajar y descomprimir Filebeat -- selecciona la versión compatible con tu sistema operativo (Linux, MacOS y Windows).

Si no es posible instalar este software en tu computadora, no te preocupes, todo lo vamos a demostrar durante el taller así que podrás observar como funciona todo.

Speaker: Enrique Kortright, Elastic Education Architect