Ciberseguridad
Data Governance
Transformación Digital
StartUp
Blockchain
Internet of Things
Data Streaming
Docker
AWS

Running a cluster with Apache Nifi and Docker

Sobre Apache NiFi hemos hablado mucho, ya sea en ejemplos de #DataStreaming ejecutados en RealTime o bien, en la construcción de Data Pipeline más simples. En todos los casos anteriores, nuestro Apache NiFi, era “Single node”. El post de hoy es lanzarlo mediante su opción de Cluster y mediante Docker. Veamos: Preparando el docker-compose.yml Lo primero será construir nuestro “docker-compose.yml” con todo aquello requerido. Como por ejemplo añadiendo un ZooKeeper para la gestión de la información entre los nodos de forma automatizada y, luego, la configuración de Apache NiFi. [Leer más]

UOC: Camino al Cloud, aprendizajes vs desaprendizajes

Recientemente la UOC (Universitat Oberta de Catalunya), presentó su “Camino al Cloud“, de la mano de David Ayala (IT Architecture Manager en la UOC) en las Jornadas Técnicas de RedIRIS 2019. Hoy haremos un resúmen de su “Camino” y veremos con un poco de detalle algunas de sus propuestas. Como ya vimos en el pasado post de “Mango: Desescalando una organizacion”, afrontar una Transformacion Digital no es nada fácil pero tampoco imposible. [Leer más]

Mango: Desescalando una organizacion

Aquí hemos hablado y mucho, por ejemplo, sobre Agile y más concretamente sobre Agile Project Management. Pero hoy, presentaremos un interesante caso real: “Desescalando una organizacion. Un caso real” de Xavier Albaladejo (Agile-Lean (Executive) Coach and Organizational Transformation en Mango), el cual me ha permitido hacer uso de su presentación para tal finalidad. Mango es, quizás, una de las empresas más reconocidas del Mundo y no es para menos. Mango diseña, fabrica y comercializa ropa y accesorios tanto para mujeres, hombres y niños. [Leer más]

Duolingo, la plataforma social para el aprendizaje de idiomas

Duolingo es una (la) plataforma social de aprendizaje de idiomas y su uso de AWS es bastante intenso. En éste post veremos algunos de los servicios más utilizados y ejemplos de aplicación. Por ejemplo, Duolingo, utiliza Amazon DynamoDB para almacenar más de 31 billones (americanos) de artículos en apoyo de su plataforma de aprendizaje en línea. Actualmente cuentan con alrededor de 200 millones de usuarios (2018) mensuales en todo el mundo que realizan más de seis billones de ejercicios/test utilizando todo el poder de Amazon DynamoDB para su storage. [Leer más]

Nomo: el asistente financiero para autónomos y freelance

La revolución que, poco a poco, el #fintech está haciendo en nuestras vidas se ve ampliada gracias a Nomo. Una estupenda idea que nació de Innocells, el venture builder de Banc Sabadell para la aceleración de #startup. Nomo, es una app que se preocupa por la gestión del negocio o actividad profesional de los autónomos para facilitarles la vida y que tenga un tiempo real para dedicarse a lo que realmente es importante: hacer crecer su negocio. [Leer más]

Deployando Traefik en Kubernetes mediante Helm

Helm es un más que interesante gestor de paquetes en Kubernetes y, mediante ficheros YAML va a permitirnos una gestión de nuestro Clúster de una forma muy simple. Una de sus grandes opciones es que tiene un repositorio muy amplio (Charts), podemos descubrir algunos de sus ejemplos en: https://github.com/helm/charts/ En nuestro caso usaremos Kubernetes mediante la opción microk8s que ya hemos hablado anteriormente. Instalar Helm Por defecto, en snap no tenemos la opción y tendremos que determinar que queremos hacerlo mediante “classic”. [Leer más]

Micro Clúster Kubernetes en Ubuntu (MicroK8s)

Hoy contaremos como desplegar un “Clúster” Kubernetes en Ubuntu y lo haremos mediante su opción de “MicroK8s” (Kubernetes for workstations and appliances). Instalando Kubernetes MicroK8s Para ello, el primer paso será asegurarnos que tenemos instalado “snap” en nuestro Ubuntu: sudo apt install snapd. Una vez lo tengamos, podemos proceder a instalarlo con snap install microk8s --classic. MicroK8s es una instalación mínima de Kubernetes diseñada para funcionar localmente. Para asegurarnos que ha quedado correctamente instalado lanzamos el comando: microk8s. [Leer más]

Strategy: Cold, Warm, Hot Data Storage & Data Warehouse vs Data Lake Architecture

Ya por aquí hemos hablado, y mucho, de #Data-Pipeline o #Data-Streaming. Por ejemplo fue el caso del Banco ING Direct, donde a partir de una Pipeline podían extraer el fruto y conectar su proceso de datos basado en #Real-Time con su reporting o sus bases de datos más operacionales. También hemos hablado de CQRS, que no es lo mismo que la construcción de Pipeline basadas en #Real-Time sinó, basadas en un método para optimizar escrituras en bases de datos (write) y leerlas (read). [Leer más]

Apache Beam: construyendo Data Pipelines en Python

Apache Beam es una evolución del modelo Dataflow creado por Google para procesar grandes cantidades de datos. Los programas escritos con Apache Beam pueden ejecutarse en diferentes estructuras de procesamiento utilizando un conjunto de IOs diferentes. Ya hemos hablado aquí sobre otros frameworks como Hadoop, Spark, Flink, Google Cloud Dataflow, etc… Pero no ha habido una API unificada que vincule todos estos marcos y fuentes de datos, y proporcione una abstracción de la lógica de la aplicación desde un gran ecosistema de datos. [Leer más]

InfluxDB: BigData con series temporales

InfluxDB, o mejor dicho, InfluxData es una plataforma muy completa para el tratamiento de grandes cantidades de datos, desde su recolección hasta su análisis final. Actualmente ya es una alternativa muy interesante para trabajar en escenarios de BigData pudiendo conseguir una gran optimización en su almacenamiento y en el acceso. El Stack Stack de InfluxData se construye alrededor de InfluxDB para manejar grandes cantidades de información con series temporales. Esta base de datos de series de tiempo proporciona soporte para nuestras necesidades de análisis de métricas (DevOps Monitoring, sensores IoT, análisis en tiempo real,…). [Leer más]