Apache Beam: construyendo Data Pipelines en Python

Apache Beam es una evolución del modelo Dataflow creado por Google para procesar grandes cantidades de datos. Los programas escritos con Apache Beam pueden ejecutarse en diferentes estructuras de procesamiento utilizando un conjunto de IOs diferentes. Ya hemos hablado aquí sobre otros frameworks como Hadoop, Spark, Flink, Google Cloud Dataflow, etc… Pero no ha habido una API unificada que vincule todos estos marcos y fuentes de datos, y proporcione una abstracción de la lógica de la aplicación desde un gran ecosistema de datos. [Leer más]

InfluxDB: BigData con series temporales

InfluxDB, o mejor dicho, InfluxData es una plataforma muy completa para el tratamiento de grandes cantidades de datos, desde su recolección hasta su análisis final. Actualmente ya es una alternativa muy interesante para trabajar en escenarios de BigData pudiendo conseguir una gran optimización en su almacenamiento y en el acceso. El Stack Stack de InfluxData se construye alrededor de InfluxDB para manejar grandes cantidades de información con series temporales. Esta base de datos de series de tiempo proporciona soporte para nuestras necesidades de análisis de métricas (DevOps Monitoring, sensores IoT, análisis en tiempo real,…). [Leer más]

AWS LocalStack: Develop and test your cloud apps offline

La llegada del Cloud supuso un antes y un después, pero también es cierto, complicó un tanto la vida para poder validar los correctos funcionamientos de nuestras aplicaciones ya que, teníamos que replicar entornos, por ejemplo de Integración, elevando sus costes. Pues bien, el proyecto LocalStack es una fantástica solución para “simular” nuestro AWS Cloud en local, sea instalado localmente o bien desplegado en su versión Docker. Requirements Para poder ejecutar cualquier tipo de interacción con nuestro LocalStack tendremos que tener instaladas las AWS CLI (Command Line Interface), veamos: [Leer más]

Democratización de datos, Data Self-Service con Druid + Imply.io

Tanto las herramientas de Bi (Business Intelligence), más tradicionales, como las más novedosas y nacidas a partir de la “irrupción” del BigData como son por ejemplo: Tableau, PowerBI, entre muchas otras… han transformado fundamentalmente la forma en que operamos los datos las organizaciones. Los directivos de todas las industrias ahora están utilizando la tecnología de análisis Big Data para una amplia gama de procesos, objetivos y necesidades de gestión. Y las aplicaciones potenciales de las herramientas de BI modernas son prácticamente infinitas, ya que han irradiado en casi todos los aspectos de la gestión operativa y la supervisión estratégica como, se han podido beneficiar de conocimientos más potentes y rápidos. [Leer más]

High Performance Computing in the AWS Cloud (low cost)

De tipologías de Arquitectura de infraestructura hay muchas pero, así de entrada, podemos diferenciar entre: “High Performance” y “High Availability”. Que por cierto, podemos implementar las dos en una misma, por ejemplo, nuestro post de hoy. Vamos a ver una arquitectura, bastante económica, para poder tener el siguien esquema lógico: Acceso de los usuarios > Validaciones > Retorno de datos > Ingestión de información (Evento) > Transformación de la Información >Indexación > Visualización (Explotación). [Leer más]

Linkerd, Service Mesh microservice management

Las Arquitecturas basadas en Microservicios han facilitado y continúan facilitando mucho todos nuestros desarrollos, puestas en producción y release management, pero ciertamente se puede continuar mejorando y una forma es implementando un Service Mesh. ¿Qué es un Service Mesh? Pero: ¿Qué es un Service Mesh?. En modo resumen rápido podemos decir que es una infraestructura, basada en software, encargada de manejar las comunicaciones entre microservicios y/o distintos componentes. Para explicarlo mejor podemos ver unas funcionalidades ejemplos donde podríamos implementarlo: [Leer más]

Reference (Simple) Architectures con Traefik, Kubernetes y API Kong Gateway

Hacerlo todo complicado es algo, por desgracia, muy natural. Pero deberíamos tender a hacerlo a lo fácil y así asegurarnos que nuestros proyectos tienen un % mucho más elevado de éxito y no al contrario. Es por ello que quiero plantear éste post para intentar resolver ciertas dudas que me han llegado frente al diseño de nuestras arquitecturas en AWS. La idea no va más allá de construir una “mínima” arquitectura, pensando en dos tipologías de acceso: programático o humano, y con dos tipos de consumidores: usuarios internos (empleados) o usuarios externos (clientes). [Leer más]

Propuestas de Valor para una Estrategia Multi-Cloud

Muchas veces escuchamos grandes gurús del Cloud que nos dicen: “cásate con uno y a por todo”. Bueno, estoy en bastante desacuerdo de ésta frase ya que creo, sobretodo en grandes corporaciones, debemos buscar aquello que nos puede ir mejor y es por eso que me agradaría poder listar valores del Cloud, que en muchas ocasiones, el poder tener varios proveedores de Cloud nos va a permitir cumplir con las propuestas aquí listadas. [Leer más]

MongoDB en AWS, Arquitectura rápida de Data Sharding

MongoDB, quizás, es una de las bases de datos NoSQL más conocidas. El siguiente post quiere dar una pincelada rápida a una construcción simple, escalable y en formato [sharding](https://en.wikipedia.org/wiki/Shard_(database_architecture) en AWS. AWS dispone de una template de AWS Cloud Formation para hacernos la vida un poco más simple, pero veamos primero que partes tendría la Arquitectura, para así poder entenderla mucho mejor. Primero tendremos que obviar, no es recomendable, la seguridad más perimetral. [Leer más]

Chef.io (Continuous Automation), infraestructura automatizada y 100% escalable

Chef.io lo podemos definir como una herramienta básica de automatización y nos va a proporcionar un conjunto de capacidades de trabajo poder convertir nuestra infraestructura en “simple” código. Chef, una vez lo descubramos, se convertirá en una herramienta básica para nuestro día a día, permitiéndonos alcanzar el máximo exponente de la metodología (cultura) DevOps. Algunas de sus principales ventajas, respecto a otros productos, es que es 100% integrable con plataformas cloud como AWS convirtiéndolas en una extensión de tu infraestructura on-premise o más tradicional. [Leer más]