Data Visualization Tools

Es tan importante una correcta integración de los datos, como hemos podido ver en dos anteriores post: “Data Ingestion & Distribution by Apache NiFi” y “Distributed Real-Time Stream Processing” también es más que importante una correcta visualización de los mismos y hoy, traemos tres posibilidades: Superset Este proyecto, originalmente llamado Panoramix, que cambió su nombre posteriormente a Caravel en marzo de 2016 y actualmente se denomina Superset desde noviembre de 2016. [Leer más]

Distributed Real-Time Stream Processing

Ya en un anterior post comentamos un caso de Arquitectura en “Streams” no nativa, es decir, obteniendo datos transaccionales o operativos los convertiamos en “Streams” mediante una Pipeline para poder analizarlos mediante un sistema Distribuido. Hoy, presentamos un sistema Distributed Real-Time Stream Processing nativo, veamos dos ejemplos de arquitectura, entre los cuales, uno nos será muy próximo. Real Time Analytics Architecture En el siguiente Diagrama tenemos el caso que vamos a explicar: [Leer más]

Data Ingestion & Distribution by Apache NiFi

¿Podemos poner en un ring de boxeo dos tipologías de arquitecturas como son la ingestión de datos mediante BPMs o con eventos? Creo no es acertado ponerlas a competir pero si, podemos explicarlas por separado y afrontar, según nuestras necesidades y/o posibilidades, cual de las arquitecturas podemos llevar a cabo. También es cierto que muchas veces nos lo encontraremos dado, por ejemplo cuando tenemos delante una aplicación o servicio más tradicional, sea un ERP, un CRM, etc… aquí será muy complejo el poder llegar a un proceso de generación de eventos ya que, seguramente, deberíamos afrontar una transformación casi por completo de la aplicación. [Leer más]

Apps para guardar contraseñas de forma segura

Hacía tiempo que quería poner un listado de interesantes Apps para guardar nuestros password, credenciales, certificados SSL, etc… cierto es que hay Apps que sirven para todo y otras, que se quedan más en lo “terrenal”. Veamos unas cuantas y, entre tod@s, completemos el listado: Encryptr by SpiderOak Encrypt genera y almacena contraseñas de forma segura. Es un proyecto Open Source con posibilidad de instalación de App Desktop y Mobile con sincronización en el Cloud de la compañía. [Leer más]

Los Beneficios (con seguridad) de los Metadatos (Apache Atlas + Ranger + Kafka)

¿Qué pasa cuando queremos aplicar seguridad a nuestros Datos? Por lo general podemos aplicar muchos tipos como también, distintas capas de seguridad. Por ejemplo lo más frecuente sería una validación mediante OpenID para los usuarios y mediante API Key para los usos programáticos, con una siguiente capa mediante validación IAM para el uso entre infraestructuras o componente más “físicos” y podemos continuar extendiendo mucho más allá, no quiero profundizar ahora mismo con ello… mi pregunta, mejorada, es la siguiente: ¿Qué pasa cuando queremos aplicar seguridad a nuestros Datos que se consumem mediante subscripción? [Leer más]

Architecting Hybrid Infrastructure (Terraform, Ansible and Packer)

Son muchas las soluciones que podemos aplicar para automatizar nuestra infraestructura, desde las integraciones automáticas de nuestros proyectos hasta el desplegar de forma automática nuestras infraestructuras. Hoy entraremos, brevemente, en éste último tema. El desplegar de forma automatizada nuestras infraestructuras para continuar con nuestro camino DevOps. Crearemos una Pipeline, en el diagrama la gestiona vía Jenkins pero, naturalmente, lo podemos hacer distinto; en mi caso, uso Jenkins para casi todo, aunque la base del sistema será: Hashicorp’s Packer, Terraform y RedHat’s Ansible. [Leer más]

BitBucket Pipeline para desplegar un static site con Hugo

Hoy vengo con un post puramente DevOps y es la automatización de la publicación de los posts de éste blog. Hasta hoy, quizás por pereza, no lo había automatizado y hacía la publicación manualmente. Aquí explicaré como Bitbucket Pipelines me ha ayudado, muy fácilmente, a realizarlo de forma automática cada vez que hago un push a la banch Master y está autorizada. Veamos un poco el diagrama de soporte: [Leer más]

Reference (Simple) Architectures con Traefik, Kubernetes y API Kong Gateway

Hacerlo todo complicado es algo, por desgracia, muy natural. Pero deberíamos tender a hacerlo a lo fácil y así asegurarnos que nuestros proyectos tienen un % mucho más elevado de éxito y no al contrario. Es por ello que quiero plantear éste post para intentar resolver ciertas dudas que me han llegado frente al diseño de nuestras arquitecturas en AWS. La idea no va más allá de construir una “mínima” arquitectura, pensando en dos tipologías de acceso: programático o humano, y con dos tipos de consumidores: usuarios internos (empleados) o usuarios externos (clientes). [Leer más]

Democratización de datos, complementando una Estrategia Data Centric

Muchas de las empresas y más las llamadas Data Centric pueden tener estrategias de Gobierno del Dato (de sus datos) pero, seguramente con toda probabilidad, no tendrán sus datos democratizados. ¿Qué entendemos por “Democratización de datos”?. Lo miraré de resolver con otra pregunta: ¿Cuántos de los nuevos productos o nuevas releases nacen mal o más tarde de lo previsto porque no se conocen bien las fuentes origen de los datos que requerimos? [Leer más]

Una Estrategia Data Centric para nuestra Transformacion Digital

Hablar de Transformación Digital es ya algo común y un poco cansino. En otros post he podido comentar la necesidad, by ADN, de las empresas a estar totalmente orientadas a la gestión eficiente de sus datos, que no, orientadas a los datos. Debemos ver los datos como un instrumento más y no nuestra perdición. Cierto es que uno de los problemas más frecuentes y, también, unos de los que genera mayores ineficiencias es la falta de organización en torno a los datos. [Leer más]