Scale-out + Data Shard (Databases Architecture)

Imaginemos la siguiente situación: somos una empresa y hemos crecido de forma orgánica, pero, se ha acumulado toda nuestra información en una “Monster Database”. ¿Qué tenemos delante nuestro? Claramente tenemos un gran problema, ya que seguramente ésta tendrá un coste (€) alto sumado a que tenemos una base de datos y un gran punto de fallo, sin entrar en detalles de escalabilidad, etc… Podríamos afrontar el problema haciendo un triple salto, aunque seguramente el resultado no sería, pada nada, el esperado (con suerte… quizás si). [Leer más]

Artificial Intelligence and Machine Learning for Dummies

La Inteligencia Artificial (AI) y el Machine Learning (ML) están siendo utilizados, no solo como asistentes personales para distintas actividades como recientemente hemos podido ver, sino también para atender llamadas y gestionar demandas, conducir vehículos, enviar información segmentada a través de Predictive and Prescriptive Analytics y mucho mucho más. Así de entrada podemos dividir la Inteligencia Artificial en dos bloques: IA General o Amplia y la IA Aplicada o Estrecha. Como en todo, hay un debate, entre Inteligencia Artificial y el Machine Learning y trata más sobre las distintas particularidades entre casos de uso (por ejemplo), como entre sus implementaciones y diferencias reales, no olvidemos que son tecnologías aliadas que trabajan juntas, siendo AI el concepto más amplio y el ML, una parte de él (ver diagrama). [Leer más]

Bitphy, predictive analytics and Machine Learning technologies

Tengo especial ilusión en hacer éste artículo ya que, en un solo post y en una sola empresa, podremos descubrir/resumir lo que se ha venido trabajando durante meses en la web. Es decir, conceptos como los comentados en unos cuantos posts anteriores, veamos el listado: Distributed Real-Time Stream Processing, Data Ingestion & Distribution by Pipeline Process, Una Estrategia Data Centric para nuestra Transformacion Digital, DataOps & Data As A Service (or DaaS), Data Scaling Architectures & Data Caching Architectures en AWS (Hazelcast vs Elasticsearch vs Memcached), Data Transformation Pipelines (Apache Nifi, Flink, Kafka y MongoDB). [Leer más]

Distributed Real-Time Stream Processing

Ya en un anterior post comentamos un caso de Arquitectura en “Streams” no nativa, es decir, obteniendo datos transaccionales o operativos los convertiamos en “Streams” mediante una Pipeline para poder analizarlos mediante un sistema Distribuido. Hoy, presentamos un sistema Distributed Real-Time Stream Processing nativo, veamos dos ejemplos de arquitectura, entre los cuales, uno nos será muy próximo. Real Time Analytics Architecture En el siguiente Diagrama tenemos el caso que vamos a explicar: [Leer más]

Data Ingestion & Distribution by Apache NiFi

¿Podemos poner en un ring de boxeo dos tipologías de arquitecturas como son la ingestión de datos mediante BPMs o con eventos? Creo no es acertado ponerlas a competir pero si, podemos explicarlas por separado y afrontar, según nuestras necesidades y/o posibilidades, cual de las arquitecturas podemos llevar a cabo. También es cierto que muchas veces nos lo encontraremos dado, por ejemplo cuando tenemos delante una aplicación o servicio más tradicional, sea un ERP, un CRM, etc… aquí será muy complejo el poder llegar a un proceso de generación de eventos ya que, seguramente, deberíamos afrontar una transformación casi por completo de la aplicación. [Leer más]

Los Beneficios (con seguridad) de los Metadatos (Apache Atlas + Ranger + Kafka)

¿Qué pasa cuando queremos aplicar seguridad a nuestros Datos? Por lo general podemos aplicar muchos tipos como también, distintas capas de seguridad. Por ejemplo lo más frecuente sería una validación mediante OpenID para los usuarios y mediante API Key para los usos programáticos, con una siguiente capa mediante validación IAM para el uso entre infraestructuras o componente más “físicos” y podemos continuar extendiendo mucho más allá, no quiero profundizar ahora mismo con ello… mi pregunta, mejorada, es la siguiente: ¿Qué pasa cuando queremos aplicar seguridad a nuestros Datos que se consumem mediante subscripción? [Leer más]

Democratización de datos, complementando una Estrategia Data Centric

Muchas de las empresas y más las llamadas Data Centric pueden tener estrategias de Gobierno del Dato (de sus datos) pero, seguramente con toda probabilidad, no tendrán sus datos democratizados. ¿Qué entendemos por “Democratización de datos”?. Lo miraré de resolver con otra pregunta: ¿Cuántos de los nuevos productos o nuevas releases nacen mal o más tarde de lo previsto porque no se conocen bien las fuentes origen de los datos que requerimos? [Leer más]

Un SuperSensor IoT en nuestra casa (Smart Homes)

Empezamos con una colección de Post para explicar ejemplos de aplicación del IoT, es por ello que no hay mejor manera que empezar con un SuperSensor. A continuación podemos verlo en marcha: Este sensor puede monitorear casi toda la actividad en nuestro hogar, detectando la fluctuación de temperatura, el uso de electricidad, los sonidos, el movimiento y la duración de los eventos. Podríamos decir que es una perfecta base para construir hogares verdaderamente “inteligentes”, donde las distintas actividades que realizamos son rastreadas, controladas remotamente y automatizadas según creamos convenientemente y así lo configuremos. [Leer más]

Pla Barcelona Ciutat Digital (Pla digital de l'Ajuntament de Barcelona).

Barcelona arrancó en septiembre de 2016 un más que importante proceso de Transformación digital. Aunque, para mi, creo va más allá de su Transformación digital ya que, también es un cambio de paradigma, de formas de colaborar con la administración pública o de formación y capacitación de sus propios trabajadores. Me parece brillante el trabajo que está haciendo l’Ajuntament de Barcelona y, por ello, dedico este post a poder explicarlo desde mi punto de vista. [Leer más]

GDPR y nueva Gobernanza de Datos

La Nueva regulación europea sobre la Protección de Datos Personales, la GDPR nos marca muy claramente como se deben obtener, tratar, guardar y destruir estos. Para ello, las nuevas Arquitecturas de Gobierno del Dato que tienen que moverse dentro de la nueva Regulación, deberán estar totalmente orientadas a la Seguridad de los Datos. Ya no hay separación entre la Arquitectura Big Data, propiamente dicha como aquella Seguridad necesaria para poder cumplir con la Regulación. [Leer más]