Hemos hablado bastante sobre “Stream Processing”, “Data Stream”, “Distributed Real-Time Stream Processing”, “Data Sharding”, etc… pero, por lo general, siempre contamos con que tendremos una fuente de datos lo suficientemente preparada como para poder coger los datos y convertirlos en procesos o streams. Pero, seamos sinceros, raramente pasa. Es por eso que tenemos soluciones interesantes cuando, por ejemplo, tenemos una base de datos SGBD (puede ser Oracle o SQLServer) y queremos realizar una réplica de la base de datos origen hacia un destino.

Log Shipping

Log Shipping es una técnica de réplica de la base de datos en origen, que en base a la lectura periódica de los logs de la misma, consigue activar sistemas de sincronización de datos hacia el destino requerido. Es decir, por ejemplo podríamos tener un sistema basado en Log Shipping con una base de datos Oracle y mediante su Trace Logs poder realizar periodicamente la lectura de los mismos e ir replicando los datos en otro destino. Inclusive los rollback.

Cierto es que tenemos un inconveniente importante y es que no se trata de una solución en tiempo real. Este proceso se basa en la lectura de los logs transaccionales, como se decía en el párrafo anterior y estos no se leen de forma reactiva, sino que, las lecturas se ejecutan de manera periódica. Por lo tanto tenemos un tiempo de demora al replicar los datos a otra fuente destino.

Para poder ponerle nombre a ésta técnica, podemos nombrar un par de empresas, potentes, que justo su Producto principal es un sistema de Log Shipping, veamos:

Striim, su claim es “Striim moves data continuously and in real time across on-premises and Cloud environments.”

dbs-h cr8, su enfoque principal es “CR8 is a plug-and-play software solution that enables continuous data integration between relational SQL and unstructured NoSQL databases.”.

Mirroring de las bases de datos

El mirroning de datos es algo que, en cierta manera, ya hemos comentado en otro post. Ya que cuando identificamos una base de datos “Read replica” y otra “Master”, ya tenemos por detrás un proceso de mirroning automático. Es por ejemplo el caso de AWS Aurora y su proceso automático de réplicas de lectura de Amazon RDS.

Continuando con la recomendación de lecturas y gracias al libro “Big Data para directivos” de Genís Roca podremos tener una primera toma de contacto con el concepto de BigData y el conocimiento digital.

NOTA: Recuerda que si pulsas en el enlace del libro, me gano una pequeña comisión sin que a ti te cueste nada extra y me estarás ayudando con los costes de mantenimiento del Blog.

Comentarios, opiniones y valoración Si has utilizado alguno de las técnicas y/o productos mencionados, me gustaría saber qué tienes que decir a través de las redes sociales.

• Enlace Instagram (esta foto)
• Enlace Twitter (este tweet)

Autor: Joakim Vivas