EN

SNGULAR Data Acceleration Architecture

Retos

El acceso a los sistemas mainframe sigue siendo un hándicap en grandes organizaciones multinacionales. Poder utilizar la información del host para crear visualizaciones ricas en interfaces de usuario, o poder acceder a los datos de manera eficiente y barata son dos de los retos más habituales.

SNGULAR Data Acceleration Architecture es una plataforma distribuida que permite gestionar y propagar datos históricos y datos en tiempo real. A través de una serie de pipelines que obtienen y refrescan datos, esta caché ofrece una capa de servicios para canales digitales y herramientas de reporting. 

Infraestructura elástica

Combinado con despliegues en contenedores y entornos cloud, se puede crear una infraestructura elástica que puede responder a los picos  de consumo de las interfaces, sin suponer grandes impactos económicos en los accesos a los sistemas mainframe.

 

 

La plataforma da una respuesta a las tradicionales restricciones de los sistemas de backend y para cubrir las necesidades que usuarios finales exigen a los canales digitales, y se ha construido siguiendo el patrón CQRS.

 

 

Por diseño, almacena todo los datos (históricos y actuales), procesa información en tiempo real, y ofrece capacidades de búsqueda no sólo más efectivas sino con mejores tiempos de respuesta. No deja de ser una réplica de solo lectura de la información que almacena el sistema, a la que se le agregan ciertas etiquetas que permiten gestionar y mantener el contexto.

Nuestra arquitectura para procesamiento de datos puede recopilar datos de muy diversas fuentes como pueden ser:

  • BDDD relacionales

    DB2, Oracle, MySQL, PostgreSQL, etc.

  • BBDD NoSQL

     MongoDB, HDFS, InfluxDB, etc.

  • Servicios de almacenamiento de objetos

    SFTP, S3, GCS, etc.

  • Colas

    RabbitMQ, SQS, PubSub, etc.

Esto permite que la información sea aglutinada y transmitida hacia a un cluster centralizado, que permitirá el almacenamiento temporal de la misma para la coordinación de estos datos a través de las distintas etapas de procesamiento de nuestra solución. En este cluster centralizado, cada stream de datos es serializado en Avro acorde a un esquema. Esto permite validar que el formato del dato es el adecuado.

 

 

La información se distribuye a través de topics, que incluyen los mensajes que representan a una categoría o tipo concreto y que son replicados a través de varios brokers para prevenir la pérdida de información. Estos brokers no son más que servidores interconectados de forma automática, lo cual permite un escalado rápido en caso de una mayor necesidad de procesamiento.

 

 

Por otro lado, está habilitada una API para streaming. Esta API permite hacer operaciones sencillas sobre los datos en tiempo real como filtrado, agregación, reestructuración  o unión de mensajes antes de ser consumidos o almacenados. Este “preprocesado” ayuda a optimizar el tiempo y coste computacional de posteriores soluciones de analítica o visualización. 

 

 

Finalmente la información se deposita en un almacén de datos único, estando ésta disponible en near-real time. Organizada de una forma estructurada y fácilmente consumible, puede ser explotada por sistemas de BI para crear dashboards o informes útiles, intuitivos y vistosos que puedan ser exportados y compartidos.

Al mismo tiempo, esa misma información puede ser explotada por sistemas de machine learning para generar modelos predictivos o inferir analíticas. El output de estos sistemas de machine learning puede suponer a su vez la creación de nuevas tablas o colecciones, utilizables también por las mismas herramientas de BI y visualización de datos.

Principales beneficios de SNGULAR Data Acceleration Platform

  • Soporte a los principales modelos de búsqueda.

    El motor permite buscar transacciones basadas en campos de texto abierto, por cantidades, por importes, por conceptos, por categorías, y cualquier combinación de ellos. Estas capacidades de búsqueda se aplican a todo el histórico de operaciones, porque puede hacerse

  • Continuidad de las operaciones

    En caso de mantenimiento del mainframe o caída del mainframe, la plataforma permitirá que los usuarios finales puedan al menos acceder a la información y trabajar en modo lectura. No se podrán hacer operaciones que persistan modificaciones de datos, pero el sistema estará accesible.

  • Independencia de los modelos

    De despliegue, on premise, en nube pública o privada. El uso de contenedores facilita que la plataforma se pueda desplegar en el modelo de infraestructura que haya elegido el cliente.

  • Reducción de los consumos

    De operaciones de lectura contra el host, y por tanto, ahorro de costes.

  • Actualizaciones en Near Real Time

    El uso de técnicas de streaming de datos hacen que la información permanezca actualizada, si no en tiempo real, en NRT.

  • Construida sobre estándares

    De mercado y productos abiertos que evitan situaciones de Vendor Lock-in

  • Preparada para circuitos

    De testing automation, integración y despliegue continuo, que aceleran los ciclos de desarrollo.

SNGULAR Data Acceleation Architecture puede ser una capa sobre la que construir servicios de valor añadido para clientes finales (como por ejemplo, plataformas de gestión de finanzas personales) o incluso dar lugar a modelos de monetización a partir del acceso a las consultas.

© Copyright - Sngular 2021

Privacy & Conditions