La evolución de la plataforma de datos moderna
Principales resultados
Nuestros seis pasos
- Data como producto: construir y gestionar salidas de productos de datos, que son una colección de activos de datos
- Mercado de datos: añadir una capa para comercializar productos de datos. Añadir esto mostrará claramente la integridad a través de los productos de datos, añadiendo confianza a los dominios.
- Arquitectura a nivel de dominio: centrarse más en construir soluciones de datos para cada dominio que añadirán valor por dominio. Los diferentes dominios son más o menos y tan complicados unos como otros.
- Diseño de principio a fin: a partir de la arquitectura a nivel de dominio, lo primero es el consumidor final. ¿Cómo van a utilizar los datos?
- Gestión de metadatos: la gestión de los metadatos producidos a través de todos estos productos es fundamental para rastrear no sólo los datos redundantes, sino para gobernar el paisaje.
- Mejora el flujos de datos: elimine la dependencia constante del procesamiento al final del día cuando los flujos estén disponibles. Mejore la plataforma suministrando datos actualizados para que el valor de la información se pueda obtener antes.
Preguntas frecuentes: Plataformas de datos modernas
¿Cuáles son los componentes clave del modelo de una plataforma de datos moderna?
Una plataforma de datos moderna consta de tres capas principales: sistemas de registro, sistemas de almacenamiento y procesamiento, y sistemas de interacción. Los datos fluyen a través de capas de datos sin procesar/de llegada, curados y distribuidos, cada una de ellas diseñada para satisfacer requisitos específicos de cada ámbito.
Entre las capacidades clave se incluyen los mercados de datos, las estructuras de datos, la catalogación automática y los flujos de trabajo de MLOps/DataOps para automatizar el seguimiento del linaje, la validación y el reentrenamiento de modelos.
Explora el modelo completo y las consideraciones de diseño en el informe.
¿Cómo ha evolucionado la plataforma de datos desde los almacenes de datos hasta los lakehouses?
Las plataformas de datos han evolucionado desde rígidos almacenes de datos relacionales hacia arquitecturas de big data más flexibles y, posteriormente, hacia los «lakehouses», que combinan la optimización de los sistemas estructurados con la agilidad del manejo de datos no estructurados. Los almacenes de datos abordaban los retos de la duplicación y la integridad, pero carecían de escalabilidad.
Los sistemas de big data permitían una rápida ingesta sin modelado previo, pero sacrificaban la optimización del rendimiento. Los «lakehouses» se desarrollaron para salvar estas brechas mediante el almacenamiento en caché de metadatos y mejoras arquitectónicas.
Para obtener una cronología completa de la evolución y conocer las perspectivas de futuro de las plataformas, descargue el informe.
¿Cómo pueden las organizaciones realizar la transición hacia una plataforma de datos moderna?
La transición requiere un enfoque basado en MVP: evaluar las necesidades del dominio, transformar utilizando capacidades de datos modernas, gestionar la gobernanza y monetizar los conocimientos. Este modelo ATMM evita que los equipos intenten «abarcarlo todo» y, en su lugar, les ayuda a aportar valor incremental.
El enfoque moderno integra las tecnologías existentes - lagos de datos, almacenes de datos y lakehouses - en soluciones centradas en el dominio, guiadas por el valor empresarial en lugar de por una estricta uniformidad técnica.
Descargue el informe completo para obtener una guía paso a paso sobre la transición.
.webp "GFT Contact: Dean Clark")
