Introducción Entendiendo Data Mesh: Un Nuevo Enfoque para la Gestión de Datos
¿Qué es Data Mesh y Por Qué es Importante?
Data Mesh es una nueva forma para que las grandes empresas gestionen los datos en toda la organización. Cambia cómo los diferentes equipos trabajan y utilizan los datos.
En el pasado, la mayoría de las empresas tenían un equipo central grande que controlaba todos los datos y sistemas. El equipo central de TI de datos tenía que recopilar requisitos de los equipos de negocio, crear informes, configurar nuevas conexiones de datos, etc. Esto creaba problemas:
- Otros equipos a menudo no podían acceder a los datos que realmente necesitaban
- Tomaba mucho tiempo obtener nuevos datos o informes
- Había silos y lagunas en los datos
Data Mesh adopta un enfoque diferente. Distribuye el control y la propiedad de los datos a equipos más pequeños en toda la empresa. Estos equipos de “dominio” se centran en gestionar los datos de su área específica:
Dominio de datos de marketing - posee datos de análisis de marketing
Dominio de datos de ventas - posee datos de ventas de clientes
Dominio de datos financieros - posee datos de informes financieros
Con este modelo, los beneficios son:
- Los equipos pueden acceder directamente a los datos que necesitan más rápido
- Se eliminan los cuellos de botella porque disminuye la dependencia de TI
- La calidad de los datos y los sistemas tienen una propiedad clara
- El modelo escala en grandes empresas
El cambio clave es dar poder a estos equipos de dominio para que posean sus datos como mini-startups.
Cuatro Principios de Diseño Fundamentales de Data Mesh
Existen cuatro principios de diseño fundamentales que definen Data Mesh:
1. Gobernanza y propiedad de datos descentralizados
- En lugar de un equipo central, hay múltiples equipos de dominio autosuficientes
- Los equipos de dominio poseen totalmente la gestión de los datos de su área de negocio
- Controlan cómo se procesan, almacenan y utilizan los datos
Por ejemplo:
El equipo de marketing posee la gestión de todos los datos de marketing como métricas de campañas, análisis de embudos, atributos de segmentación, etc.
El equipo de ventas posee la gestión de todas las transacciones de ventas de clientes, el historial de cuentas, los datos de rendimiento de reps, etc.
2. Mentalidad de productos de datos
- Los datos se consideran un “producto” con necesidades de usuario específicas en lugar de un activo estático
- Los equipos de dominio comprenden qué información deben permitir sus datos y cómo impulsan las decisiones
- Se hace hincapié en mantener una alta calidad de los datos, la facilidad de uso y la facilitación del análisis
3. Infraestructura de autoservicio de datos
- El equipo central de TI proporciona herramientas de soporte, plataformas e infraestructura
- Pero los equipos de dominio gestionan la ingesta, el procesamiento y el acceso a los datos por sí mismos sin cuellos de botella
- Los equipos utilizan el autoservicio para las necesidades de datos de su dominio
4. Gobernanza de datos federada
- Si bien los equipos de dominio poseen los datos, existe una alineación en los estándares
- Se siguen políticas, procedimientos y protocolos comunes cuando es beneficioso
- Permite que los datos fluyan sin problemas entre los sistemas de dominio
Con Data Mesh, la propiedad de datos de dominio está descentralizada pero alineada con la estrategia general de datos de la organización.
Desarrollo de las Capacidades Requeridas
Implementar un modelo Data Mesh requiere desarrollar nuevas capacidades:
1. Facultar a los equipos de dominio
El éxito comienza con la habilitación de pequeños equipos de dominio multifuncionales para asumir la propiedad de los datos:
- Los equipos tienen ingenieros de datos, científicos de datos y expertos en la materia
- Controlan los recursos para construir soluciones para los casos de uso de su dominio
- El apoyo ejecutivo para cambiar los derechos de decisión capacita a los equipos
Requiere tanto una transformación tecnológica como un cambio cultural.
2. Infraestructura de datos moderna
Ciertas plataformas y herramientas de datos fundamentales deben estar en su lugar:
- Tuberías de datos y modelos flexibles – Para una ingesta y procesamiento de datos sin problemas por parte de los equipos de dominio
- Arquitectura basada en la nube – Proporciona seguridad, almacenamiento y orquestación
- Análisis de autoservicio – Herramientas como tableros de BI y cuadernos de ciencia de datos
- Catálogo de metadatos – Organización de documentación de datos para facilitar la detectabilidad de activos
Con las plataformas adecuadas, el equipo central de TI hace la transición a un papel más habilitador.
3. Impulsa el valor comercial
Las métricas de éxito deben estar relacionadas con el éxito de los productos de datos de dominio:
- Adopción y uso – ¿Cuántas partes interesadas aprovechan los productos? ¿Frecuencia de uso?
- Confiabilidad – Métricas técnicas como tiempo de actividad y logro de SLA
- Impacto comercial – ¿Los datos están impulsando decisiones más rápidas? ¿Mejor rendimiento?
4. Alfabetización de datos y análisis
Las personas de los equipos deben mejorar sus habilidades:
- Programas de formación en alfabetización de datos y técnicas
- Promover la transparencia y el intercambio entre equipos
- Compromiso de liderazgo con el modelo descentralizado
Con la inversión en estas áreas, las empresas pueden comenzar a cambiar hacia un Data Mesh.
Data Mesh en Acción
Aunque todavía es un enfoque emergente, algunas empresas líderes muestran capacidades tempranas de Data Mesh:
Self-Service Data Marketplace en Starbucks
- Creó un portal donde todos los empleados pueden descubrir, entender y utilizar datos fácilmente
- Redujo la dependencia del equipo central de TI para las solicitudes y la espera de informes
- Definiciones estándar y metadatos consistentes para todo el catálogo de datos
- Surfaces insights y recomendaciones basadas en patrones de uso
Esta mentalidad y acceso a los datos de los productos impulsa un aumento en las decisiones basadas en datos.
Data Lakes de Dominio Descentralizados en Intuit
- Ingerido datos empresariales en lagos de datos en la nube por dominio de negocio en lugar de un lago central
- Los lagos de datos de dominio filtran y estructuran datos en bruto adaptados a sus propósitos
- Acceso directo para que los equipos de dominio exploren y analicen datos
- Capa de API de datos común que conecta lagos de datos de dominio
Esto logra escala mientras rompe cuellos de botella centralizados previos.
Ideas Clave
En resumen, puntos clave sobre Data Mesh:
- Aborda los desafíos de depender únicamente de los equipos centrales de datos de TI
- Los equipos de dominio obtienen la propiedad total para ofrecer rápidamente productos de datos
- Los principios centrales se centran en la gobernanza descentralizada y la mentalidad de producto
- Los habilitadores clave son las plataformas de datos modernas, los equipos capacitados y la alineación cuando sea beneficioso.
- Las capacidades emergentes de autoservicio de datos en las empresas muestran la dirección del mercado
Para los líderes que exploran los próximos pasos:
- Evaluar los puntos problemáticos con los actuales cuellos de botella de datos
- Determinar las áreas lógicas de dominio y la posible descentralización
- Hacer caso del cambio cultural, ejecutar pilotos
- Actualizar plataformas para permitir la autosuficiencia
Migrar completamente a Data Mesh tiene una hoja de ruta larga, pero el viaje comienza gradualmente empoderando a los equipos de datos de dominio.
Conclusión Entendiendo Data Mesh: Un Nuevo Enfoque para la Gestión de Datos
Data Mesh representa un cambio de paradigma que tiene como objetivo acelerar, escalar y mejorar el acceso a productos de datos confiables.
Al descentralizar aspectos de la gestión y la propiedad de los datos fuera de una organización de TI centralizada tradicional, Data Mesh faculta a los equipos de dominio. Esto ayuda a liberar una mayor agilidad, productividad y rendimiento en toda la empresa.
Todavía hay muchas preguntas abiertas a medida que las empresas experimentan con los modelos Data Mesh en los próximos años. La gobernanza, la seguridad y la coherencia plantean desafíos. Pero al fomentar la “mentalidad de productos de datos” y las capacidades de autoservicio dirigidas por equipos de negocio, Data Mesh establece una base para que la empresa impulsada por datos siga evolucionando.
