Cómo crear una estrategia de datos empresarial que realmente funcione
Crear una estrategia de datos empresarial efectiva es más fácil decirlo que hacerlo.
La magnitud de las fuentes de datos de una gran organización y la compleja interacción entre los diferentes departamentos y partes interesadas hacen de esto uno de los obstáculos más desafiantes en la transformación con IA de tu empresa.
Para ayudarte a confiar en tus datos y construir tu estrategia de datos, aquí están los tres pilares fundamentales y el conjunto de principios orientadores que nuestrxs expertxs recomiendan.
Los tres pilares de la estrategia de datos
1. Tecnología
Esto abarca todo, desde las fuentes de datos, infraestructura, segmentación y herramientas de informes. Al igual que el software, requiere mantenimiento y actualizaciones rutinarias.
Aquí hay un ejemplo de una arquitectura tecnológica de plataforma de datos que lanzamos para MillerKnoll.
- Coordinación: Airflow (a través de Astronomer) coordinó los pipelines de datos, permitiendo la escritura, programación y monitoreo programático de flujos de trabajo complejos usando Python. SQL fue el lenguaje de transformación de datos.
- Cálculo: Snowflake era el motor de ejecución SQL que sustentaba el almacén de datos lógico.
- Almacenamiento: AWS S3 se utiliza para almacenar archivos y datos.
- CI/CD: CircleCI gestionó el despliegue del código con dos entornos, de prueba y de producción.
- Control de versiones: GitHub fue el sistema de control de versiones elegido, capturando el código fuente de Airflow, la programación, la lógica de los pipelines de datos y sus dependencias, transformaciones de datos, controles de calidad y configuraciones.
- Calidad de los datos: se integraron pruebas SQL dentro de los pipelines de datos para garantizar la calidad de los mismos.
- Alertas y monitoreo: las alertas por fallos en Airflow o las notificaciones de las pruebas de calidad de datos se integraron con Slack y notificaciones por correo electrónico, asegurando que las personas adecuadas fueran notificadas para tomar acción.
2. Procesos
El proceso estandariza la gestión de datos, la gobernanza y el análisis, así como los protocolos relacionados con la seguridad y la privacidad.
En cuanto al proceso, automatiza todo lo que puedas. Por ejemplo, ayudamos a Douglas a automatizar los informes diarios y semanales para que los directivos tuvieran los reportes cada mañana, lo que disminuyó el tiempo dedicado a los informes manuales.
3. Organización
El tercer pilar de tu estrategia de datos define los roles, responsabilidades y habilidades de las personas (y plataformas) que la respaldan. Esto implica establecer una clara propiedad de los datos, fomentar una cultura orientada a los datos y proporcionar oportunidades de formación y desarrollo para tu equipo de datos.
Por supuesto, hay excepciones, pero generalmente, una organización de datos madura debería tener los siguientes roles establecidos:
Principios clave para la ingeniería de datos
Para alinear cada uno de estos pilares de manera que se cree la estrategia de datos más sólida posible, tu estrategia de datos también debe estar informada por un conjunto de principios orientadores de ingeniería.
A lo largo de nuestra experiencia ayudando a las empresas a evaluar, refinar y crear estrategias de datos, esto es lo que hemos encontrado que funciona mejor:
Consolidar la lógica de negocio
La lógica de negocio convierte los datos crudos en nuevos conocimientos. Es fundamental para ayudar a la empresa a entender cómo está desempeñándose y dónde pueden existir brechas. Idealmente, la lógica de negocio debe existir en un solo lenguaje (SQL) y residir en un solo sistema. Unx analista debería poder encontrar y comprender fácilmente la lógica de negocio.
Automatizar casi todo
Moverse rápidamente requiere que todo lo que pueda ser automatizado, lo sea. Repetir pasos manuales crea espacio para errores y consume tiempo que podría aprovecharse mejor en otras áreas. La coordinación no solo se aplica al proceso de extraer/cargar/transformar (ETL), también puede utilizarse para probar, desplegar, alertar y otras tareas históricamente manuales.
Tratar los datos como software
El proceso de construir plataformas de datos debe abordarse de la misma manera que el desarrollo de software. Al igual que el software, las plataformas de datos requieren una iteración constante en términos de desarrollo ágil, control de versiones y revisiones de código, integración y despliegue continuos, y las necesidades cambiantes del negocio.
Involucrar al equipo interno
Si bien una plataforma de datos exitosa es clave, coordinarse con los equipos internos es igual de crítico. Tomarse el tiempo para integrarlos lo antes posible ayuda a garantizar la sostenibilidad a largo plazo con los procesos, tecnologías y herramientas objetivo.
Mejorando el futuro orientado a los datos de tu empresa
Una estrategia de datos empresarial actúa como un director de orquesta, armonizando los datos de diferentes fuentes y departamentos para crear una sinfonía cohesiva y armoniosa.
Recuerda, no se trata solo de construir una plataforma de datos; se trata de fomentar una cultura orientada a los datos que empodere a tu equipo e impulse tu negocio hacia adelante. En un mundo donde los datos son muy importantes, una estrategia de datos empresarial bien diseñada no es solo una opción, es una necesidad.
