Como lanzar un Data Lake provincial o municipal en 90 dias
El problema que nadie le explica al gobernador (y como resolverlo con DAMA-DMBOK)
Hay un problema invisible que bloquea casi todas las iniciativas de datos en los gobiernos provinciales y municipales de Argentina. No es falta de presupuesto. No es falta de voluntad politica. Es algo mucho mas basico, y es lo primero que hay que resolver antes de construir cualquier aplicacion inteligente para el ciudadano.
Se llama entity resolution.
Juana Garcia es siete personas distintas
Juana Garcia tiene 45 años, vive en Santiago Capital, es mama soltera de tres hijos y trabaja como empleada domestica. Es una sola persona, una sola ciudadana.
Pero dentro de los sistemas del Estado provincial, Juana existe como minimo siete veces:
- ANSES y RENAPER: con un domicilio registrado.
- Sistema de salud publica provincial: con otro domicilio diferente.
- Padron de Desarrollo Social: como "Juana M. Garcia".
- Sistema escolar de sus hijos: como contacto de emergencia con un numero de telefono desactualizado.
- Registro Civil: con apellido de soltera.
- Catastro y Rentas: como cotitular de un lote.
- Programa de tarjetas alimentarias: con un alias distinto.
Ahora viene la pregunta que incomoda a cualquier funcionario: si el gobernador te pide hoy mismo cuantas personas como Juana hay en la provincia, en cuanto tiempo podes responderle con certeza. En una semana. En un mes. Nunca.
Eso es exactamente lo que se llama un problema de entity resolution: la incapacidad de un sistema de datos para reconocer que distintos registros corresponden a la misma entidad real. Y mientras ese problema no este resuelto, no se puede construir ninguna aplicacion inteligente para el ciudadano. Ninguna.
Por que le pasa esto a casi todos los gobiernos
Antes de ir a la solucion, es importante entender que esto no es culpa del funcionario de turno. Es estructural.
Los sistemas del Estado se compraron en distintas epocas, con distintos proveedores y con distintas definiciones de lo que es "un ciudadano". Nunca existio una capa comun de datos. Cada ministerio gestiona los propios. El resultado es datos viviendo en silos: sistemas SQL legacy, hojas de calculo, plataformas SaaS, PDFs digitalizados, papel.
Las consecuencias son concretas y cotidianas:
- Decisiones de politica publica con numeros que no cierran entre ministerios.
- Programas sociales duplicados o que se superponen entre si.
- Fraude que pasa desapercibido porque el mismo beneficiario figura en varios padrones con distintos datos.
- Imposibilidad de construir un chatbot ciudadano que reconozca quien esta hablando.
- Reportes al gobernador que se arman a mano en Excel, con dos personas trabajando varios dias.
Esto no se resuelve comprando mas software ni contratando mas personal. Se resuelve con dos capas: una tecnica, llamada Data Lake, y una organizacional, llamada gobernanza de datos.
La capa tecnica: que es un Data Lake (y que no es)
Imaginense que cada ministerio tiene su propia despensa. Su propia comida, su propio sistema de orden, su propio inventario. Si el gobierno quiere preparar una politica publica, tiene que ir despensa por despensa a recolectar ingredientes. Un Data Lake es la despensa unificada: todos los datos del Estado, en su forma original, en un solo lugar gobernado.
Pero antes de seguir, hay tres cosas que un Data Lake no es, y que muchos proveedores no aclaran:
- No reemplaza los sistemas existentes. Cada ministerio sigue con su software actual. Los datos simplemente se replican al Data Lake de forma automatica.
- No es una migracion de meses. Los datos siguen viviendo en sus sistemas de origen. Solo se sincronizan.
- No es un proyecto de millones de dolares. Un Data Lake provincial minimo viable es economicamente accesible para cualquier gobierno provincial o municipal con voluntad de arrancar.
La arquitectura es conceptualmente simple:
| Capa | Que hace |
|---|---|
| Fuentes | Los sistemas existentes de cada ministerio |
| Ingesta | Conectores automaticos diarios que replican los datos |
| Almacenamiento | Repositorio unificado en la nube |
| Gobernanza | Marco DAMA-DMBOK aplicado sobre los datos |
| Consumo | Dashboards, inteligencia artificial, apps ciudadanas |
Las opciones tecnologicas probadas para gobierno son AWS (S3 + Glue + Lake Formation + Athena), Azure (Data Lake Storage Gen2 + Synapse + Purview) y Google Cloud (BigQuery + Dataplex + Cloud Storage). Ninguna es inherentemente superior: la eleccion depende del ecosistema previo del organismo.
La infraestructura sola, sin embargo, no resuelve el problema de Juana. Para eso hace falta la segunda capa.
La capa organizacional: DAMA-DMBOK y como volver a unir las 7 Juanas
DAMA-DMBOK es al gobierno de datos lo que las normas ISO son a calidad, o lo que la NIIF es a contabilidad. Es el marco internacional reconocido para gestionar los datos de una organizacion con criterio profesional. Lo desarrolla la Data Management Association, lo ensenian las universidades mas importantes del mundo y lo aplican gobiernos y empresas en todos los continentes.
Para un gobierno provincial, las 11 areas de DAMA-DMBOK se agrupan en cuatro bloques practicos:
| Bloque | Areas DAMA | Para que sirve |
|---|---|---|
| Identidad y calidad | Data Quality, Master Data Management, Reference Data | Resuelve entity resolution. Las 7 Juanas vuelven a ser una sola. |
| Seguridad y privacidad | Data Security, Data Privacy | Protege datos sensibles del ciudadano y cumple con la ley de proteccion de datos personales. |
| Integracion | Data Integration, Interoperability | Permite que los ministerios conversen entre si sin disputas por la propiedad del dato. |
| Conocimiento y gobierno | Data Governance, Metadata, Architecture, Document and Content | Define quien decide que, como se documenta, como se mantiene en el tiempo. |
Como se resuelve el problema de Juana Garcia en la practica
El proceso de entity resolution aplicado al ciudadano tiene cinco pasos:
- Identificacion de fuentes. Relevar todos los sistemas donde aparece el ciudadano. En el caso de Juana, los 7 padrones identificados.
- Estandarizacion. Normalizar formatos: mayusculas, acentos, abreviaturas, formatos de fecha y telefono.
- Matching. Aplicar algoritmos de coincidencia basados en DNI exacto, similitud fonetica del nombre, distancia geografica del domicilio y fecha de nacimiento.
- Resolucion. Generar un ID unico provincial de Juana Garcia que apunta a sus 7 versiones de origen.
- Master Data Management. Ese ID unico se convierte en la referencia para toda nueva consulta. La Juana Garcia provincial es una sola.
Cuando esto esta hecho, el gobernador puede preguntar cuantas Juanas hay en la provincia y recibir una respuesta en 5 segundos, no en 5 dias. Eso es gobernar con datos.
El plan de 90 dias con entregables reales
El argumento que mas escuchamos de los funcionarios es "esto suena bien pero es un proyecto de largo plazo". No lo es. Estructuramos la implementacion en tres fases de 30 dias cada una.
Dias 1 a 30: Diagnostico
- Entrevistas con 8 a 12 referentes tecnicos y politicos del organismo.
- Inventario de fuentes de datos: cuantos sistemas, que tecnologias, que datos contienen.
- Mapa de duplicaciones del ciudadano.
- Definicion del caso de uso priorizado (primer ministerio o programa a integrar).
- Documento de evaluacion de madurez DAMA-DMBOK del organismo.
Dias 31 a 60: Construccion del MVP
- Infraestructura cloud configurada y operativa.
- Ingesta automatica de las 3 a 5 fuentes de datos principales.
- Primer modelo de entity resolution funcionando sobre la entidad ciudadano.
- Gobernanza inicial: roles definidos, politica de calidad minima documentada.
Dias 61 a 90: Gobernanza y primer caso de uso
- DAMA-DMBOK aplicado en las 4 areas criticas.
- Dashboard o aplicacion del caso de uso priorizado funcionando con datos saneados.
- Comite de Datos del gobierno provincial constituido y operativo.
- Demo al gobernador o intendente.
Al dia 91: foto unificada del ciudadano, primera aplicacion funcionando con datos confiables, roadmap a 12 meses defendible politicamente y Comite de Datos operativo.
Las 5 aplicaciones ciudadanas que se desbloquean
Una vez que el Data Lake con gobernanza DAMA-DMBOK esta operativo, estas son las aplicaciones que se vuelven posibles, todas en menos de un ano:
1. Tarjeta ciudadana unica
Un solo tramite, un solo dato, todos los beneficios sociales y municipales gestionados con un unico ID provincial. Sin duplicaciones, sin fricciones.
2. Chatbot ciudadano inteligente
Cuando Juana escribe al WhatsApp del gobierno, el bot sabe quien es, que programas ya tiene, que le corresponde y que no le corresponde. Sin preguntar lo mismo cinco veces.
3. Deteccion temprana de vulnerabilidad social
Cruce automatizado de variables que identifica familias en situacion de riesgo antes de que la crisis sea irreversible. La politica social deja de ser reactiva.
4. Optimizacion de inversion territorial
Mapas vivos de donde estan los problemas reales, basados en datos consolidados, para invertir presupuesto donde hay impacto comprobable.
5. Transparencia y rendicion de cuentas en tiempo real
Portales publicos donde el ciudadano puede ver como se gasta cada peso, alimentados directamente desde el Data Lake sin intermediarios manuales.
Ninguna de estas aplicaciones se construye comprando un software. Todas se construyen sobre el mismo cimiento: un Data Lake con gobernanza DAMA-DMBOK.
Un punto de partida concreto
Si tu organismo quiere saber donde esta parado antes de dar el primer paso, en AutoScraping usamos un diagnostico de 27 preguntas basado en el marco DAMA-DMBOK para evaluar la madurez de datos de cualquier gobierno provincial o municipal.
El diagnostico es gratuito y tarda menos de 45 minutos con el equipo tecnico del organismo. Al final, tenes un mapa claro de brechas, un orden de prioridades y una estimacion honesta de lo que cuesta resolverlo.
Agenda una sesion de diagnostico con nuestro equipo
AutoScraping es una empresa de ingenieria de datos e inteligencia artificial con sede en Argentina. Trabajamos con gobiernos provinciales, municipios y empresas privadas en la construccion de infraestructuras de datos escalables. Somos Solution Partner certificados de Bright Data y hemos trabajado en proyectos de data governance con organismos publicos de la region NOA.