El gobierno de datos define roles, responsabilidades y procesos para garantizar la rendición de cuentas y la propiedad de los activos de datos en toda la empresa.
El gobierno de datos es un sistema para definir quién dentro de una organización tiene autoridad y control sobre los activos de datos y cómo se pueden usar esos activos de datos. Abarca las personas, los procesos y las tecnologías necesarios para administrar y proteger los activos de datos.
El Data Governance Institute lo define como «un sistema de derechos de decisión y responsabilidades para procesos relacionados con la información, ejecutados de acuerdo con modelos acordados que describen quién puede tomar qué acciones con qué información, y cuándo, bajo qué circunstancias, utilizando qué métodos».
La Data Management Association (DAMA) International lo define como la «planificación, supervisión y control sobre la gestión de datos y el uso de datos y fuentes relacionadas con los datos».
El gobierno de datos puede considerarse mejor como una función que respalda la estrategia general de gestión de datos de una organización. Dicho marco proporciona a su organización un enfoque holístico para recopilar, administrar, proteger y almacenar datos. Para ayudar a comprender lo que debe cubrir un marco, DAMA visualiza la gestión de datos como una rueda, con el gobierno de
datos como el centro desde el cual irradian las siguientes 10 áreas de conocimiento de gestión de datos:
• Arquitectura de datos: la estructura general de los datos y los recursos relacionados con los datos como parte integral de la arquitectura empresarial.
• Modelado y diseño de datos: análisis, diseño, construcción, pruebas y mantenimiento
• Almacenamiento y operaciones de datos: implementación y administración del almacenamiento de activos de datos físicos estructurados
• Seguridad de los datos: garantizar la privacidad, la confidencialidad y el acceso adecuado
• Integración e interoperabilidad de datos: adquisición, extracción, transformación, movimiento, entrega, replicación, federación, virtualización y soporte operativo
• Documentos y contenido: almacenar, proteger, indexar y permitir el acceso a los datos que se encuentran en fuentes no estructuradas y hacer que estos datos estén disponibles para la integración e interoperabilidad con datos estructurados
• Datos maestros y de referencia: gestión de datos compartidos para reducir la redundancia y garantizar una mejor calidad de los datos mediante la definición y el uso estandarizados de los valores de los datos.
• Almacenamiento de datos e inteligencia empresarial (BI): gestión del procesamiento de datos analíticos y habilitación del acceso a los datos de soporte de decisiones para informes y análisis.
• Metadatos: recopilación, categorización, mantenimiento, integración, control, administración y entrega de metadatos
• Calidad de los datos: definir, supervisar, mantener la integridad de los datos y mejorar la calidad de los datos
Al establecer una estrategia, se debe considerar cada una de las facetas anteriores de la recopilación, administración, archivo y uso de datos.
El Business Application Research Center (BARC) advierte que el gobierno de datos es un programa altamente complejo y continuo, no una «iniciativa big bang», y corre el riesgo de que los participantes pierdan confianza e interés con el tiempo. Para contrarrestar eso, BARC recomienda comenzar con un proyecto prototipo manejable o específico de la aplicación y luego expandirse en toda la empresa en función de las lecciones aprendidas.
BARC recomienda los siguientes pasos para la implementación:
• Definir objetivos y comprender los beneficios
• Analizar el estado actual y el análisis delta
• Derivar una hoja de ruta
• Convencer a las partes interesadas y presupuestar el proyecto
• Desarrollar y planificar el programa de gobierno de datos
• Implementar el programa de gobierno de datos
• Monitorizar y controlar
El gobierno de datos es solo una parte de la disciplina general de la gestión de datos, aunque es importante. Mientras que el gobierno de datos se trata de los roles, responsabilidades y procesos para garantizar la rendición de cuentas y la propiedad de los activos de datos, DAMA define la gestión de datos como «un término general que describe los procesos utilizados para planificar, especificar, habilitar, crear, adquirir, mantener, usar, archivar, recuperar, controlar y purgar datos».
Si bien la gestión de datos se ha convertido en un término común para la disciplina, a veces se la conoce como gestión de recursos de datos o gestión de información empresarial (EIM). Gartner describe EIM como «una disciplina integradora para estructurar, describir y gobernar los activos de información a través de los límites organizativos y técnicos para mejorar la eficiencia, promover la transparencia y permitir la visión del negocio».
Importancia de la gobernanza de datos
La mayoría de las empresas ya tienen algún tipo de gobierno para aplicaciones individuales, unidades de negocio o funciones, incluso si los procesos y
responsabilidades son informales. Como práctica, se trata de establecer un control sistemático y formal sobre estos procesos y responsabilidades. Hacerlo puede ayudar a las empresas a seguir siendo receptivas, especialmente a medida que crecen a un tamaño en el que ya no es eficiente para las personas realizar tareas multifuncionales. Varios de los beneficios generales de la gestión de datos solo se pueden obtener después de que la empresa haya establecido un gobierno de datos sistemático. Algunos de estos beneficios incluyen:
• Soporte de decisiones mejor y más completo derivado de datos consistentes y uniformes en toda la organización
• Reglas claras para cambiar procesos y datos que ayudan al negocio y a TI a ser más ágiles y escalables
• Reducción de costos en otras áreas de la gestión de datos a través de la provisión de mecanismos de control central
• Mayor eficiencia a través de la capacidad de reutilizar procesos y datos
• Mayor confianza en la calidad de los datos y la documentación de los procesos de datos
• Mejora del cumplimiento de las normativas sobre datos
El objetivo es establecer los métodos, el conjunto de responsabilidades y los procesos para estandarizar, integrar, proteger y almacenar datos corporativos. Según BARC, los objetivos clave de una organización deben ser:
• Minimice los riesgos
• Establecer reglas internas para el uso de datos
• Implementar requisitos de cumplimiento
• Mejorar la comunicación interna y externa
• Aumentar el valor de los datos
• Facilitar la administración de lo anterior
• Reducir costes
• Ayudar a garantizar la continuidad de la empresa a través de la gestión y optimización de riesgos
BARC señala que tales programas siempre abarcan los niveles estratégico, táctico y operativo en las empresas, y deben tratarse como procesos continuos e iterativos.
Según el Data Governance Institute, ocho principios están en el centro de todos los programas exitosos de gobierno y administración de datos:
1. Todos los participantes deben tener integridad en sus relaciones entre sí. Deben ser veraces y comunicativos al discutir los impulsores, las restricciones, las opciones y los impactos de las decisiones relacionadas con los datos.
2. Los procesos de gobierno y administración de datos requieren transparencia. Debe quedar claro para todos los participantes y auditores cómo y cuándo se introdujeron en los procesos las decisiones y controles relacionados con los datos.
3. Las decisiones, procesos y controles relacionados con los datos sujetos a la gobernanza de datos deben ser auditables. Deben ir acompañados de documentación para respaldar los requisitos de auditoría operativa y basados en el cumplimiento.
4. Deben definir quién es responsable de las decisiones, procesos y controles multifuncionales relacionados con los datos.
5. Debe definir quién es responsable de las actividades de administración que son responsabilidades de contribuyentes individuales y grupos de administradores de datos.
6. Los programas deben definir las responsabilidades de una manera que introduzca controles y equilibrios entre los equipos de negocios y tecnología, y entre aquellos que crean/recopilan información, aquellos que la administran, quienes la usan y aquellos que introducen estándares y requisitos de cumplimiento.
7. El programa debe introducir y apoyar la estandarización de los datos empresariales.
8. Los programas deben apoyar actividades proactivas y reactivas de gestión del cambio para los valores de los datos de referencia y la estructura/uso de datos maestros y metadatos.
Las estrategias de gobierno de datos deben adaptarse para adaptarse mejor a los procesos, necesidades y objetivos de una organización. Aún así, hay seis mejores prácticas básicas que vale la pena seguir:
1. Identificar elementos de datos críticos y tratar los datos como un recurso estratégico.
2. Establecer políticas y procedimientos para todo el ciclo de vida de los datos.
3. Involucrar a los usuarios empresariales en el proceso de gobernanza.
4. No descuides la gestión de datos maestros.
5. Comprender el valor de la información.
6. No restrinja demasiado el uso de datos.
Para obtener más información sobre cómo hacer un gobierno de datos correcto, consulte «6 mejores prácticas para un buen gobierno de datos«.
Un buen gobierno de datos no es una tarea sencilla. Requiere trabajo en equipo, inversión y recursos, así como planificación y monitoreo. Algunos de los principales desafíos de un programa de gobierno de datos incluyen:
• Falta de liderazgo de datos: Al igual que otras funciones comerciales, el gobierno de datos requiere un fuerte liderazgo ejecutivo. El líder debe dar dirección al equipo de gobierno, desarrollar políticas para que todos en la organización las sigan y comunicarse con otros líderes de la empresa.
• Falta de recursos: Las iniciativas de gobierno de datos pueden tener dificultades por la falta de inversión en presupuesto o personal. El gobierno de datos debe ser propiedad y pagado por alguien, pero rara vez genera ingresos por sí solo. Sin embargo, el gobierno de datos y la gestión de datos en general son esenciales para aprovechar los datos para generar ingresos.
• Datos aislados: Los datos tienen una forma de convertirse en silos y segmentados con el tiempo, especialmente a medida que las líneas de negocio u otras funciones desarrollan nuevas fuentes de datos, aplican nuevas tecnologías y similares. Su programa de gobierno de datos necesita romper continuamente nuevos silos.
Para obtener más información sobre estas dificultades y otras, consulte «7 errores de gobierno de datos que debe evitar«.
El gobierno de datos es un programa continuo en lugar de una solución tecnológica, pero existen herramientas con características de gobierno de datos que pueden ayudar a respaldar su programa. La herramienta que se adapte a su empresa dependerá de sus necesidades, volumen de datos y presupuesto. Según PeerSpot, algunas de las soluciones más populares incluyen:
Solución de gobierno de datos
Gobernanza de Collibra: Collibra es una solución para toda la empresa que automatiza muchas tareas de gobierno y administración. Incluye un administrador de políticas, un servicio de asistencia de datos, un diccionario de datos y un glosario empresarial.
Gestión de datos SAS: Construido sobre la plataforma SAS, SAS Data Management proporciona una GUI basada en roles para administrar procesos e incluye un glosario empresarial integrado, administración de metadatos SAS y de terceros, y visualización de linaje.
Erwin Data Intelligence (DI) para el gobierno de datos: Erwin DI combina el catálogo de datos y las capacidades de alfabetización de datos para proporcionar conocimiento y acceso a los activos de datos disponibles. Proporciona orientación sobre el uso de esos activos de datos y garantiza que se sigan las políticas de datos y las mejores prácticas.
Informatica Axon: Informatica Axon es un centro de recopilación y un mercado de datos para programas de soporte. Las características clave incluyen un glosario empresarial colaborativo, la capacidad de visualizar el linaje de datos y generar mediciones de calidad de datos basadas en definiciones comerciales.
SAP Data Hub: SAP Data Hub es una solución de orquestación de datos destinada a ayudarle a descubrir, refinar, enriquecer y gobernar todos los tipos, variedades y volúmenes de datos en todo su entorno de datos. Ayuda a las organizaciones a establecer configuraciones de seguridad y directivas de control de identidad para usuarios, grupos y roles, y a optimizar las prácticas recomendadas y los procesos para la administración de directivas y el registro de seguridad.
Alatión: es un catálogo de datos empresariales que indexa automáticamente los datos por origen. Una de sus capacidades clave, TrustCheck, proporciona «barandillas» en tiempo real a los flujos de trabajo. Diseñado específicamente para admitir el análisis de autoservicio, TrustCheck adjunta pautas y reglas a los activos de datos.
Suite de gobierno de datos Varonis: La solución de Varonis automatiza las tareas de protección y gestión de datos aprovechando un marco de metadatos escalable que permite a las organizaciones administrar el acceso a los datos, ver pistas de auditoría de cada evento de archivo y correo electrónico, identificar la propiedad de los datos en diferentes unidades de negocio y encontrar y clasificar datos y documentos confidenciales.
Gobierno de datos de IBM: IBM Data Governance aprovecha el aprendizaje automático para
Gobierno de datos recopilar y seleccionar activos de datos. El catálogo de datos integrado ayuda a las empresas a encontrar, seleccionar, analizar, preparar y compartir datos.
El gobierno de datos es un sistema, pero hay algunas certificaciones que pueden ayudar a su organización a obtener una ventaja, incluidas las siguientes:
• DAMA Certified Data Management Professional (CDMP)
• Profesional de Gobierno y Administración de Datos (DGSP)
• Gestión de datos empresariales de edX
• SAP Certified Application Associate – SAP Master Data Governance
Para obtener certificaciones relacionadas, consulte «10 certificaciones de administración de datos maestros que darán sus frutos«.
Cada empresa compone su gobierno de datos de manera diferente, pero hay algunos puntos en común.
Comité directivo: Los programas de gobierno abarcan toda la empresa, generalmente comenzando con un comité directivo compuesto por altos directivos, a menudo individuos de nivel C o vicepresidentes responsables de las líneas de negocio. Morgan Templar, autor de Get Governed: Building World Class Data Governance Programs, dice que las responsabilidades de los miembros del comité directivo incluyen establecer la estrategia general de gobierno con resultados específicos, defender el trabajo de los administradores de datos y responsabilizar a la organización de gobierno de los plazos y resultados.
Propietario de los datos: Templar dice que los propietarios de datos son individuos responsables de garantizar que la información dentro de un dominio de datos específico se rija a través de sistemas y líneas de negocio. Generalmente son miembros del comité directivo, aunque pueden no ser miembros con derecho a voto. Los titulares de los datos son responsables de:
• Aprobación de glosarios de datos y otras definiciones de datos
• Garantizar la precisión de la información en toda la empresa
• Actividades directas de calidad de datos
• Revisar y aprobar enfoques, resultados y actividades de gestión de datos maestros
• Trabajar con otros propietarios de datos para resolver problemas de datos
• Revisión de segundo nivel para los problemas identificados por los administradores de datos
• Proporcionar al comité directivo información sobre soluciones de software, políticas o requisitos reglamentarios de su dominio de datos
Administrador de datos:Los administradores de datos son responsables de la gestión diaria de los datos. Son expertos en la materia (PYME) que entienden y comunican el significado y el uso de la información, dice Templar, y trabajan con otros administradores de datos en toda la organización como el órgano rector de la
mayoría de las decisiones de datos. Los administradores de datos son responsables de:
• Ser pymes para su dominio de datos
• Identificar problemas de datos y trabajar con otros administradores de datos para resolverlos
• Actuar como miembro del consejo de administradores de datos
• Propuesta, discusión y votación de políticas de datos y actividades del comité
• Informar al propietario de los datos y otras partes interesadas dentro de un dominio de datos
• Trabajar de forma multifuncional en todas las líneas de negocio para garantizar que los datos de su dominio se administren y comprendan
La explosión de la inteligencia artificial está haciendo que la gente se replantee lo que nos hace únicos. Llámalo el efecto IA.
La inteligencia artificial ha dado saltos impresionantes en el último año. Los algoritmos ahora están haciendo cosas, como diseñar drogas, escribir votos matrimoniales, negociar acuerdos, crear ilustraciones, componer música, que siempre han sido prerrogativa exclusiva de los humanos.
Ha habido mucha especulación vertiginosa sobre las implicaciones económicas de todo esto. (¡La IA nos hará tremendamente productivos! ¡La IA nos robará nuestros trabajos!) Sin embargo, el advenimiento de la IA sofisticada plantea otra gran pregunta que ha recibido mucha menos atención: ¿Cómo cambia esto nuestro sentido de lo que significa ser humano? Frente a máquinas cada vez más inteligentes, ¿seguimos siendo… bueno, ¿especial?
«La humanidad siempre se ha visto a sí misma como única en el universo», dice Benoît Monin, profesor de comportamiento organizacional en la Escuela de Negocios de Stanford. «Cuando el contraste era con los animales, señalamos nuestro uso del lenguaje, la razón y la lógica como rasgos definitorios. Entonces, ¿qué sucede cuando el teléfono en tu bolsillo de repente es mejor que tú en estas cosas?»
Monin y Erik SantoroAbrir en una ventana nueva, entonces candidato a doctorado en psicología social en Stanford, comenzaron a hablar de esto hace unos años, cuando un programa llamado AlphaGo estaba golpeando a los mejores jugadores del mundo en el complejo juego de estrategia Go. Lo que les intrigaba era cómo reaccionaba la gente a las noticias.
«Nos dimos cuenta de que cuando discutían estos hitos, la gente a menudo parecía estar a la defensiva», dice Santoro, quien obtuvo su doctorado esta primavera y pronto comenzará un postdoctorado en la Universidad de Columbia. «La charla gravitaría hacia lo que la IA aún no podía hacer, como si quisiéramos asegurarnos de que nada había cambiado realmente».
Y con cada nuevo avance, agrega Monin, llegó el estribillo: «Oh, eso no es inteligencia real, es solo mimetismo y coincidencia de patrones», ignorando el hecho de que los humanos también aprenden por imitación, y tenemos nuestra propia parte de heurísticas defectuosas, sesgos y atajos que están muy por debajo del razonamiento objetivo.
Esto sugería que, si los humanos se sentían amenazados por las nuevas tecnologías, se trataba de algo más que la seguridad de sus cheques de pago. Tal vez la gente estaba ansiosa por algo más profundamente personal: su sentido de identidad y su relevancia en el gran esquema de las cosas.
Hay un modelo bien establecido en psicología llamado teoría de la identidad social. La idea es que los humanos se identifiquen con un grupo elegido y se definan a sí mismos en contraste con los grupos externos. Es ese instinto profundamente arraigado de nosotros contra ellos lo que impulsa tanto conflicto social.
«Pensamos, tal vez la IA es un nuevo grupo de referencia», dice Monin, «especialmente porque se presenta como que tiene rasgos similares a los humanos». Él y Santoro se preguntaban: si el sentido de singularidad de las personas se ve amenazado, ¿tratarán de distinguirse de sus nuevos rivales cambiando sus criterios de lo que significa ser humano, en efecto, moviendo los postes de la meta?
Para averiguarlo, Santoro y Monin elaboraron una lista de 20 atributos humanos, 10 de los cuales actualmente compartimos con AI. Los otros 10 eran rasgos que sentían que eran distintivos de los humanos.
Encuestaron a 200 personas sobre cuán capaces pensaban que eran los humanos y la IA en cada rasgo. Los encuestados calificaron a los humanos como más capaces en los 20 rasgos, pero la brecha fue pequeña en los rasgos compartidos y bastante grande en los distintivos, como se esperaba.
Ahora para la prueba principal: los investigadores dividieron alrededor de 800 personas en dos grupos. La mitad leyó un artículo titulado «La revolución de la inteligencia artificial», mientras que un grupo de control leyó un artículo sobre los notables atributos de los árboles. Luego, volviendo a la lista de 20 atributos humanos, se les pidió a los sujetos de prueba que calificaran «cuán esencial» es cada uno para ser humano.
Efectivamente, las personas que leen sobre IA calificaron atributos distintivamente humanos como la personalidad, la moralidad y las relaciones como más esenciales que aquellos que leyeron sobre árboles. Frente a los avances de la IA, el sentido de la naturaleza humana de las personas se redujo para enfatizar los rasgos que las máquinas no tienen. Monin y Santoro llamaron a esto el Efecto IA.
Para descartar otras explicaciones, realizaron varios experimentos más. En uno, a los participantes simplemente se les dijo que la IA estaba mejorando. «El mismo resultado», dice Monin. «Cada vez que mencionamos los avances en IA, obtuvimos este aumento en la importancia de los atributos humanos distintivos».
Sorprendentemente, los participantes no minimizaron los rasgos compartidos por los humanos y la IA, como los investigadores habían predicho que lo harían. «Entonces, incluso si los humanos ya no son los mejores en lógica, no dijeron que la lógica es menos central para la naturaleza humana», señala Santoro.
Por supuesto, la inteligencia artificial no es exactamente como una tribu invasora con modales extranjeros; después de todo, la creamos para ser como nosotros. (Las redes neuronales, por ejemplo, están inspiradas en la arquitectura del cerebro humano). Pero hay una ironía aquí: las habilidades cognitivas y el ingenio que hicieron posible la IA son ahora el terreno en el que las máquinas nos están superando. Y como sugieren los hallazgos de la presente investigación, eso puede llevarnos a dar más valor a otros rasgos.
También vale la pena señalar que esas habilidades cognitivas aún tienen un alto estatus y salario. ¿Podría eso cambiar si las habilidades blandas como la calidez y la empatía, la capacidad de fomentar el crecimiento en los demás, se valoran más? ¿Se pagará menos a los abogados y quants, mientras que los maestros y cuidadores recibirán más respeto y dinero?
«Esa es ciertamente una posible implicación de nuestro trabajo», dice Monin. «Hay una gran cantidad de competencias que no solo no serán asumidas por la IA, sino que la gente va a valorar cada vez más. En un mundo de IA ubicua y capaz, las habilidades interpersonales probablemente serán cada vez más buscadas por los empleadores».
Mientras tanto, dice, es probable que el efecto de la IA esté creciendo. «Desde que realizamos esta investigación, el mundo real ha superado todo lo que podríamos haber imaginado. Ha sido un aluvión constante de información sobre nuevos logros en IA. Así que todo lo que vimos en nuestra pequeña versión en el laboratorio probablemente ya esté sucediendo a una escala mucho más amplia en la sociedad».
El aprendizaje automático (ML) y la inteligencia artificial (IA) han recibido mucho interés público en los últimos años, y ambos términos son prácticamente comunes en el lenguaje de TI. A pesar de sus similitudes, existen algunas diferencias importantes entre ML e IA que con frecuencia se descuidan.
Por lo tanto, cubriremos las diferencias clave entre ML e IA en este blog para que pueda comprender cómo varían estas dos tecnologías y cómo se pueden utilizar juntas.
¡Comencemos!
Descripción del aprendizaje automático (ML)
El aprendizaje automático (ML) es un subcampo de la inteligencia artificial (IA) que automatiza el análisis y la predicción de datos utilizando algoritmos y modelos estadísticos. Permite que los sistemas reconozcan patrones y correlaciones en grandes cantidades de datos y se puede aplicar a una variedad de aplicaciones como el reconocimiento de imágenes, el procesamiento del lenguaje natural y otros.
ML se trata fundamentalmente de aprender de los datos. Es un método continuo de desarrollo de algoritmos que pueden aprender de datos pasados y predecir datos futuros. En este enfoque, los algoritmos de ML pueden mejorar continuamente su rendimiento a lo largo del tiempo al descubrir patrones previamente desconocidos o indetectables.
Tipos de algoritmos de aprendizaje automático
Comúnmente hay 4 tipos de algoritmos de aprendizaje automático. Conozcamos cada uno de ellos.
1. Aprendizaje supervisado
El aprendizaje supervisado incluye proporcionar al sistema ML datos etiquetados, lo que le ayuda a comprender cómo las variables únicas se conectan entre sí. Cuando se le presentan nuevos puntos de datos, el sistema aplica este conocimiento para hacer predicciones y decisiones.
2. Aprendizaje no supervisado
A diferencia del aprendizaje supervisado, el aprendizaje no supervisado no necesita datos etiquetados y utiliza varios métodos de agrupación para detectar patrones en grandes cantidades de datos no etiquetados.
3. Aprendizaje por refuerzo
El aprendizaje por refuerzo implica entrenar a un agente para actuar en un contexto específico recompensándolo o castigándolo por sus acciones.
4. Aprendizaje de transferencia
El aprendizaje de transferencia incluye el uso del conocimiento de actividades anteriores para aprender nuevas habilidades de manera eficiente.
Ahora, para tener más comprensión, exploremos algunos ejemplos de aprendizaje automático.
Ejemplos de aprendizaje automático
Entendamos el aprendizaje automático más claramente a través de ejemplos de la vida real.
1. Reconocimiento de imágenes: el aprendizaje automático se aplica en fotografías y videos para reconocer objetos, personas, puntos de referencia y otros elementos visuales. Google Fotos utiliza ML para comprender rostros, ubicaciones y otros elementos en las imágenes para que puedan buscarse y clasificarse convenientemente.
2. Procesamiento del lenguaje natural (PNL): La PNL permite a las máquinas interpretar el lenguaje como lo hacen los humanos. Los chatbots automatizados de servicio al cliente, por ejemplo, utilizan algoritmos de ML para responder consultas de manera confiable al comprender el texto y reconocer el propósito detrás de él.
3. Reconocimiento de voz: ML se utiliza para permitir que las computadoras entiendan los patrones de habla. Esta tecnología se utiliza para aplicaciones de reconocimiento de voz como Alexa de Amazon o Siri de Apple.
4. Motores de recomendación: los algoritmos de aprendizaje automático identifican patrones en los datos y hacen sugerencias basadas en esos patrones. Netflix, por ejemplo, aplica algoritmos de aprendizaje automático para sugerir películas o programas de televisión a los espectadores.
5. Coches autónomos: El aprendizaje automático está en el corazón de los coches autónomos. Se utiliza para la detección de objetos y la navegación, lo que permite a los automóviles identificar y navegar alrededor de los obstáculos en su entorno.
Ahora, esperamos que obtenga una comprensión clara del aprendizaje automático. Ahora, es el momento perfecto para explorar la Inteligencia Artificial (IA). Entonces, sin más preámbulos, profundicemos en la IA.
Comprender la inteligencia artificial (IA)
La inteligencia artificial (IA) es un tipo de tecnología que intenta replicar las capacidades de la inteligencia humana, como la resolución de problemas, la toma de decisiones y el reconocimiento de patrones. En previsión de las circunstancias cambiantes y los nuevos conocimientos, los sistemas de IA están diseñados para aprender, razonar y autocorregirse.
Los algoritmos en los sistemas de IA utilizan conjuntos de datos para obtener información, resolver problemas y elaborar estrategias de toma de decisiones. Esta información puede provenir de una amplia gama de fuentes, incluidos sensores, cámaras y comentarios de los usuarios.
La IA ha existido durante varias décadas y ha crecido en sofisticación con el tiempo. Se utiliza en diversas industrias, incluyendo la banca, la atención médica, la fabricación, el comercio minorista e incluso el entretenimiento. La IA está transformando rápidamente la forma en que las empresas funcionan e interactúan con los clientes, lo que la convierte en una herramienta indispensable para muchas empresas.
En el mundo moderno, la IA se ha vuelto más común que nunca. Las empresas están recurriendo a tecnologías impulsadas por IA, como el reconocimiento facial, el procesamiento del lenguaje natural (NLP), los asistentes virtuales y los vehículos autónomos para automatizar procesos y reducir costos.
En última instancia, la IA tiene el potencial de revolucionar muchos aspectos de la vida cotidiana al proporcionar a las personas soluciones más eficientes y efectivas. A medida que la IA continúa evolucionando, promete ser una herramienta invaluable para las empresas que buscan aumentar su ventaja competitiva.
Tenemos muchos ejemplos de IA asociados con nuestra vida cotidiana. Exploremos algunos de ellos:
Se utilizan en centros comerciales para ayudar a los clientes y en fábricas para ayudar en las operaciones diarias. Además, también puede contratar desarrolladores de IA para desarrollar robots impulsados por IA para sus negocios. Además de estos, los robots impulsados por IA también se utilizan en otras industrias, como el ejército, la salud, el turismo y más.
4. Asistentes de voz: La inteligencia artificial es utilizada por asistentes de voz virtuales como Siri, Alexa y Google Home para comprender los comandos de lenguaje natural y responder adecuadamente.
El procesamiento del lenguaje natural (NLP) es utilizado por estos asistentes de voz para comprender los comandos del usuario y responder con información pertinente.
5. Reconocimiento de imágenes: El reconocimiento de imágenes es un tipo de aplicación de inteligencia artificial (IA) que utiliza redes neuronales como una forma de reconocer objetos en una imagen o cuadro de video. Se puede utilizar en tiempo real para identificar objetos, emociones e incluso gestos.
Los ejemplos de IA y aprendizaje automático son bastante similares y confusos. Ambos parecen similares a primera vista, pero en realidad, son diferentes.
De hecho, el aprendizaje automático es un subconjunto de la inteligencia artificial. Para explicar esto más claramente, diferenciaremos entre IA y aprendizaje automático.
Aprendizaje Automático s Inteligencia Artificial: ¡las diferencias clave!
El aprendizaje automático (ML) y la inteligencia artificial (IA) son dos conceptos relacionados pero diferentes. Si bien ambos se pueden usar para construir soluciones informáticas potentes, tienen algunas diferencias importantes.
1. Enfoque:
Una de las principales diferencias entre ML e IA es su enfoque. El aprendizaje automático se centra en el desarrollo de sistemas que puedan aprender de los datos y hacer predicciones sobre resultados futuros. Esto requiere algoritmos que puedan procesar grandes cantidades de datos, identificar patrones y generar información a partir de ellos.
La IA, por otro lado, implica la creación de sistemas que pueden pensar, razonar y tomar decisiones por sí mismos. En este sentido, los sistemas de IA tienen la capacidad de «pensar» más allá de los datos que se les dan y proponer soluciones que son más creativas y eficientes que las derivadas de los modelos de ML.
2. Tipo de problemas que resuelven:
Otra diferencia entre ML e IA son los tipos de problemas que resuelven. Los modelos de ML se utilizan normalmente para resolver problemas predictivos, como predecir los precios de las acciones o detectar fraude.
Sin embargo, la IA se puede utilizar para resolver problemas más complejos, como el procesamiento del lenguaje natural y las tareas de visión por computadora.
3. Consumo de energía informática:
Finalmente, los modelos de ML tienden a requerir menos potencia de cálculo que los algoritmos de IA. Esto hace que los modelos de ML sean más adecuados para aplicaciones donde el consumo de energía es importante, como en dispositivos móviles o dispositivos IoT.
En palabras sencillas, el aprendizaje automático y la inteligencia artificial son campos relacionados pero distintos. Tanto AI como ML se pueden usar para crear soluciones informáticas potentes, pero tienen diferentes enfoques y tipos de problemas que resuelven y requieren diferentes niveles de potencia informática.
Por otro lado, la IA enfatiza el desarrollo de máquinas de autoaprendizaje que pueden interactuar con el entorno para identificar patrones, resolver problemas y tomar decisiones.
Ambos son importantes para las empresas, y es importante comprender las diferencias entre los dos para aprovechar sus beneficios potenciales. Por lo tanto, es el momento adecuado para ponerse en contacto con una empresa de desarrollo de aplicaciones de IA, equipar su negocio de IA y aprendizaje automático y disfrutar de los beneficios de estas tecnologías.
La representación de datos mediante gráficos como tablas, diagramas, infografías, mapas de calor, nubes de burbujas, diagramas de dispersión y gráficos mekko se denomina visualización de datos. Estas pantallas visuales y la representación de la información ayudan a comunicar relaciones de datos complejas y conocimientos basados en datos de una manera que facilita la comprensión y la base de decisiones.
El objetivo de la visualización de datos es ayudar a identificar patrones y tendencias a partir de grandes conjuntos de datos. Los datos se refieren al procesamiento de las visualizaciones inmersivas e interactivas que muestran los datos nuevos a medida que se transmiten. Hay un gran volumen de datos disponibles en la actualidad, y para obtener algún beneficio de esa abundancia de datos, el análisis en tiempo real se ha vuelto extremadamente necesario para que las empresas obtener una ventaja sobre su competencia. Las visualizaciones en tiempo real pueden ser muy útiles para las empresas que deben tomar decisiones estratégicas o sobre la marcha.
Es útil para las empresas que necesitan lidiar con el riesgo, tanto administrándolo como respondiendo si algo sale mal. Y, para aquellas empresas que pueden usar estas visualizaciones en tiempo real para aprovechar las oportunidades emergentes antes de que alguien más lo haga. Las visualizaciones en tiempo real funcionan mejor cuando la acción basada en entradas debe tomarse de inmediato al proporcionar contexto a los tomadores de decisiones.
Beneficios comerciales de la visualización de datos:
Procesamiento de información: Con un flujo constante de datos que se generan en tiempo real, es imposible procesarlos y darles sentido con solo mirarlos. La visualización ayuda a dar sentido al desorden de números y texto de una mejor manera. También es más fácil absorber e interpretar los datos cuando se presentan visualmente.
Perspectivas relevantes: La visualización de datos brinda información relevante al conectar y mostrar patrones de cómo se conectan los diferentes conjuntos de datos. Esto puede ayudar a identificar y extraer fácilmente tendencias y patrones que, de otro modo, no serían visibles a partir de los datos sin procesar. Esto es especialmente importante cuando se presentan datos de transmisión y se pueden pronosticar tendencias utilizando visualizaciones en tiempo real.
En los sistemas comerciales financieros, tales visualizaciones de datos en tiempo real pueden mostrar el ROI, las ganancias y las pérdidas en tiempo real y ayudar a las empresas a tomar decisiones inmediatas.
Operaciones comerciales: las visualizaciones de datos ofrecen a las empresas una visión general de la relación actual entre varias secciones y operaciones del negocio. Ayuda en el proceso de toma de decisiones y en la gestión de métricas comerciales críticas. Puede ayudar a revisar y analizar áreas de mejora.
Toma de decisiones: El patrón se vuelve más claro con la visualización de datos, lo que facilita la toma de decisiones más rápidas. Dado que existe una sincronización entre los datos en tiempo real y su visualización, las empresas pueden tomar decisiones rápidas que pueden afectar significativamente a la organización.
Análisis de clientes: La visualización de datos en tiempo real ayuda a analizar los datos de los clientes para comprender la tendencia del negocio. Puede revelar información sobre la comprensión y el conocimiento del público objetivo, sus preferencias y más. Tales conocimientos pueden ser útiles en el diseño de estrategias que puedan abordar los requisitos del cliente.
Ahorra tiempo: Es más fácil de entender, procesar y tomar decisiones basadas en datos representados gráficamente en lugar de pasar por toneladas de informes con datos sin procesar y generar informes a tiempo. Las visualizaciones de datos en tiempo real ayudan a ahorrar tiempo al categorizar y mostrar tendencias y patrones en tiempo real.
Interacción de datos: La visualización de datos ayuda a agrupar y categorizar datos y alienta a los empleados a dedicar tiempo a la interacción de datos a través de la visualización de datos. Esto conduce a mejores ideas y ayuda en la resolución de problemas. Ayuda a diseñar y crear soluciones comerciales procesables.
La visualización de datos en tiempo real proporciona un contexto adicional para los responsables de la toma de decisiones que necesitan responder de inmediato cuando se enfrentan a un riesgo y también para aquellas empresas que necesitan tomar decisiones rápidas antes de perder una oportunidad.
Algunos de los casos de uso para visualizaciones de datos en tiempo real son:
Conclusión
Los datos son la clave para la toma de decisiones en cualquier negocio. Ayudar al proceso de toma de decisiones mediante la representación activa de datos en tiempo real mediante el uso de diferentes métodos de visualización y representación en tiempo real puede brindarle a la empresa una ventaja competitiva ganadora.
¿QUÉ ES LA ALFABETIZACIÓN DE DATOS?
La alfabetización de datos es la capacidad de leer, escribir y comunicar datos en contexto, incluida una comprensión de las fuentes de datos y construcciones, métodos analíticos y técnicas aplicadas, y la capacidad de describir el caso de uso aplicación y valor resultante.
PASO #1: ESTABLECER UNA LÍNEA DE BASE UTILIZANDO DATOS DE REGISTRO
Recopile datos de registro de sus herramientas de BI para comparar las tasas actuales de adopción y uso
PASO #2: IDENTIFIQUE GRUPOS QUE NO USAN DATOS
Utilizando los datos consolidades de logs, identificar grupos y usuarios con el mas bajo nivel de compromiso.
PASO #3: EVALUAR DATOS LITERATURA
Llevar a cabo una evaluación de la alfabetización de datos. Identifica necesidades únicas de grupos con diferentes niveles de habilidad.
PASO #4: IDENTIFIQUE CAMPEONES EN DATOS
Identifique usuarios avanzados y departamentos altamente calificados. Reclutar campeones de datos.
PASO #5: CREAR RECURSOS EDUCACIONALES
Entreviste campeones, grabe videos sobre mejores prácticas, crear casos de uso, consejos y trucos que ayudarán a educar otros grupos.
PASO #6: LANZAR UNA CAMPANA EDUCATIVA.
Enseñe y distribuya los recursos educacionales a lo largo de la organización.
PASO #7: MEDIR EL PROGRESO: EJECUTAR Y REPETIR.
Mida los cambios y adopciones sobre el rendimiento del negocio. Realice otra evaluación de habilidades.
Los algoritmos y el software de Dongarra impulsaron el crecimiento de la computación de alto rendimiento y tuvieron un impacto significativo en muchas áreas de la ciencia computacional, desde la IA hasta los gráficos por ordenador
Nueva York, NY, 30 de marzo de 2022 – ACM, la Asociación para la Maquinaria Informática, ha nombrado hoy a Jack J. Dongarra ganador del Premio ACM A.M. Turing 2021 por sus contribuciones pioneras a los algoritmos numéricos y las bibliotecas que permitieron que el software de computación de alto rendimiento siguiera el ritmo de las mejoras exponenciales del hardware durante más de cuatro décadas. Dongarra es profesor distinguido de informática en el Departamento de Ingeniería Eléctrica e Informática de la Universidad de Tennessee. También es miembro del Oak Ridge National Laboratory y de la Universidad de Manchester.
El premio ACM A.M. Turing, a menudo a denominado «Premio Nobel de la Informática», está dotado con un millón de dólares y cuenta con el apoyo financiero de Google, Inc. Lleva el nombre de Alan M. Turing, el matemático británico que articuló los fundamentos matemáticos y los límites de la informática.
Dongarra ha liderado el mundo de la computación de alto rendimiento gracias a sus contribuciones a los algoritmos numéricos eficientes para las operaciones de álgebra lineal, los mecanismos de programación de la computación paralela y las herramientas de evaluación del rendimiento. Durante casi cuarenta años, la Ley de Moore produjo un crecimiento exponencial del rendimiento del hardware. Durante ese mismo tiempo, mientras la mayor parte del software no pudo seguir el ritmo de estos avances del hardware, el software numérico de alto rendimiento sí lo hizo, en gran parte gracias a los algoritmos, las técnicas de optimización y las implementaciones de software de calidad de producción de Dongarra.
Estas contribuciones establecieron un marco a partir del cual los científicos e ingenieros hicieron importantes descubrimientos e innovaciones que cambiaron el juego en áreas como el análisis de grandes datos, la salud, la energía renovable, la predicción del tiempo, la genómica y la economía, por nombrar algunas. El trabajo de Dongarra también ayudó a facilitar los avances en la arquitectura de los ordenadores y apoyó las revoluciones en los gráficos por ordenador y el aprendizaje profundo.
La mayor contribución de Dongarra fue la creación de bibliotecas y estándares de software de código abierto que emplean el álgebra lineal como un lenguaje intermedio que puede ser utilizado por una amplia variedad de aplicaciones. Estas bibliotecas se han escrito para procesadores individuales, ordenadores paralelos, nodos multinúcleo y múltiples GPU por nodo. Las bibliotecas de Dongarra también introdujeron muchas innovaciones importantes, como el autoajuste, la aritmética de precisión mixta y los cálculos por lotes.
Como principal embajador de la computación de alto rendimiento, Dongarra se encargó de convencer a los proveedores de hardware para que optimizaran estos métodos y a los desarrolladores de software para que utilizaran sus bibliotecas de código abierto en su trabajo. En última instancia, estos esfuerzos dieron lugar a que las bibliotecas de software basadas en el álgebra lineal lograran una adopción casi universal para la computación científica y de ingeniería de alto rendimiento en máquinas que van desde los ordenadores portátiles hasta los superordenadores más rápidos del mundo. Estas bibliotecas fueron esenciales para el crecimiento del campo, permitiendo que ordenadores cada vez más potentes resolvieran problemas computacionales difíciles.
«Los superordenadores más rápidos de hoy en día acaparan los titulares de los medios de comunicación y despiertan el interés del público al realizar hazañas alucinantes de un cuatrillón de cálculos en un segundo», explica la presidenta de la ACM, Gabriele Kotsis. «Pero más allá del comprensible interés por la superación de nuevos récords, la computación de alto rendimiento ha sido un importante instrumento de descubrimiento científico. Las innovaciones de la computación de alto rendimiento también se han extendido a muchas áreas diferentes de la informática y han hecho avanzar todo nuestro campo». Jack Dongarra desempeñó un papel fundamental en la dirección de la exitosa trayectoria de este campo. Su trabajo pionero se remonta a 1979 y sigue siendo uno de los líderes más destacados y comprometidos de la comunidad de la HPC. Su carrera ejemplifica sin duda el reconocimiento del Premio Turing a las «grandes contribuciones de importancia duradera»».
«El trabajo de Jack Dongarra ha cambiado fundamentalmente y ha hecho avanzar la computación científica», dijo Jeff Dean, Senior Fellow de Google y SVP de Google Research y Google Health. «Su profundo e importante trabajo en el núcleo de las bibliotecas numéricas más utilizadas del mundo subyace en todas las áreas de la computación científica, ayudando a avanzar en todo, desde el descubrimiento de fármacos hasta la predicción del tiempo, la ingeniería aeroespacial y docenas de campos más, y su profundo enfoque en la caracterización del rendimiento de una amplia gama de ordenadores ha llevado a importantes avances en las arquitecturas de los ordenadores que son muy adecuadas para los cálculos numéricos.»
Dongarra recibirá formalmente el premio ACM A.M. Turing en el banquete anual de premios de la ACM, que este año se celebrará el sábado 11 de junio en el Hotel Palace de San Francisco
CONTRIBUCIONES TÉCNICAS SELECTAS
Durante más de cuatro décadas, Dongarra ha sido el principal implementador o investigador de muchas bibliotecas como LINPACK, BLAS, LAPACK, ScaLAPACK, PLASMA, MAGMA y SLATE. Estas librerías se han escrito para procesadores individuales, ordenadores paralelos, nodos multinúcleo y múltiples GPU por nodo. Sus bibliotecas de software se utilizan, prácticamente de forma universal, para el cálculo científico y de ingeniería de alto rendimiento en máquinas que van desde los ordenadores portátiles hasta los superordenadores más rápidos del mundo.
Estas bibliotecas incorporan numerosas innovaciones técnicas de gran calado, como: Autotuning: a través de su proyecto ATLAS, premiado en la Conferencia de Supercomputación de 2016, Dongarra fue pionero en la búsqueda automática de parámetros algorítmicos que producen núcleos de álgebra lineal de eficiencia casi óptima, a menudo superando los códigos suministrados por los proveedores.
Aritmética de precisión mixta: En su artículo de la Conferencia de Supercomputación de 2006, «Exploiting the Performance of 32 bit Floating Point Arithmetic in Obtaining 64 bit Accuracy», Dongarra fue pionero en el aprovechamiento de las múltiples precisiones de la aritmética de punto flotante para ofrecer soluciones precisas con mayor rapidez. Este trabajo se ha convertido en un elemento fundamental en las aplicaciones de aprendizaje automático, como se ha demostrado recientemente en la prueba de referencia HPL-AI, que ha alcanzado niveles de rendimiento sin precedentes en los mejores superordenadores del mundo.
Cálculos por lotes: Dongarra fue pionero en el paradigma de dividir los cálculos de grandes matrices densas, que se utilizan habitualmente en simulaciones, modelado y análisis de datos, en muchos cálculos de tareas más pequeñas en bloques que pueden calcularse de forma independiente y concurrente. Basándose en su artículo de 2016, «Performance, design, and autotuning of batched GEMM for GPUs», Dongarra dirigió el desarrollo del estándar Batched BLAS para este tipo de cálculos, y también aparecen en las bibliotecas de software MAGMA y SLATE.
Dongarra ha colaborado a nivel internacional con muchas personas en los esfuerzos mencionados, siempre en el papel de impulsor de la innovación desarrollando continuamente nuevas técnicas para maximizar el rendimiento y la portabilidad, al tiempo que se mantienen resultados numéricamente fiables utilizando las técnicas más avanzadas. Otros ejemplos de su liderazgo son la interfaz de paso de mensajes (MPI), el estándar de facto para el paso de mensajes portátil en arquitecturas de computación paralela, y la API de rendimiento (PAPI), que proporciona una interfaz que permite la recopilación y síntesis del rendimiento de los componentes de un sistema heterogéneo. Los estándares que ayudó a crear, como MPI, el LINPACK Benchmark y la lista Top500 de superordenadores, sustentan tareas computacionales que van desde la predicción del tiempo hasta el cambio climático, pasando por el análisis de datos de experimentos de física a gran escala.
Antecedentes biográficos
Jack J. Dongarra es profesor distinguido de la Universidad de Tennessee y miembro distinguido del personal de investigación del Laboratorio Nacional de Oak Ridge desde 1989. También ha sido becario Turing en la Universidad de Manchester (Reino Unido) desde 2007. Dongarra se licenció en Matemáticas por la Universidad Estatal de Chicago, obtuvo un máster en Informática por el Instituto Tecnológico de Illinois y un doctorado en Matemáticas Aplicadas por la Universidad de Nuevo México.
Dongarra ha recibido, entre otros, el premio IEEE Computer Pioneer, el premio SIAM/ACM en Ciencia e Ingeniería Computacional y el premio ACM/IEEE Ken Kennedy. Es miembro de la ACM, el Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), la Sociedad de Matemáticas Industriales y Aplicadas (SIAM), la Asociación Americana para el Avance de la Ciencia (AAAS), la Conferencia Internacional de Supercomputación (ISC) y el Instituto Internacional de Ingeniería y Tecnología (IETI). Es miembro de la Academia Nacional de Ingeniería y miembro extranjero de la Real Sociedad Británica.
Acerca del Premio A.M. Turing de la ACM
El Premio A.M. Turing lleva el nombre de Alan M. Turing, el matemático británico que articuló los fundamentos matemáticos y los límites de la informática, y que fue un colaborador clave en el criptoanálisis aliado de la clave Enigma durante la Segunda Guerra Mundial. Desde su creación en 1966, el Premio Turing ha honrado a los científicos e ingenieros informáticos que crearon los sistemas y los fundamentos teóricos subyacentes que han impulsado la industria de la tecnología de la información.
Acerca de ACM
ACM, la Association for Computing Machinery, es la mayor sociedad educativa y científica de informática del mundo, que une a educadores, investigadores y profesionales para inspirar el diálogo, compartir recursos y abordar los retos de este campo. ACM refuerza la voz colectiva de la profesión informática a través de un fuerte liderazgo, la promoción de los más altos estándares y el reconocimiento de la excelencia técnica. La ACM apoya el crecimiento profesional de sus miembros ofreciéndoles oportunidades de aprendizaje permanente, desarrollo de su carrera y creación de redes profesionales.
La ciencia busca las leyes básicas de la naturaleza. Las matemáticas buscan nuevos teoremas que se basen en los antiguos. La ingeniería construye sistemas para resolver las necesidades humanas. Las tres disciplinas son interdependientes pero distintas. Es muy raro que una persona haga simultáneamente contribuciones fundamentales a las tres, pero Claude Shannon era una persona rara.
A pesar de ser el protagonista del reciente documental The Bit Player -y de que su trabajo y filosofía de investigación han inspirado mi propia carrera- Shannon no es precisamente un nombre conocido. Nunca ganó un Premio Nobel y no era una celebridad como Albert Einstein o Richard Feynman, ni antes ni después de su muerte en 2001. Pero hace más de 70 años, en un único e innovador artículo, sentó las bases de toda la infraestructura de comunicación que subyace a la era moderna de la información.
Shannon nació en Gaylord, Michigan, en 1916, hijo de un empresario local y una profesora. Tras licenciarse en ingeniería eléctrica y matemáticas por la Universidad de Michigan, escribió una tesis de máster en el Instituto Tecnológico de Massachusetts que aplicaba una disciplina matemática llamada álgebra de Boole al análisis y la síntesis de circuitos de conmutación. Fue un trabajo transformador, que convirtió el diseño de circuitos de un arte a una ciencia, y ahora se considera que fue el punto de partida del diseño de circuitos digitales.
A continuación, Shannon puso la mira en un objetivo aún mayor: la comunicación.
Claude Shannon escribió una tesis de maestría que puso en marcha el diseño de circuitos digitales, y una década más tarde escribió su documento seminal sobre la teoría de la información, «Una teoría matemática de la comunicación».
La comunicación es una de las necesidades humanas más básicas. Desde las señales de humo hasta las palomas mensajeras, pasando por el teléfono y la televisión, el ser humano siempre ha buscado métodos que le permitieran comunicarse más lejos, más rápido y de forma más fiable. Pero la ingeniería de los sistemas de comunicación siempre estuvo ligada a la fuente y el medio físico específicos. Shannon, en cambio, se preguntó: «¿Existe una gran teoría unificada para la comunicación?». En una carta de 1939 a su mentor, Vannevar Bush, Shannon esbozó algunas de sus ideas iniciales sobre «las propiedades fundamentales de los sistemas generales para la transmisión de inteligencia». Tras trabajar en el problema durante una década, Shannon publicó finalmente su obra maestra en 1948: «Una teoría matemática de la comunicación».
El núcleo de su teoría es un modelo sencillo pero muy general de comunicación: Un transmisor codifica la información en una señal, que es corrompida por el ruido y decodificada por el receptor. A pesar de su simplicidad, el modelo de Shannon incorpora dos ideas clave: aislar las fuentes de información y de ruido del sistema de comunicación que se va a diseñar, y modelar ambas fuentes de forma probabilística. Imaginó que la fuente de información generaba uno de los muchos mensajes posibles para comunicar, cada uno de los cuales tenía una determinada probabilidad. El ruido probabilístico añadía más aleatoriedad para que el receptor pudiera desentrañar.
Antes de Shannon, el problema de la comunicación se consideraba principalmente un problema de reconstrucción de señales deterministas: cómo transformar una señal recibida, distorsionada por el medio físico, para reconstruir el original con la mayor precisión posible. La genialidad de Shannon reside en su observación de que la clave de la comunicación es la incertidumbre. Al fin y al cabo, si supiera de antemano lo que le voy a decir en esta columna, ¿qué sentido tendría escribirla?
Diagrama esquemático del modelo de comunicación de Shannon, extraído de su documento.
Esta única observación desplazó el problema de la comunicación de lo físico a lo abstracto, permitiendo a Shannon modelar la incertidumbre utilizando la probabilidad. Esto supuso un shock total para los ingenieros de comunicación de la época.
En este marco de incertidumbre y probabilidad, Shannon se propuso determinar sistemáticamente el límite fundamental de la comunicación. Su respuesta se divide en tres partes. El concepto de «bit» de información, utilizado por Shannon como unidad básica de incertidumbre, desempeña un papel fundamental en las tres. Un bit, que es una abreviatura de «dígito binario», puede ser un 1 o un 0, y el documento de Shannon es el primero en utilizar la palabra (aunque él dijo que el matemático John Tukey la utilizó primero en un memorando).
En primer lugar, Shannon ideó una fórmula para el número mínimo de bits por segundo para representar la información, un número que denominó tasa de entropía, H. Este número cuantifica la incertidumbre que supone determinar qué mensaje generará la fuente. Cuanto menor sea la tasa de entropía, menor será la incertidumbre y, por tanto, más fácil será comprimir el mensaje en algo más corto. Por ejemplo, enviar mensajes de texto a un ritmo de 100 letras inglesas por minuto significa enviar uno de los 26100 mensajes posibles cada minuto, cada uno representado por una secuencia de 100 letras. Se podrían codificar todas estas posibilidades en 470 bits, ya que 2470 ≈ 26100. Si las secuencias fueran igualmente probables, la fórmula de Shannon diría que la tasa de entropía es efectivamente de 470 bits por minuto. En realidad, algunas secuencias son mucho más probables que otras, y la tasa de entropía es mucho menor, lo que permite una mayor compresión.
En segundo lugar, proporcionó una fórmula para el número máximo de bits por segundo que pueden comunicarse de forma fiable frente al ruido, que denominó capacidad del sistema, C. Se trata de la velocidad máxima a la que el receptor puede resolver la incertidumbre del mensaje, lo que la convierte en el límite de velocidad de la comunicación.
Por último, demostró que la comunicación fiable de la información de la fuente frente al ruido es posible si y sólo si H < C. Así, la información es como el agua: Si el caudal es inferior a la capacidad de la tubería, la corriente pasa de forma fiable.
Aunque se trata de una teoría de la comunicación, es, al mismo tiempo, una teoría de cómo se produce y transfiere la información: una teoría de la información. Por eso Shannon es considerado hoy «el padre de la teoría de la información».
Sus teoremas condujeron a algunas conclusiones contraintuitivas. Supongamos que usted está hablando en un lugar muy ruidoso. ¿Cuál es la mejor manera de asegurarse de que su mensaje llega? ¿Quizás repetirlo muchas veces? Ése es sin duda el primer instinto de cualquiera en un restaurante ruidoso, pero resulta que no es muy eficaz. Seguro que cuantas más veces te repitas, más fiable será la comunicación. Pero has sacrificado la velocidad por la fiabilidad. Shannon nos mostró que podemos hacerlo mucho mejor. Repetir un mensaje es un ejemplo de utilizar un código para transmitir un mensaje, y utilizando códigos diferentes y más sofisticados, se puede comunicar rápidamente – hasta el límite de velocidad, C – manteniendo cualquier grado de fiabilidad.
Otra conclusión inesperada que se desprende de la teoría de Shannon es que, sea cual sea la naturaleza de la información (un soneto de Shakespeare, una grabación de la Quinta Sinfonía de Beethoven o una película de Kurosawa), siempre es más eficaz codificarla en bits antes de transmitirla. Así, en un sistema de radio, por ejemplo, aunque tanto el sonido inicial como la señal electromagnética enviada por el aire son formas de onda analógicas, los teoremas de Shannon implican que lo óptimo es digitalizar primero la onda sonora en bits, y luego mapear esos bits en la onda electromagnética. Este sorprendente resultado es la piedra angular de la moderna era de la información digital, en la que el bit reina como moneda universal de la información.
Shannon también tenía un lado lúdico, que a menudo llevaba a su trabajo. Aquí, posa con un laberinto que construyó para un ratón electrónico, llamado Theseus.
La teoría general de la comunicación de Shannon es tan natural que es como si hubiera descubierto las leyes de la comunicación del universo, en lugar de inventarlas. Su teoría es tan fundamental como las leyes físicas de la naturaleza. En ese sentido, era un científico.
Shannon inventó nuevas matemáticas para describir las leyes de la comunicación. Introdujo nuevas ideas, como la tasa de entropía de un modelo probabilístico, que se han aplicado en ramas matemáticas de gran alcance, como la teoría ergódica, el estudio del comportamiento a largo plazo de los sistemas dinámicos. En ese sentido, Shannon era un matemático.
Pero, sobre todo, Shannon era un ingeniero. Su teoría estaba motivada por problemas prácticos de ingeniería. Y aunque era esotérica para los ingenieros de su época, la teoría de Shannon se ha convertido en el marco estándar en el que se basan todos los sistemas de comunicación modernos: ópticos, submarinos e incluso interplanetarios. Personalmente, he tenido la suerte de formar parte de un esfuerzo mundial por aplicar y ampliar la teoría de Shannon a la comunicación inalámbrica, aumentando la velocidad de las comunicaciones en dos órdenes de magnitud a lo largo de múltiples generaciones de estándares. De hecho, el estándar 5G que se está implantando actualmente utiliza no uno, sino dos códigos prácticos probados para alcanzar el límite de velocidad de Shannon.
Aunque Shannon murió en 2001, su legado sigue vivo en la tecnología que conforma nuestro mundo moderno y en los dispositivos que creó, como este autobús teledirigido
Shannon descubrió la base de todo esto hace más de 70 años. ¿Cómo lo hizo? Centrándose implacablemente en la característica esencial de un problema e ignorando todos los demás aspectos. La simplicidad de su modelo de comunicación es una buena ilustración de este estilo. También sabía centrarse en lo que es posible, más que en lo que es inmediatamente práctico.
El trabajo de Shannon ilustra el verdadero papel de la ciencia de alto nivel. Cuando empecé a estudiar en la universidad, mi asesor me dijo que el mejor trabajo era podar el árbol del conocimiento, en lugar de hacerlo crecer. Entonces no sabía qué pensar de este mensaje; siempre pensé que mi trabajo como investigador era añadir mis propias ramitas. Pero a lo largo de mi carrera, cuando tuve la oportunidad de aplicar esta filosofía en mi propio trabajo, empecé a entenderlo.
Cuando Shannon empezó a estudiar la comunicación, los ingenieros ya tenían una gran colección de técnicas. Fue su trabajo de unificación el que podó todas estas ramitas de conocimiento en un único árbol coherente y encantador, que ha dado sus frutos a generaciones de científicos, matemáticos e ingenieros.
Aunque el primer director de datos se contrató hace casi 20 años, muchas organizaciones están empezando a darse cuenta del valor de los datos y buscan a alguien que supervise sus operaciones de datos.
La función de director de datos se desarrolló cuando las organizaciones empezaron a darse cuenta del valor de los datos.
Capital One contrató al primer Chief Data Officer (CDO) conocido en 2002, pero hasta hace 10 años esta función seguía siendo bastante rara. Desde entonces, sin embargo, las organizaciones se han dado cuenta de que los datos son un activo, y muchas han tomado medidas para maximizar su valor, incluyendo la contratación de un director de datos.
La necesidad de un director de datos surgió porque, cuando las organizaciones comenzaron el proceso de obtener valor de los datos, éstos solían estar desorganizados. Por lo tanto, las organizaciones necesitaban a alguien que supervisara la tarea, a veces monumental, de unir datos de fuentes dispares y convertirlos en una herramienta funcional para impulsar el proceso de toma de decisiones.
En los años transcurridos desde entonces, la función se ha hecho más común, y la responsabilidad del director de datos es permitir que las organizaciones obtengan el máximo valor de sus datos.
Un estudio de NewVantage Partners publicado en enero de 2021 reveló que el 76 % de lo que denominó empresas de primer orden –grandes corporaciones como American Express, Bank of America, Capital One, Cigna, JPMorgan Chase, Liberty Mutual, Mastercard, McDonalds, Visa y Walmart– tienen ahora directores de datos y/o directores de análisis, frente al 12 % en 2012 y el 65 % en 2020.
Pero mientras que las grandes empresas, y sectores enteros como los servicios financieros, han estado a la vanguardia de la contratación de directores de datos, otros, como las organizaciones educativas, están empezando a reconocer la importancia de la función y a incorporar directores de datos a sus plantillas. La misma encuesta de NewVantage Partners reveló que solo el 24,4 % de los encuestados afirma haber forjado una cultura de datos y el 24 % dice haber creado una organización basada en los datos.
La pandemia, por su parte, ha puesto de manifiesto el valor de los datos.
Recientemente, Cindi Howson, directora de estrategia de datos del proveedor de análisis ThoughtSpot y presentadora del podcast The Data Chief, se tomó el tiempo de hablar sobre el papel del director de datos. En una entrevista, explica cómo se originó la función, cómo ha evolucionado desde entonces y hacia dónde puede dirigirse.
¿Cuáles son las responsabilidades de un director de datos?
Cindi Howson: Un director de datos es una persona que, en la primera generación, puso en orden la casa de datos de una empresa, reuniendo los datos bajo un paraguas en lugar de en silos, asegurándose de que estuvieran seguros. El cambio, una vez que la empresa ha hecho eso, es obtener valor de sus datos. En este punto, a veces se produce una bifurcación de funciones entre el director de datos y el director de análisis. Incluso vemos que algunos combinan estos términos para convertir a alguien en un CDAO [chief data and analytics officer]. Pero la cuestión es obtener valor empresarial de los datos.
¿Qué diferencia hay entre un director de datos y un director de análisis?
Howson: Si pensamos que el objetivo de los datos es extraer valor de ellos, no debería haber ninguna diferencia. Yo los veo como una misma cosa. Se trata de una maduración del papel: un CDO maduro es el director de análisis. Dicho esto, hay algunas organizaciones en las que el director de análisis se ocupa mucho más del lado de la ciencia de los datos de las organizaciones, pero en última instancia el director de análisis debería ser responsable de organizar los datos, salvaguardarlos, aplicarlos al valor del negocio y crear productos de datos. Si no lo están haciendo, será mejor que lo haga otro.
¿Cuándo empezó a surgir el papel de director de datos y por qué?
Howson: Algunos de los primeros directores de datos se encontraban en los servicios financieros, en algunas de las empresas de tarjetas de crédito, y se dieron cuenta de que estaban recogiendo muchos datos, pero estaban aislados y el departamento de TI los controlaba y los almacenaba y capturaba. Pero limpiarlos y hacerlos utilizables requería un conjunto de habilidades ligeramente diferente. Por eso también se está viendo que las líneas de información del CDO cambian con el tiempo. Originalmente, la función surgió de TI –y muchos CDO todavía dependen del CIO–, pero cada vez se ve más que el CDO
depende del CEO o del director digital.
¿Qué tan común es esta función ahora?
Howson: Depende de la encuesta que se mire, y algunos sectores están mucho más maduros. En general, si miro todas las encuestas –Bain, Gartner, NewVantage Partners– diría que dos tercios de las organizaciones con muchos datos tienen un CDO. Pero hay algunas empresas grandes, multimillonarias, que no tienen un CDO. He visto que Peloton está contratando a su primer CDO, y mira su crecimiento en el último año. El año pasado, fue la primera vez que el CDC dijo que necesitaba un CDO; su casa de datos definitivamente no está en orden. Y ahora, en los últimos años, todas las agencias federales tienen su propio CDO, pero si nos remontamos a cinco años atrás eso no existía.
¿Qué organizaciones necesitan un director de datos y cuáles pueden prescindir de él?
Howson: Creo que todas las empresas que quieren estar orientadas a los datos necesitan un CDO, pero ¿las empresas que no están orientadas a los datos van a sobrevivir? Si nos preguntamos si una organización más pequeña necesita un CDO, esa responsabilidad puede residir en alguien que desempeñe una doble función. En un restaurante, podría ser el director de operaciones, o podrían tenerlo externalizado a través de una agencia que proporcione un CDO virtual. Todos necesitan datos. Puede que no tengan a alguien con el título de CDO, pero tendrán a alguien que tenga la responsabilidad de almacenar los datos, protegerlos y luego extraer valor de ellos.
Antes ha mencionado los sectores: ¿hay algunos sectores en los que se contratan más directores de datos que en otros?
Howson: Casi coincide con la madurez de los datos y el análisis de la industria. Si pensamos en los servicios financieros y en los viajes, ambos son sectores con gran cantidad de datos y tienden a tener directores de datos. En el otro extremo del espectro, los sectores menos maduros en cuanto a datos y análisis tienden, por desgracia, a ser los más importantes, como el de la educación y el de los proveedores de servicios sanitarios, que son muy diferentes de los pagadores de servicios sanitarios. Los pagadores de seguros son más maduros, pero los proveedores como los grandes sistemas hospitalarios –la
Clínica Mayo acaba de contratar a su primer CDO, por ejemplo– no lo son.
¿Qué es lo que un director de datos permite hacer a una organización con sus datos que no puede hacer una organización sin un director de datos?
Howson: Aquí es donde el CDO es un conector y un colaborador. Cuando se piensa en la captura de datos, está muy aislada. Tomemos como ejemplo una gran organización minorista. El comercio minorista es un sector muy rico en datos, pero tiene a los departamentos de ventas y marketing haciendo campañas publicitarias y de marketing, y luego tiene a los gestores de la cadena de suministro, a los comercializadores y a los sistemas de gestión de personal, y todos estos sistemas operativos están separados. Ahora, imagina que quieres intentar averiguar cómo dotar de personal a un almacén o a una entrega de comercio electrónico frente a cómo dotar de personal a las tiendas físicas. Tendrá que buscar en todos esos silos para averiguar la demanda, ver dónde se encuentran los empleados, averiguar si hay que hacer un anuncio y, si lo hace, averiguar si hay suficiente producto disponible. Necesitas esos datos en un lugar común, y si no los tuvieras nunca obtendrías ninguna visibilidad, ya sea una visión de 360 grados de los clientes, análisis de la cadena de suministro o análisis de la mano de obra.
¿Siguen existiendo obstáculos que los directores de datos tienen que superar en sus funciones o los directores de datos son ya aceptados en algunas partes de la jerarquíaorganizativa?
Howson: Ser un CDO es a la vez el mejor trabajo y el peor. Es el mejor trabajo porque el mundo se ha dado cuenta de la importancia absoluta de los datos para nuestra sociedad y para todas las empresas. Algunas personas con visión de futuro se han dado cuenta de ello en los últimos años, pero la pandemia, desde el punto de vista de las operaciones empresariales hasta el punto de vista de la atención sanitaria, ha lanzado los datos al centro del escenario. No se puede encender la televisión o leer un periódico donde no se hable de datos en algún contexto. Esto es una buena noticia para los CDO.
La mala noticia es que es uno de los trabajos más difíciles. Tienes que conocer la tecnología, hay grandes riesgos en las implicaciones y tienes que conocer el negocio. La empresa te empuja a hacer más, más rápido, y pide a los CDO que rompan las barreras, innoven y asuman riesgos. Pero el departamento de TI dice: «Vaya, esto es peligroso», por lo que se les presiona desde ambos lados, y creo que los CDO se agotan y se machacan, por lo que es un papel con mucha rotación.
¿Cuál es el panorama de los directores de datos? ¿Se convertirá en una función tan común como la del director financiero u otra función de la dirección?
Howson: Si eres una organización nativa digital, ¿tendrás realmente una función de CDO? Por ejemplo, acabo de tener como invitado en mi podcast al director de algoritmos, que es un avance del director de análisis, de Daily Harvest. Ellos no tienen un CDO formal. Necesita datos para crear los algoritmos. Es solo parte del proceso, y tal vez su casa de datos estaba en orden desde el principio en lugar de tenerlo construido en los sistemas transaccionales en las instalaciones. Entonces se convierte realmente en un producto de datos. Si se piensa en pasar de los datos a la información, es algo que se da por hecho, mientras que en el mundo predigital estaba mucho más orientado al proceso.
