Cómo la NASA construye su 'People Graph': un grafo de conocimiento con LLMs para mapear talento y proyectos

La NASA ha desarrollado un sistema interno llamado 'People Graph', una iniciativa de analítica de personas que combina bases de datos de grafos y modelos de lenguaje (LLMs) para identificar expertos, formar equipos de alto rendimiento y detectar carencias de habilidades en toda la agencia. El proyecto fue presentado en una llamada comunitaria por miembros del equipo de People Analytics de la NASA: David Meza (jefe de la rama de People Analytics y responsable de analítica de capital humano), Madison Ostermann (científica de datos e ingeniera de datos) y Katherine Knott (científica de datos), quienes explicaron la arquitectura técnica del sistema, hicieron una demo en vivo y respondieron preguntas de la audiencia.

La motivación de fondo es que los datos de personal en bases de datos relacionales tradicionales —filas, columnas, joins— no capturan bien las relaciones complejas que existen en una organización del tamaño de la NASA. Un grafo, en cambio, conecta directamente a las personas con sus habilidades, sus proyectos y sus trayectorias profesionales, permitiendo responder preguntas como quién ha trabajado en proyectos de IA muy similares en distintos centros de la NASA, qué empleados tienen experiencia interdisciplinar en IA/ML, o dónde existen brechas de habilidades que hay que cubrir. Para esto, el equipo eligió la base de datos de grafos Memgraph, que les permite consultar y recorrer relaciones de múltiples saltos en tiempo real.

En cuanto a infraestructura, toda la solución corre sobre la nube interna segura de AWS de la NASA. Memgraph se ejecuta en contenedores Docker sobre instancias EC2, y junto a ella hay un servidor LLM on-premise (Ollama), también en EC2, usado tanto para extraer habilidades de los currículos como para responder consultas del chatbot. Los datos estructurados y no estructurados se almacenan en buckets de Amazon S3, y la ingesta hacia Memgraph se realiza mediante Cypher usando la librería GQLAlchemy. Un aspecto relevante es que la licencia empresarial de Memgraph permitió a la NASA segmentar los datos en múltiples bases, manteniendo aislada y protegida la información personal identificable (PII).

La ingesta de datos combina tres fuentes principales: datos de personal provenientes del almacén interno de datos de personal de la NASA, datos de proyectos de IA/ML extraídos del registro de casos de uso de IA de la agencia, y habilidades extraídas de los currículos de los equipos. Para los proyectos de IA/ML, el equipo calculó la similitud coseno entre las descripciones de los proyectos para crear relaciones de similitud entre ellos como propiedad del grafo. Los currículos, por su parte, se procesaron con Ollama para extraer habilidades automáticamente, sin necesidad de conjuntos de datos etiquetados manualmente; esas habilidades extraídas se incorporan después como nodos vinculados a cada empleado.

El esquema del grafo es un grafo de propiedades etiquetado que incluye nodos de empleados, títulos de puesto, series ocupacionales, grados salariales, organizaciones (como MISO, la organización de soporte a la misión), centros de la NASA, proyectos (con la descripción no estructurada como propiedad del nodo), nivel educativo, universidad, programa de estudios, especialidad y habilidades extraídas. Todos estos nodos se etiquetaron adicionalmente como 'Entity' para habilitar la indexación vectorial y el uso de GraphRAG (generación aumentada por recuperación sobre grafos).

Durante la demo en vivo, con datos de muestra y PII anonimizada, el equipo mostró consultas Cypher reales capaces de resolver tres tipos de necesidades: localizar expertos en dominios o capacidades críticas para la misión; generar informes descriptivos de alto nivel para el liderazgo sobre composición de la fuerza laboral, distribución de capacidades y dinámicas organizativas; y detectar proyectos casi duplicados a partir de puntuaciones de similitud. También se presentó un chatbot basado en RAG que permite consultar el grafo en lenguaje natural.

El pipeline de ese chatbot funciona así: un LLM extrae la información clave de la pregunta del usuario; después se realiza una 'búsqueda pivote modificada' sobre cada pieza de información por separado (no en conjunto), devolviendo múltiples nodos relevantes; a partir de esos nodos se realiza una 'expansión de relevancia' saltando el número deseado de saltos y devolviendo el nodo de inicio, el nodo final y la relación entre ambos, lo que forman los llamados 'tripletas de contexto'. GraphRAG entrega esas tripletas de contexto junto con la pregunta original a Ollama para generar una respuesta consciente del contexto. Los embeddings se almacenan directamente en Memgraph y se indexan mediante similitud coseno. El sistema todavía se está refinando, con planes de probar reranking y de mejorar los modelos de embeddings.

En cuanto a escala, el grafo actual tiene alrededor de 27.000 nodos y 230.000 aristas, de los cuales unos 18.000 nodos corresponden a empleados. El objetivo declarado por la NASA es escalar el People Graph hasta más de 500.000 nodos y millones de aristas. Entre los próximos pasos figuran mejorar la calidad de los datos y la desambiguación (por ejemplo, mapear 'JS' a 'JavaScript'), automatizar el pipeline de datos, ampliar el grafo para incluir objetivos de aprendizaje de los empleados, tipos de proyecto preferidos y clasificaciones de habilidades, y mejorar la generación de consultas Cypher y la precisión de RAG mediante el protocolo de contexto de modelo (MCP).

En la sesión de preguntas y respuestas surgieron detalles adicionales interesantes. Sobre la extracción de habilidades a partir de texto no estructurado, Madison explicó que antes de los LLMs el equipo usaba modelos de reconocimiento de entidades nombradas (NER) personalizados con spaCy, que requerían conjuntos de entrenamiento etiquetados manualmente y suponían mucho trabajo; los LLMs han hecho esta extracción de información mucho más viable. Respecto al diseño del esquema del grafo, tanto Madison como David coincidieron en que no partieron de un esquema completo predefinido: comenzaron con una comprensión intuitiva de cómo se conectan las personas con sus atributos y su trabajo, y fueron añadiendo relaciones latentes —como la similitud entre proyectos— a medida que exploraban los datos, aprovechando la flexibilidad propia de los grafos de conocimiento.

Una de las preguntas más reveladoras fue por qué eligieron Memgraph en lugar de alternativas como Neo4j. David respondió que lleva más de diez años trabajando con distintas bases de datos de grafos —usó Neo4j desde 2015, cuando aún era una interfaz de línea de comandos— y que prefiere los grafos de propiedades etiquetadas frente a RDF, lo que naturalmente lo inclinaba hacia Neo4j. Sin embargo, el coste de Neo4j resultaba inasumible para su entorno actual (algo que, según cuenta, ya ha comunicado directamente al equipo de Neo4j). Al descubrir Memgraph, encontró que usa Cypher igual que Neo4j, pero además ofrece soporte nativo en Python (frente al Java exclusivo de Neo4j), lo que encajaba con que su equipo se divide entre Python y R. Esto permitió migrar sin una curva de aprendizaje pronunciada, manteniendo las capacidades de grafos de propiedades ya dominadas, a un coste sensiblemente menor.

Sobre la construcción de las relaciones de similitud coseno, Madison detalló que iteraron sobre los nodos de proyectos, compararon los embeddings de sus descripciones y crearon relaciones entre proyectos que superaban un umbral de similitud determinado; esos embeddings se almacenan como propiedades de los nodos en Memgraph y se usan con índices de búsqueda vectorial para encontrar nodos similares y facilitar búsquedas difusas ('fuzzy'). En cuanto a los atributos sobre las relaciones (por ejemplo, nivel de dominio de una habilidad o años de experiencia), reconocieron que ya existen algunos atributos de relación, pero que todavía necesitan más experimentación para cuantificar aspectos como la experiencia; aunque RAG considera las propiedades de las relaciones, de momento no es el foco principal, si bien ven potencial en ello.

Respecto a la ambigüedad y duplicación de datos —por ejemplo, variaciones como 'JavaScript' y 'JS' procedentes de distintas fuentes—, David señaló que los LLMs ayudan a entender esas variaciones, y que además usan ingeniería de prompts y conciencia de contexto dentro del entorno RAG para guiar al modelo hacia representaciones consistentes de sinónimos. Madison añadió que, aunque los LLMs asisten en esto, también incorporan similitudes semánticas en sus métricas de precisión al evaluar las habilidades extraídas, para tener en cuenta esas variaciones. Sobre la escala esperada, David recordó que la base de datos actual ronda los 27.000 nodos y 230.000 aristas (incluyendo unos 18.000 nodos de empleados, sin ser exhaustivo), y mencionó que un proyecto previo similar manejó con facilidad alrededor de 500.000 nodos y entre 1,5 y 2 millones de relaciones, una escala que sigue considerando 'pequeña' para un grafo.

En conjunto, el caso de la NASA ilustra un patrón que se está volviendo común en analítica corporativa avanzada: combinar una base de datos de grafos con LLMs locales (on-premise, por razones de seguridad y de datos sensibles de personal) para automatizar la extracción de conocimiento no estructurado (currículos, descripciones de proyectos) y exponerlo después mediante consultas estructuradas (Cypher) y lenguaje natural (GraphRAG). El énfasis en el coste como factor decisivo de la elección tecnológica, la preferencia por herramientas que no obliguen a reentrenar al equipo, y la estrategia de aislar la PII en bases de datos separadas dentro de la misma licencia empresarial son detalles prácticos que pueden resultar útiles para cualquier organización grande que se plantee un proyecto similar de grafo de conocimiento de personas.