¿Cómo reconstruir una plataforma de datos de IA empresarial cuando los datos se vuelven comprensibles?

Este artículo se basa en la presentación del autor en la conferencia de lanzamiento del producto MIP de Jingzhou el 20 de octubre. El 20 de octubre, Jingzhou Technology celebró la conferencia de lanzamiento del producto MIP, anunciando que la estrategia del producto pasaría de análisis en tiempo real a una plataforma unificada de análisis de datos e inteligencia, y presentó oficialmente la plataforma de datos de IA empresarial MIP. MIP, basado en la tecnología StarRocks, conecta una base de datos unificada, una capa semántica empresarial y un Data Agent confiable, respaldado por capacidades de gobernanza en toda la plataforma, ayudando a las empresas a utilizar datos para la IA de acuerdo con los estándares comerciales, con resultados verificables y rastreables.

Autor| Dong Yingtong, responsable de productos de Jingzhou Technology

Producción| Industria Familiar

Tres problemas para implementar AI Agent en empresas

Cuando un Agent entra en el negocio real de una empresa, no puede evitar los problemas de datos, estándares y conocimiento. Basándonos en nuestra propia práctica, hemos resumido tres problemas comunes y hemos escrito nuestras ideas después de cada uno.

Problema 1: Datos multimodales y dispersos.

Un Agent que maneja tareas puede acceder simultáneamente a tablas de negocios bidimensionales, documentos no estructurados, imágenes y datos vectoriales. Estos datos a menudo residen en diferentes medios de almacenamiento y sistemas, y después de recuperarlos, deben ser analizados en relación. Esto presenta un desafío para la construcción del sistema AI Agent.

Nuestra idea es: los datos de diferentes tipos deben poder relacionarse en SQL. Los datos en las tablas de negocios, los datos en el lago y los datos no estructurados en el almacenamiento de objetos deben poder ser consultados y analizados de manera unificada. Es normal que los datos estén en diferentes lugares, pero el costo de la migración es alto, por lo que permitir que la computación busque los datos puede resolver el problema de dispersión en la capa de consulta.

Problema 2: Los estándares necesitan ser explicados repetidamente.

Tomando el análisis de datos como ejemplo, "¿cómo se calcula el volumen de ventas?" "¿Qué pedidos participan en el cálculo?" deben definirse claramente primero. Sin embargo, este conocimiento a menudo está disperso en SQL históricos, documentos e incluso en la experiencia personal de los analistas. Por lo tanto, la misma pregunta puede tener diferentes respuestas.

Nuestra idea es: definir los estándares comerciales en la base de datos. Esta definición puede convertirse directamente en cálculos ejecutables. A través de Semantic View, vinculamos los indicadores a expresiones claras, y los resultados de las consultas pueden rastrearse hasta las fórmulas, el rango estadístico y el SQL ejecutado, facilitando la interpretación unificada de los estándares.

Problema 3: Proceso de construcción repetitivo.

Al construir múltiples Agents, se enfrentan a diferentes accesos a datos, lo que requiere reorganizar el conocimiento y el contexto relacionados. Cuando hay correcciones, también es difícil sincronizar entre diferentes Agents, lo que genera mucho trabajo duplicado durante la construcción del Agent.

Nuestra idea es: utilizar la base de datos para soportar la capacidad de gestión del contexto empresarial reutilizable, organizando el conocimiento y sus relaciones, versiones y permisos de acceso a través de MirrorMind, para que múltiples Agents lo utilicen según sea necesario; el estado de las sesiones y tareas es gestionado por MirrorPilot.

Los tres problemas apuntan a una raíz común: datos, estándares y contexto, careciendo de un portador unificado.

El 20 de octubre, en la conferencia de lanzamiento de productos de Jingzhou Technology, lanzamos oficialmente MIP, la plataforma de datos de IA empresarial unificada y rápida. Con la base de datos como núcleo, su diseño arquitectónico se desarrolla en dos direcciones: hacia abajo: agregar capacidades de IA a la base de datos, actualizando la base de datos; hacia arriba: base de datos para IA, permitiendo que el conocimiento de la empresa y las capacidades de AI Agent sirvan a más negocios.

Donde están los datos, allí deben estar la comprensión y el cálculo. Colocar datos, estándares y contexto en la base de datos es porque las capacidades que faltan en estas tres áreas deben surgir de la base de datos.

Arquitectura de tres capas: MIP organiza datos y conocimientos en capacidades compartidas

MIP organiza los datos y conocimientos de la empresa en tres capas, formando un conjunto de capacidades compartidas.

La capa inferior es MirrorData, un motor de consulta de datos empresariales basado en el código abierto StarRocks, que proporciona capacidades de consulta rápida y análisis multimodal.

La capa intermedia es MirrorMind, centrada en Semantic View, que relaciona el conocimiento empresarial de campos relevantes y la experiencia personal de los analistas, para que los Agents lo utilicen según sea necesario.

La capa superior es MirrorPilot, el entorno de ejecución de los Agents de negocio.

Encima de las tres capas, se encuentran diversas aplicaciones comerciales. Análisis de negocio, diagnóstico postventa y selección de productos, que son comúnmente utilizados en la gestión empresarial, pueden construirse utilizando esta base unificada.

Los capítulos siguientes desarrollarán cada una de estas tres capas, mostrando cómo se utiliza toda la base.

• Usar "imágenes postventa" para mostrar la búsqueda multimodal y la relación comercial de MirrorData

• Usar "presupuesto de actividades" para explicar el papel de la definición semántica en MirrorMind

• Conectar "análisis de gestión minorista" con la configuración, consulta, análisis e informe del proceso de uso completo.

MirrorData: la base de datos unificada

Acceso SQL estándar, una capacidad de cálculo para todas las aplicaciones

MirrorData es la base de datos de MIP, y su núcleo es un motor de consulta.

Los informes BI de la capa superior, el análisis interactivo, las aplicaciones de datos y los Agents pueden acceder a través de SQL estándar. La misma capacidad de cálculo sirve a diferentes aplicaciones, y MirrorData actúa como la entrada de consulta unificada.

El motor de consulta mantiene la alta capacidad de consulta de StarRocks. Sobre esta base, hemos realizado mejoras empresariales: gestión de permisos, control de recursos y aislamiento de recursos.

Soporta acceso unificado a tablas internas, tablas de lago y contenido multimodal

Hay tres formas de acceso a los datos.

1. Tablas internas tradicionales. Las tablas internas contienen campos de negocio, JSON, texto y datos consultables como vectores; para imágenes, documentos y otros contenidos, se pueden establecer asociaciones a través de referencias de archivos y ID de objetos de negocio.

2. Datos en el lago. Muchos clientes ya tienen datos almacenados en lagos de datos. MirrorData accede de manera unificada a través de un catálogo externo, soportando formatos de tablas de lago como Paimon, Iceberg, Hive, proporcionando capacidades de acceso eficientes a las tablas de lago.

3. Archivos históricos no utilizados. Las imágenes, documentos y videos existentes en la empresa a menudo son difíciles de participar directamente en el análisis comercial. Los archivos originales pueden permanecer en el almacenamiento de objetos, y según las necesidades de la tarea, se completan el análisis y la generación de vectores, escribiendo referencias de archivos, texto extraído y vectores en tablas, asociándolos con campos de negocio. MirrorData combina la búsqueda, filtrado, asociación y agregación de manera unificada.

Una SQL, completa la búsqueda mixta

Sobre la base del análisis rápido y la consulta de lagos de datos, MirrorData expande aún más la búsqueda multimodal y el análisis de asociación. Un mismo objeto de negocio puede tener simultáneamente campos estructurados, atributos JSON, texto, Embedding y referencias de archivos, conectando contenido y hechos comerciales a través del ID del objeto de negocio, permitiendo que los resultados de búsqueda continúen participando en el análisis.

La base son tres tipos de capacidades de consulta:

• Datos estructurados: combinando recortes de partición y escaneo por columnas, completando análisis rápidos.

• Búsqueda de texto completo: basada en índices invertidos para coincidencias de términos, por ejemplo, coincidiendo registros que contienen "desempaquetar" o "abrir caja" a través de MATCH_ANY.

• Búsqueda vectorial: buscando contenido relacionado por similitud o distancia.

Una SQL puede conectar los tres, el camino de acceso específico depende del método de consulta y del tipo de índice.

Demostración: Consulta de pedidos postventa

Para mostrar visualmente la SQL y los resultados de la consulta, hemos creado una página de operación de búsqueda postventa. El usuario sube una foto de una pantalla dañada, buscando registros postventa recientes con formas de daño similares, y luego relaciona pedidos, lotes, transportistas e información de reembolso, proporcionando una base para el análisis posterior.

Primero, la foto de referencia se convierte en un vector de consulta, como parámetro para la SQL de búsqueda. Luego, en la SQL se calcula la similitud de la imagen, complementando la información de lote, transportista y reembolso a través de la relación entre el pedido postventa y los detalles del pedido, y se añaden condiciones de tiempo, categoría y texto completo de "abrir caja/desempaquetar".

Estas condiciones finalmente forman una SQL completa. Es decir, una SQL puede completar la búsqueda unificada de datos estructurados y no estructurados.

Consulta de imágenes de pedidos

MirrorMind: permite que el Agent use los estándares correctos

Una vez que los datos son accesibles, el siguiente paso es que el Agent entienda las definiciones comerciales y el conocimiento de fondo de la empresa. MirrorMind, centrado en Semantic View, aborda este problema.

Para más detalles, se pueden leer artículos adicionales sobre Semantic View

• Análisis técnico de Semantic View (uno)

• Análisis técnico de Semantic View (dos)

• Análisis técnico de Semantic View (tres)

¿Qué se define en Semantic View?

Semantic View registra las definiciones estructuradas necesarias para que el Agent entienda el negocio, incluyendo:

• Tablas y asociaciones: define el alcance de las tablas de datos y las relaciones entre ellas.

• Dimensiones: los indicadores pueden ser desglosados o resumidos por qué dimensiones. Por ejemplo, el presupuesto de actividades puede desglosarse por canal, tipo de actividad o resumirse por fecha.

• Indicadores: la expresión de cálculo y la descripción de cada indicador. Además de los indicadores atómicos, también se pueden definir indicadores derivados y lógicas de cálculo complejas como funciones de ventana.

• Sinónimos: mantener nombres comerciales, alias y descripciones para los indicadores, como "presupuesto total de marketing" y "total de subsidios promocionales". El Agent puede combinar estas definiciones para identificar los indicadores a los que se refiere el usuario, reduciendo la desviación de comprensión causada por diferentes hábitos de expresión.

Cuando el Agent recibe una pregunta, primero busca la definición aplicable en Semantic View, luego convierte esta definición en una declaración ejecutable y la envía a la base de datos para su ejecución.

Comparación: ¿Hay Semantic View?

Usando la misma pregunta para comparar: "¿Cuál es el presupuesto de actividades de la empresa?"

Sin Semantic View, el Agent consulta directamente la tabla base. La tabla tiene cuatro campos de monto, y el Agent no entiende cuál es el presupuesto de actividades, por lo que suma todos los campos de monto, obteniendo aproximadamente 29,161,800 yuanes. Este resultado es incorrecto, ya que se han incluido campos no relacionados.

En el campaign_analytics utilizado en la demostración, "presupuesto total de la actividad" corresponde a total_bbbb_amount, y la expresión de cálculo es SUM(bbbb_amount). El Agente, tras leer esta definición, selecciona el campo correspondiente para sumar, obteniendo 1,980,000 yuanes; no se incluyeron otros campos de monto. En el video, la ejecución final sigue siendo la SQL de la tabla base, y la Vista Semántica proporciona la base comercial para seleccionar y calcular indicadores.

La Vista Semántica organiza los nombres comerciales, las fórmulas de los indicadores y las dimensiones de análisis en definiciones reutilizables, permitiendo que diferentes Agentes utilicen una base de cálculo común, reduciendo las desviaciones causadas por interpretaciones individuales de los campos y la combinación de interfaces. Los resultados de las consultas pueden ser verificados en combinación con las definiciones de los indicadores y la SQL ejecutada.

Ejemplo: Dominio de pedidos de clientes minoristas

Tomando como ejemplo el análisis de pedidos de un cliente minorista. En el dominio de pedidos, es necesario distinguir entre pedidos y detalles de pedidos. Un pedido puede contener múltiples detalles de productos, y los niveles de estadística no son los mismos. La Vista Semántica establece temas comerciales según pedidos y detalles de productos:

• El tema de pedidos define "número de pedidos" y "tasa de cancelación", analizados por tienda y mes;

• El tema de detalles de ventas define "monto recibido después de descuentos", analizado por canal, categoría y producto.

Los límites estadísticos de ambos temas también están claramente definidos: las ventas contabilizan pedidos pagados, utilizando el monto recibido después de descuentos del tema de detalles de ventas; la tasa de cancelación es el número de pedidos cancelados dividido por el total de pedidos.

La Vista Semántica define cómo se calculan los indicadores y qué dimensiones se pueden analizar; las reglas comerciales complementan los límites estadísticos y las excepciones; la documentación comercial proporciona políticas, eventos y referencias originales; los métodos de análisis establecen pasos de desglose y verificación; la memoria de tareas retiene condiciones y conclusiones confirmadas. Todo este contenido puede ser mantenido de forma independiente, gestionado de manera unificada por MirrorMind, que gestiona asociaciones, fuentes, versiones y permisos de acceso, y luego es utilizado por el Agente según la combinación de tareas. Esto puede demostrar que el Contexto no solo incluye la Vista Semántica, sino que también puede respaldar la iteración continua del conocimiento en el negocio.

Gestionar el conocimiento como gestionar código

El contexto que necesita el Agente no solo involucra una Vista Semántica. Por ejemplo, al analizar un cambio en un indicador, a menudo es necesario relacionar el conocimiento comercial y los procesos de análisis estándar. Nos referimos a esto como el contexto empresarial. MirrorMind gestiona este contexto de manera unificada: asociaciones de contenido, fuentes y versiones, permisos de acceso.

La forma de gestión es similar a la de un código, hemos tomado inspiración del concepto de Git: el conocimiento puede crear ramas, cada rama tiene diferentes versiones; se puede retroceder por versión, ver una instantánea de cualquier versión en un momento dado; después de la confirmación comercial, la versión correcta se pone en línea. El negocio está en iteración, el conocimiento también está en iteración, pero cada Agente recibe versiones que han sido confirmadas y están en línea. Los comentarios de los usuarios dejan un registro completo de trazas, que se convierten en insumos para la siguiente ronda de iteración del conocimiento.

Múltiples tareas reutilizan definiciones comerciales confirmadas y conocimientos de fondo, reduciendo la deriva de los términos; las actualizaciones de conocimiento se adoptan tras la verificación, y se conservan versiones y fundamentos de revisión, para la reutilización y retroceso en tareas futuras.

MirrorPilot: Entorno de operación y entrega del Agente

Los datos son accesibles, los términos son confiables, el último paso es organizarlos en un Agente y entregarlos al negocio. Esta es la responsabilidad de MirrorPilot. Es el entorno de operación y entrega del Agente de la empresa, conectando hacia abajo con MirrorData y MirrorMind, y entregando resultados al exterior.

Cuatro pasos para completar una tarea

En el lado del usuario, hay dos rutas de uso para emitir tareas. Una es el diálogo directo, completando el análisis a través de la plataforma de trabajo del producto; la otra es a través de la API, integrando con el sistema empresarial existente, reutilizando las capacidades del Agente.

La ejecución de una tarea se divide en cuatro pasos. Primero, entender el objetivo; luego, combinar el contexto y las habilidades existentes para organizar un plan de ejecución; después, llamar a herramientas, como consultar definiciones específicas en la Vista Semántica; finalmente, procesar los resultados. Las tareas simples se entregan directamente aquí, las tareas complejas requieren búsquedas repetidas y ejecuciones múltiples, y luego se devuelven los resultados finales al negocio.

MirrorMind proporciona el contexto necesario para la tarea, y MirrorData es responsable de la consulta y verificación de resultados. Alrededor de la operación en sí, hay todo un conjunto de gestión periférica: gestión de sesiones, estado de tareas, alcance de recursos, presupuesto, tiempo de espera y registros de operación, todos integrados en MirrorPilot.

La entrega no es solo una respuesta

Los entregables de MirrorPilot pueden ser una respuesta, un informe o una API. El proceso de ejecución dejará un rastro estricto: qué SQL se utilizó para este cálculo, cuáles son las reglas de términos, todo es claro y verificable. Los usuarios pueden seguir preguntando o rastrear toda la tarea.

Acceso abierto, sedimentación de capacidades

El acceso es abierto. MirrorPilot proporciona una API de Agente, las empresas pueden iniciar tareas desde BI existente, portales de gestión o sistemas empresariales, obteniendo resultados de tareas o enlaces de sesión tras la autenticación del servidor, y completando la integración según el modo de interacción de las aplicaciones existentes. Las habilidades personalizadas se utilizan para ampliar los pasos de análisis, MCP se utiliza para integrar herramientas externas.

Las capacidades se sedimentan. La lógica de análisis existente puede sedimentarse como plantillas SQL, problemas similares reutilizan la lógica de consulta según parámetros como tiempo y dimensiones, devolviendo resultados tras la ejecución, reduciendo el trabajo de generación repetida de consultas. El conocimiento empresarial, las plantillas SQL y las habilidades pueden ser reutilizadas e iteradas continuamente, y también admiten la integración y gestión de habilidades personalizadas.

Por lo tanto, MirrorPilot puede funcionar de manera independiente o integrarse con las aplicaciones existentes de la empresa, ampliando gradualmente las capacidades de análisis.

MirrorControl: Backend de gestión y control complementario

Junto con MirrorPilot, está el backend de gestión y control MirrorControl.

Al configurar el Agente, aquí se seleccionan el alcance de datos, la base de conocimientos, así como la Vista Semántica y las habilidades que se utilizarán. También proporciona capacidades de búsqueda de conocimiento, como "¿cómo se define la tasa de cancelación dentro de la empresa?", ingresando la pregunta se puede obtener la definición y sugerencias.

Ejemplo: Un Agente de análisis de operaciones de un cliente minorista

Finalmente, con un caso desensibilizado, conectamos las tres capas: un cliente configuró su propio Agente de análisis de operaciones usando MIP.

Configuración: Primero delimitar el alcance

El primer paso para configurar el Agente es definir el alcance comercial: ¿cuál es el alcance de los datos que necesita el Agente, cuáles son las Vistas Semánticas relacionadas con el dominio comercial, dónde se encuentra la base de conocimientos relacionada? El objetivo de delimitar el alcance es reducir el rango de búsqueda del Agente, evitando la confusión del conocimiento que podría llevar a respuestas incorrectas.

Luego está la configuración de roles, reglas de respuesta y habilidades. Por ejemplo, qué proceso estándar seguir al hacer preguntas de seguimiento y profundización, qué estilo utilizar para los informes, todo se define aquí. Las herramientas de consulta y búsqueda están integradas en el Agente, permitiendo la búsqueda directa de conocimiento interno y Vistas Semánticas.

Demostración: De una pregunta a un informe

Una vez completada la configuración, veamos un proceso de uso completo.

Entrando a la plataforma, primero seleccionamos el Agente, cuyo rango de análisis ya ha sido delimitado en la configuración. Se puede preguntar directamente en lenguaje natural, por ejemplo, pidiendo al Agente que desglosara las ventas por canal. El Agente proporcionará los resultados de análisis para cada canal, junto con gráficos y SQL original.

En las respuestas que implican consultas de datos, los usuarios pueden ver las declaraciones de consulta relacionadas, los indicadores y el rango de tiempo, y verificar los resultados en combinación con los términos de cálculo. Se conservan las fuentes de consulta y conocimiento, facilitando el rastreo del proceso de análisis.

Luego se puede preguntar: "¿Es normal este indicador? ¿Es razonable desglosarlo por departamento?" El Agente llamará a los procesos estándar y SOP en el contexto empresarial, como la identificación de anomalías en la tasa de cancelación de pedidos. Las reglas de determinación de anomalías y los métodos de análisis son gestionados de manera unificada por MirrorMind como contexto empresarial, y MirrorPilot lee el conocimiento relevante, organiza los pasos y llama a MirrorData para ejecutar la consulta.

Si se pregunta nuevamente: "¿Por qué se disparó?" El Agente continuará revisando categorías, marcas y productos, y buscará eventos de almacenamiento y registros de inventario. Combina esta información con los cambios en la tasa de cancelación de la tienda, proponiendo posibles causas, evidencia relacionada y acciones sugeridas para que el personal del negocio las verifique más a fondo.

Una vez completado el análisis, el usuario puede seguir pidiendo que se genere un informe para la dirección. El Agente organizará los datos, gráficos, documentación comercial y conclusiones de análisis de la tarea actual en un informe HTML que se puede abrir y descargar, para discusión y verificación por parte del departamento comercial.

Video de demostración

Regresando a las tres preguntas iniciales

MirrorData permite que los resultados de búsqueda continúen participando en asociaciones y análisis SQL; MirrorMind mantiene de manera centralizada los términos comerciales y el conocimiento empresarial, permitiendo que múltiples Agentes reutilicen definiciones y fundamentos comunes; MirrorPilot organiza datos, Contexto y métodos de análisis en tareas comerciales, entregando respuestas y reportes verificables y rastreables.

Las tres preguntas se basan en la misma base, y esa base es MIP.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.