sábado, 15 de junio de 2013

Índice de efectividad e índice de asertividad en Inteligencia artificial

Por cortesía de SoluteciaS.A:


Para evidenciar el nivel de servicio que posee un agente racional basado en el Motor de Inteligencia Artificial de Solutecia, es necesario medir dos aspectos por separado: El índice de efectividad y el índice de asertividad.
El índice de efectividad es un indicador facilmente cuantificable que nos muestra:
Capacidad de identificar preguntas: Muchas veces en un cuestionamiento, no se hace una pregunta, pero se intuye la necesidad de dar una respuesta con un contenido relevante.  La capacidad de identificar preguntas es directamente relacionada con la habilidad intelectual de detectar una pregunta, pero no tiene nada que ver con el factor de que se conozca la respuesta o no.
Habilidad para contestar: Es probable que suceda uno de tres escenarios: No se entendió lo que dijo la persona, Preguntó sobre algo que no se entendió, o Preguntó sobre algo de lo cual se tiene una respuesta. Para cualquier caso, la habilidad para contestar implica que se tenga una respuesta para cualquiera de estos tres tipos de sucesos, indiferente de si hay contenido relevante o no en la pregunta.

El índice de asertividad es el indicador que nos muestra:
Cómo es su desempeño al momento de intuir una pregunta de un usuario: Muchas veces, un ser humano no entiende una pregunta y es básicamente porque en el contexto de la pregunta hay elementos desconocidos, aunque si tenga la respuesta, es posible que la forma en que se redactó la pregunta sea confuso.  Esto solamente es superado por la experiencia del que contesta para tener el suficiente sentido común y lograr identificar posibles alternativas en la pregunta.
Reconocimiento del tema: Intelectualmente hablando, antes de dar una respuesta, es indispensable identificar si se sabe del tema, indiferente de conocer la respuesta puntual.  Es muy posible que se entendió la pregunta, y hay conocimiento sobre el tema, pero no hay una respuesta para dicha pregunta.
Qúe tanto sabe de un tema: Hoy por hoy, consideramos a una persona como un experto si sabe "mucho" sobre un tema, incluso si comienza a enseñar sobre el mismo, pero no hay un sistema de medición cuántificable para poder evaluar esto de manera objetiva, puesto que los sistemas de medición de conocimiento están basados en el alcance que tenga otra persona, es decir, la calificación que obtenga cualquier persona en una evaluación depende del nivel de conocimiento de la persona que elaboró las preguntas.
Veracidad en la información suministrada: Esto depende mucho de las fuentes de la información, por lo tanto es una variable difícil de cuantificar en el mismo Motor de Inteligencia Artificial. Al menos las redes bayesianas encargadas de mantener la veracidad de la información ya pueden ofrecer un indicador a este punto.
Estos dos indicadores miden por separado la versatilidad y la inteligencia.  En un sistema de información estos dos indicadores no existirían, pero para tener una idea, serían el equivalente a la velocidad para procesar datos y la calidad de los datos incluidos en el sistema.
En un sistema de información se puede decir que es 100% efectivo si tiene 100 datos ingresados y al momento de buscarlos, allí estén. Y se puede decir que es 100% asertivo, si muestra en la busqueda o en el reporte los mismos datos que se ingresaron en un comienzo.
En cambio en un sistema de conocimiento, como el Motor de Inteligencia Artificial de Solutecia, estos dos indicadores requieren de una revisión más a fondo. Para no caer en el prejuicio de negación del ratio base, es indispensable considerar los verdaderos valores sobre los cuales hacer una certera medición.
La fórmula para medir el indicador de efectividad es realmente simple: De 100 cosas que le haya dicho el usuario, cuánto fue el porcentaje que realmente pudo identificar para emitir una respuesta. Indiferentemente de si tenía o no conocimiento válido.  En caso de no haber entendido lo que dijo el usuario (preguntas, expresiones, opiniones, comentarios, etc), emitió una respuesta casual referente a alguna de las palabras que había en el mensaje, lo que en algunos chatbots es el equivalente a simplemente contestar "Solo puedo atender preguntas sobre xyz tema".  En Solutecia, el Motor de Inteligencia Artificial tiene un indicador de efectividad en aumento constante, al momento de escribir este artículo ya estaba en 86.38% de 19.700 conversaciones.
Para el índice de asertividad, es necesario seguir una metodología previa:
Hacer un inventario de conocimiento y determinar un número de enseñanzas, que será la base para la medición.
Luego, es necesario enseñárselo al agente inteligente desde un software cliente (generalmente para entrenamientos se hace uso de Solutecia Personal), o desde la interfaz de Mapas de conocimiento.
A continuación, en medio de una conversación hacerle las preguntas puntuales sobre el conocimiento enseñado. Sobre la medición quedarían descartadas cualquier otro tipo de intervenciones durante la conversación, tales como: saludos, comentarios, preguntas sobre otros temas, insultos, opiniones personales, diálogos protocolarios, etc. Es el equivalente a una evaluación oral con un profesor, se puede hablar de muchas cosas en el proceso, pero las preguntas puntuales son solamente 5 y se hicieron unas 20 intervenciones de cosas diferentes.
El resultado de esta evaluación se debe promediar con el resultado de la misma evaluación realizada por otras personas, en donde las preguntas apuntan a la misma respuesta, pero cada uno de los evaluadores tiene su propia manera de preguntar.
Se deben restar del conteo de preguntas (de los evaluadores) aquellas que tengan sesgos cognitivos sobre el tema, cuyo contenido está orientado a sinónimos del tema u otros aspectos no contemplados en la enseñanza. Por ejemplo, si se le enseñó que "La torre Eiffeld fue diseñada por Gustave Eiffel", preguntas que no aplican para esta medición serían: "Quién construyó la Torre Eiffel?", "Dónde está la Torre Eiffel?", "Quién fue Gustave Eiffel?", "Por qué es famoso Gustave Eiffel?", "Qué es la Torre Eiffel?".
El índice de asertividad en la Inteligencia artificial es un tanto diferente al concepto de asertividad en la comunicación humana, debido a que las emociones de una persona al momento de hablar con otra persona influyen en su mecánica y contenido para comunicarse, en cambio, cuando se trata de un sistema de conocimiento del cual se está esperando obtener respuestas asertivas intelectualmente hablando, la atención se centra en la calidad del contenido debido a la falta de influencia personal de los sentidos. No obstante, el ser humano es susceptible a cualquier tipo de respuesta, provenga de una persona, de un sistema de conocimiento, de un sistema de información o de un dato.  Es por ello que se hace necesario tener los índices de asertividad y de efectividad para medir el verdadero valor de un software de inteligencia artificial.

No hay comentarios: