La IA y el Prompt Engineering aplicado al Testing, está transformando radicalmente cómo trabajamos los profesionales de QA. La generación de casos de prueba es una de las actividades clave para los profesionales del testing, una construcción de Test Cases sólidos en etapas tempranas del ciclo, aumenta la eficiencia, calidad de forma exponencial y optimiza costes del proyecto.
Si además, añadimos un plus de productividad en la tarea aplicando un buen uso de los modelos LLM, estamos potenciando nuestro impacto en el delivery y en la mejora de los procesos de cualquier software.
Sin embargo, estos avances no son transformadores, si se aplican de cualquier manera, no se trata de abrir ChatGPT y decirle: "Hazme Tests del proceso de añadir un producto al carrito de la compra". Existen buenas prácticas y marcos de trabajo - como el Framework STAR - para elevar la generación de casos de prueba al siguiente nivel utilizando la IA.
En este post, voy a analizar los 7 errores más comunes en el ámbito de la generación de casos de prueba utilizando modelos LLM:
1. Prompts demasiado vagos
Cuando la IA no tiene contexto suficiente genera casos de prueba genéricos e inútiles, que no aportan valor al proceso de verificación.
2. No iterar
Pretender quedarse con el output de la primera iteración es un error, necesitamos iterar con el modelo, para refinar y profundizar a partir de los primeros output.
3. Falta de contexto
Como cualquier compañero con cara y ojos, la IA también necesita el mayor contexto posible, para escribir buenos tests
4. No validar outputs
Con el auge de los modelos LLM, el arte del copy-paste se ha vuelto a poner de moda, copiar y pegar lo que la IA genera es un error de bulto en procesos críticos como la generación de Test Cases. Revisa con espíritu crítico cada output, valida que cada set de datos sea coherente y ajusta manualmente cuando sea necesario.
5. Ignorar las limitaciones de la IA
La IA tiene acceso a toneladas de información y conocimiento, pero no conoce tu contexto particular, tus herramientas y tu negocio. No asumas que la IA entiende tu jerga interna o tus herramientas específicas.
6. Formato inconsistente
Es necesario tener claro el formato de salida que necesitamos de la IA, estandarizarlo y utilizarlo de manera consistente. Por ejemplo, si vamos a importar nuestros test cases y data sets en una herramienta concreta de testing, necesitamos definir de forma muy específica el formato que necesitamos o incluso indicar la generación de determinados archivos que nos ayuden en este proceso.
7. No documentar Prompts que funcionan
Cuando un prompt funciona, documéntalo, reutilízalo y mejóralo de manera continua. No te permitas el lujo de que en la siguiente interacción con la IA no recuerdes un prompt que te ha funcionado de manera excelente.
La IA está cambiando la forma en que trabajamos, pero el criterio sigue siendo humano. La diferencia entre generar ruido o valor dependerá de cómo usemos esta tecnología: con rigor, con método y con propósito.