Què demanar a un pilot d’IA abans de portar-lo a producció

La distància entre una demostració que agrada i un sistema del qual pots respondre no és una qüestió de model. És la mateixa distància que separa qualsevol prototip de qualsevol producte: mesura, cost, límits i operació.

1. Un conjunt de casos reals, no una demostració

Abans d’escalar res cal un conjunt d’entre cinquanta i dos-cents casos reals amb la resposta correcta anotada per algú que sàpiga del negoci. És feina tediosa i és el que converteix «sembla que funciona bé» en un número.

Sense aquest conjunt no pots saber si un canvi d’instrucció, de model o de proveïdor millora o empitjora les coses. Estàs optimitzant a cegues i amb factura.

2. Cost per operació, mesurat

El cost unitari al pilot multiplicat pel volum real dona una xifra que de vegades canvia la decisió sencera. Convé calcular-la abans de comprometre’s, no després de la primera factura mensual.

La sorpresa sol anar en la bona direcció: per a molts casos de classificació o extracció, un model petit i ben ajustat resol igual que un de gran per una fracció del preu. Però això només es descobreix si es mesura.

3. Un límit clar del que el sistema no ha de fer

Tot sistema d’IA en producció necessita una resposta definida per a «no n’estic segur». Sense ella, el sistema sempre contesta alguna cosa, i contestar amb seguretat quan no se sap és exactament el mode de fallada més car.

• Llindar a partir del qual l’operació escala a una persona.
• Categories de consulta que mai no es responen automàticament.
• Registre de què es va decidir i amb quina informació, per poder reconstruir-ho després.

4. Algú que miri les fallades cada mes

La qualitat d’un sistema d’IA no és una propietat fixa: es degrada quan canvien les dades d’entrada, quan el proveïdor actualitza el model o quan el negoci canvia un procés. Si ningú no té assignada la revisió mensual dels casos fallats, la degradació es descobreix per una queixa d’un client.

El que no és a la llista

No hi és quin model fer servir, ni quin proveïdor, ni si convé una base de dades vectorial. Són decisions reversibles i relativament barates de canviar. Les quatre de dalt són les que determinen si el sistema aguanta.