La intel·ligència artificial no segueix la lògica del progrés científic
Hem escrit moltes vegades a MT sobre investigadors i professionals que proclamen els sistemes d'aprenentatge automàtic com a "caixes negres" (1) fins i tot per a aquells que els construeixen. Això fa que sigui difícil avaluar els resultats i reutilitzar algorismes emergents.
Les xarxes neuronals, la tècnica que ens proporciona robots de conversió intel·ligents i generadors de text enginyosos que fins i tot poden crear poesia, segueixen sent un misteri incomprensible per als observadors externs.
S'estan fent més grans i complexos, manegen grans conjunts de dades i utilitzen matrius de càlcul massives. Això fa que la replicació i anàlisi dels models obtinguts sigui costosa i de vegades impossible per a altres investigadors, excepte per a grans centres amb grans pressupostos.
Molts científics són ben conscients d'aquest problema. Entre ells hi ha Joel Pino (2), president de NeurIPS, la principal conferència sobre "reproducibilitat". Els experts sota el seu lideratge volen crear una "llista de control de reproductibilitat".
La idea, va dir Pino, és animar els investigadors a oferir als altres un full de ruta perquè puguin recrear i utilitzar el treball ja realitzat. Pots meravellar-te de l'eloqüència d'un nou generador de text o de la destresa sobrehumana d'un robot de videojocs, però fins i tot els millors experts no tenen ni idea de com funcionen aquestes meravelles. Per tant, la reproducció de models d'IA és important no només per identificar nous objectius i direccions per a la investigació, sinó també com a guia d'ús purament pràctica.
Altres estan intentant resoldre aquest problema. Els investigadors de Google van oferir "targetes de models" per descriure en detall com es van provar els sistemes, inclosos els resultats que apunten a possibles errors. Investigadors de l'Allen Institute for Artificial Intelligence (AI2) han publicat un article que pretén ampliar la llista de verificació de reproductibilitat de Pinot a altres passos del procés experimental. "Mostra la teva feina", demanen.
De vegades falta informació bàsica perquè el projecte de recerca és propietat, sobretot dels laboratoris que treballen per a l'empresa. Amb més freqüència, però, és un signe d'incapacitat per descriure mètodes de recerca canviants i cada cop més complexos. Les xarxes neuronals són una àrea molt complexa. Per obtenir els millors resultats, sovint es requereix una sintonització fina de milers de "botons i botons", que alguns anomenen "màgia negra". L'elecció del model òptim s'associa sovint amb un gran nombre d'experiments. La màgia es fa molt cara.
Per exemple, quan Facebook va intentar replicar el treball d'AlphaGo, un sistema desenvolupat per DeepMind Alphabet, la tasca va resultar extremadament difícil. Els enormes requisits computacionals, milions d'experiments en milers de dispositius durant molts dies, combinats amb la manca de codi, van fer que el sistema fos "molt difícil, si no impossible, de recrear, provar, millorar i ampliar", segons els empleats de Facebook.
El problema sembla estar especialitzat. Tanmateix, si pensem més enllà, el fenomen dels problemes de reproductibilitat de resultats i funcions entre un equip de recerca i un altre soscava tota la lògica de funcionament de la ciència i dels processos de recerca que ens coneixem. Per regla general, els resultats d'investigacions anteriors es poden utilitzar com a base per a investigacions posteriors que estimulin el desenvolupament del coneixement, la tecnologia i el progrés general.
