Digues al teu gatet com penses per dins: l'efecte caixa negra

El fet que els algorismes avançats d'intel·ligència artificial siguin com una caixa negra (1) que llança un resultat sense revelar com va arribar-hi, molesta a uns i molesta a altres.

El 2015, es va demanar a un equip d'investigació de l'Hospital Mount Sinai de la ciutat de Nova York que utilitzés aquest mètode per analitzar una gran base de dades de pacients locals (2). Aquesta enorme col·lecció conté un oceà d'informació sobre pacients, des de resultats de proves, ordres del metge, etc.

Els científics van anomenar el programa analític desenvolupat durant el treball. Es va entrenar amb dades d'aproximadament 700 mil persones. humans, i quan es va provar en nous registres ha demostrat ser extremadament eficaç per predir malalties. Sense l'ajuda d'experts humans, va descobrir patrons als registres hospitalaris que indicaven quin pacient estava en el camí cap a una malaltia com el càncer de fetge. Segons els experts, l'eficiència pronòstica i diagnòstica del sistema era molt superior a la de qualsevol altre mètode conegut.

2. Sistema d'intel·ligència artificial mèdica basat en bases de dades de pacients

Al mateix temps, els investigadors van notar que funciona de maneres misterioses. Va resultar, per exemple, que és ideal per reconeixement dels trastorns mentalscom l'esquizofrènia, que és extremadament difícil per als metges. Això va ser sorprenent, sobretot perquè ningú tenia idea de com el sistema d'IA era tan bo per veure les malalties mentals basant-se només en els registres mèdics del pacient. Sí, els experts estaven molt satisfets amb l'ajuda d'un diagnòstic de màquines tan eficients, però estarien molt més satisfets si entenguessin com la IA va arribar a les seves conclusions.

Capes de neurones artificials

Des del primer moment, és a dir, des del moment en què es va conèixer el concepte d'intel·ligència artificial, hi havia dos punts de vista sobre la IA. El primer va suggerir que el més sensat seria construir màquines que raonin segons principis coneguts i la lògica humana, fent que el seu funcionament intern sigui transparent per a tothom. Altres creien que la intel·ligència sorgiria més fàcilment si les màquines aprenguessin mitjançant l'observació i l'experimentació repetida.

Això últim significa invertir la programació informàtica típica. En lloc que el programador escrigui ordres per resoldre un problema, el programa genera algorisme propi basat en dades de mostra i el resultat desitjat. Les tècniques d'aprenentatge automàtic, que més tard es van convertir en els sistemes d'IA més potents coneguts avui dia, acaben de seguir el camí essencialment la màquina es programa per si mateixa.

Aquest enfocament es va mantenir al marge de la investigació en IA als anys 60 i 70. Només a principis de la dècada anterior, després d'alguns canvis i millores innovadores, Xarxes neuronals "profundes". va començar a demostrar millores radicals en les capacitats de percepció automatitzada. 

L'aprenentatge automàtic profund ha donat als ordinadors habilitats extraordinàries, com ara la capacitat de reconèixer les paraules parlades amb la mateixa precisió que un humà. Aquesta és una habilitat massa complexa per programar-la per endavant. La màquina ha de ser capaç de crear el seu propi "programa" per formació sobre grans conjunts de dades.

L'aprenentatge profund també ha revolucionat el reconeixement d'imatges d'ordinador i ha millorat molt la qualitat de la traducció automàtica. Avui s'utilitza per prendre tot tipus de decisions clau en medicina, finances, fabricació i molt més.

Tanmateix, amb tot això no podeu mirar dins d'una xarxa neuronal profunda per veure com funciona "sota el capó". Els processos de raonament de xarxa estan integrats en el comportament de milers de neurones simulades, organitzades en desenes o fins i tot centenars de capes intricadament interconnectades..

Cadascuna de les neurones de la primera capa rep un senyal d'entrada, com ara la intensitat d'un píxel en una imatge, i després realitza càlculs abans d'emetre un senyal de sortida. Es transmeten en una xarxa complexa a les neurones de la següent capa, i així successivament, fins al senyal de sortida final. A més, hi ha un procés conegut com ajustar els càlculs realitzats per neurones individuals perquè la xarxa d'entrenament produeixi la sortida desitjada.

En un exemple citat sovint que implica el reconeixement d'imatges de gossos, les capes inferiors d'IA analitzen característiques senzilles com ara el contorn o el color. Els més alts tracten temes més complexos com la pell o els ulls. Només la capa superior ho reuneix tot, identificant el conjunt complet d'informació com un gos.

El mateix enfocament es pot aplicar a altres tipus d'entrades que alimenten una màquina per aprendre ella mateixa: els sons que formen les paraules en la parla, les lletres i les paraules que formen les frases en el text escrit o un volant, per exemple. moviments necessaris per controlar un vehicle.

A la màquina no li falta res

S'ha intentat explicar què passa exactament en aquests sistemes. El 2015, els investigadors de Google van modificar un algorisme de reconeixement d'imatges basat en l'aprenentatge profund perquè, en lloc de veure objectes a les fotos, els generava o modificava. En executar l'algorisme cap enrere, volien descobrir les característiques que utilitza el programa per reconèixer, per exemple, un ocell o un edifici.

Coneguts públicament pel seu títol, aquests experiments van produir imatges sorprenents de (3) animals, paisatges i personatges grotescos i estranys. Tot i que van revelar alguns dels secrets de la percepció de les màquines, com ara el fet que certs patrons es repeteixen i es repeteixen una i altra vegada, també van mostrar com l'aprenentatge automàtic profund difereix de la percepció humana, per exemple, en el sentit que s'expandeix i duplica artefactes que ignorem en la nostra percepció sense pensar. .

3. Imatge creada en el projecte

Per cert, d'altra banda, aquests experiments van revelar el secret dels nostres propis mecanismes cognitius. Potser és en la nostra percepció que hi ha diversos components incomprensibles que ens fan entendre immediatament alguna cosa i ignorar-la, mentre la màquina repeteix pacientment les seves iteracions sobre objectes "no importants".

Es van fer altres proves i estudis per intentar "entendre" la màquina. Jason Yosinski va crear una eina que actua com una sonda enganxada al cervell, dirigint-se a qualsevol neurona artificial i buscant la imatge que l'activa amb més força. En l'últim experiment, van aparèixer imatges abstractes com a resultat de l'"espionatge" de la xarxa, fet que va fer encara més misteriosos els processos que es produïen al sistema.

Tanmateix, per a molts científics, aquesta investigació és un malentès, perquè, segons la seva opinió, per entendre el sistema, reconeixen patrons i mecanismes d'ordre superior per prendre decisions complexes, totes les interaccions computacionals dins d'una xarxa neuronal profunda. És un laberint gegant de funcions i variables matemàtiques. De moment ens és incomprensible.

L'ordinador no començarà a funcionar? Per què?

Per què és important entendre els mecanismes de presa de decisions dels sistemes avançats d'intel·ligència artificial? Ja s'estan utilitzant models matemàtics per determinar quins presos poden ser posats en llibertat condicional, quins es poden donar crèdit i quins poden trobar feina. Qualsevol persona interessada voldria saber per què es va prendre aquesta decisió concreta i no una altra, quins van ser els seus motius i mecanisme.

– va admetre l'abril de 2017 a la MIT Technology Review. Tommy Jaakkola, professor del MIT que treballa en aplicacions d'aprenentatge automàtic. -.

Fins i tot hi ha una posició legal i política que diu que la capacitat d'escrutar i entendre la mecànica de presa de decisions dels sistemes d'IA és un dret humà fonamental.

Des del 2018, la UE treballa per exigir a les empreses que proporcionin als seus clients explicacions sobre les decisions preses pels sistemes automatitzats. Resulta que de vegades això no és possible fins i tot amb sistemes que semblen relativament senzills, com ara aplicacions i llocs web que utilitzen la ciència profunda per publicar anuncis o recomanar cançons.

Els ordinadors que executen aquests serveis es programen ells mateixos, i ho fan d'una manera que no podem entendre... Fins i tot els enginyers que creen aquestes aplicacions no poden explicar completament com funciona.