Da Legoland alle reti neurali : Teorema dell'approssimazione universale nei termini del laico
- Literature & Cie
- 13 févr. 2021
- 4 min de lecture
Perchè l'apprendimento profondo è così potente tuttavia così semplice nel relativo nucleo
Quindi avete sentito parlare dell'IA, sentito parlare delle cose incredibili che un modello ben addestrato di apprendimento automatico, in particolare il modello di apprendimento profondo può fare. In alcuni compiti, supera anche le prestazioni umane. Ad esempio, un computer può ora riconoscere diversi tipi di oggetti come gatti, cani, automobili meglio, e un essere umano medio con velocità più veloce, tutto grazie al recente sviluppo di apprendimento profondo e reti neurali. Ma quello che forse non si sente, è al centro, sta in un semplice teorema, un semplice principio che rende possibili tutte queste cose. Inserisci il Teorema dell'Approssimazione Universale. Una volta capito, l'apprendimento profondo o le reti neurali multistrato non saranno mai un mito per te. Saprete perché è così potente, e soprattutto, dov'è il suo limite.
Così che cosa nel mondo è teorema universale di approssimazione ?
Se non conoscete che cosa il teorema universale di approssimazione è, sguardo giusto alla figura qui sopra. Praticamente si spiega. No, sto scherzando. Non seguiremo la pesante strada della matematica. Invece, cercherò di spiegarlo nel modo più semplice possibile, quindi anche se non si conosce molto di matematica o approssimazione delle funzioni, si può ancora capire. In parole povere, UAT significa solo che dare una rete neurale a uno strato nascosto con abbastanza neuroni. Può approssimare (o simulare da vicino) qualsiasi funzione continua all'interno del range di ingresso dato. Vi darò due cifre per spiegare rapidamente cosa significa.
Le figure di cui sopra come reti neurali con diverse dimensioni (numero di neuroni) approssimare la funzione mostrata nella curva rossa. Invece di cercare di essere intelligente e trovare alcune curve misteriose che possono aggiungere fino a questa curva funzione rossa di cui sopra, ciò che la rete neurale fa è dividere la curva in molti piccoli contenitori e approssimare ogni bin utilizzando un neurone (non esattamente, ma l'idea principale è questa). Se ci sono molti neuroni, i contenitori saranno abbastanza piccoli, e la curva delle funzioni di destinazione con ogni contenitore diventa molto lineare, e l'errore sarà sufficientemente piccolo. Dato diversi input, cadrà in un unico contenitore e quindi attiverà un neurone. Questo neurone può essere addestrato per dare un valore vicino ai dati di allenamento. Questo è tutto. La figura sopra mostra solo una funzione bidimensionale. Vediamo una funzione tridimensionale :
Una funzione tridimensionale non è poi così diversa, i bidoni ora diventano cubi, e l'UAT è ancora in piedi. Con i neuroni come granularità di base, le reti neurali sono infinitamente flessibili e possono entrare in qualsiasi funzione gli si lanci contro. Questo è anche il motivo per cui di solito chiamiamo la formazione un modello "misura il modello."
Lego : reti neurali per giocattoli
Ancora un po' confuso ? Non preoccupatevi. Possiamo guardare a questo da un'altra angolazione, un più divertente, più semplice, e ancora più infantile angolo. Chissà perché i LEGO sono così popolari e di successo tra bambini e adulti ? Cos'è la magia dei LEGO ? Per me, la risposta non è molto diversa dal motivo per cui la rete neurale è così potente. Ciò a cui LEGO eccelle è invece di darti una forma fissa del giocattolo. Ti dà blocchi di costruzione che possono essere costruiti in qualsiasi forma di giocattolo che il tuo cuore desidera. Ha anche il buon vecchio potere di approssimazione universale !
Le serie DUPLO più adatte ai bambini sono come reti neurali superficiali, senza molti mattoni (neuroni nelle reti neurali), ma più facili da manipolare. Serie più sofisticate sono come reti profonde, con un trilione di pezzi per creare una morte nera !
Altre Analogie
Se ritenete che LEGO sia un po' troppo infantile per voi, possiamo guardare ad alcune altre aree che utilizzano l'idea di utilizzare semplici blocchi di base per risolvere problemi molto complessi. Nell'Analisi Strutturale dove le persone cercano di analizzare i luoghi più vulnerabili all'interno di una struttura (ad esempio, un ponte) utilizzando un metodo chiamato Analisi degli Elementi Finiti. L'idea è quella di tagliare la struttura in piccoli pezzi e analizzare ogni singolo pezzo, e mettere insieme il quadro generale come la figura mostra sotto.
Analisi degli Elementi Finiti
Radar a schieramento di fase
Un'altra idea simile è ampiamente usata nell'industria radar. Un tipo di radar ha guadagnato popolarità negli ultimi anni e si chiama Phase Array Radar. Invece di un radar a scansione rotante, l'array di fase radar è un array controllato dal computer di antenne che crea un fascio di onde radio che possono essere orientate elettronicamente in direzioni diverse senza muovere le antenne.
Il fascio di scansione convergente è composto (o approssimato) da una serie di antenne base. Ciascuna è programmabile e controllata da un algoritmo centrale.
Cosa possiamo estrapolare dal teorema dell'approssimazione universale ?
Speriamo che ora abbiate una migliore intuizione di cosa significhi il Teorema dell'Approssimazione Universale. Nella sua essenza, è solo un modo di dividere problemi complessi in semplici e piccoli bit, poi li mette insieme per approssimare la soluzione.
Il bit potrebbe essere un neurone nelle reti neurali, un pezzo/blocco in un set LEGO, un'antenna in array di fase, un pixel in una foto HD, un servizio in un'app di micro-servizi, o un semplice contenitore in un cluster Kubernetes. L'idea è la stessa : approssima un problema complesso con unità semplici/di base che possono essere manipolate da algoritmi.
Trovato questo articolo utile ? Seguitemi (Michael Li) su Media o mi si può trovare su Twitter @lymenlee o il mio blog sito wayofnumbers.com. Potreste anche controllare i miei articoli più popolari sotto !
Commentaires