BP
BP (Back propagation)
(Back propagation)
Paradigma di rete neurale basato sulla tipologia feed-forward (ossia su reti che non presentano anelli di retroazione) con apprendimento supervisionato (supervised learning). Si tratta del principale metodo per far apprendere un dato compito a una rete neurale e rappresenta un’implementazione della regola Delta generalizzata negli anni Ottanta del Novecento da David E. Rumelhart, Geoffrey E. Hinton e Ronald J. Williams, dopo la prima descrizione che ne fece Paul Werbos nel 1974. Il meccanismo si basa sull’idea avanzata da Sigmund Freud sulle modalità che sfrutta il cervello umano per adattarsi alle variazioni temporali degli stimoli. Egli ipotizzò un flusso biochimico in direzione contraria al normale flusso elettrico dovuto a un potenziale eccitatorio (da cui il nome di back propagation, ovvero propagazione all’indietro). Nel modello matematico impiegato nella teoria delle reti neurali, ciò che viene propagato all’indietro è l’errore pari alla differenza tra l’uscita desiderata e l’uscita effettiva della rete in corrispondenza di un particolare stato di ingresso. Tale processo richiede l’esistenza di un ente in grado di conoscere o calcolare l’uscita desiderata in corrispondenza di ogni ingresso dato. Gli errori si propagano all’indietro risalendo dai nodi di uscita a quelli più interni. Ciò corrisponde a calcolare il gradiente dell’errore di propagazione rispetto ai pesi dei nodi della rete. L’algoritmo corrispondente appartiene alla classe degli algoritmi che realizzano una discesa stocastica del gradiente, ovvero alla classe degli algoritmi che ricercano un minimo (locale) della superficie dell’errore (ricavando così i pesi che minimizzano l’errore). Le reti neurali back-propagation sono tipicamente dei percettroni multistrato con uno strato d’ingresso, uno strato nascosto e uno strato di uscita.