| Téléchargement | - Voir la version finale : Correspondence between neuroevolution and gradient descent (PDF, 1.2 Mio)
- Voir les données supplémentaires : Correspondence between neuroevolution and gradient descent (PDF, 2.9 Mio)
|
|---|
| DOI | Trouver le DOI : https://doi.org/10.1038/s41467-021-26568-2 |
|---|
| Auteur | Rechercher : Whitelam, StephenIdentifiant ORCID : https://orcid.org/0000-0002-0086-6803; Rechercher : Selin, Viktor; Rechercher : Park, Sang-Won; Rechercher : Tamblyn, Isaac1 |
|---|
| Affiliation | - Conseil national de recherches du Canada. Technologies de sécurité et de rupture
|
|---|
| Format | Texte, Article |
|---|
| Sujet | applied mathematics; statistical physics |
|---|
| Résumé | We show analytically that training a neural network by conditioned stochastic mutation or neuroevolution of its weights is equivalent, in the limit of small mutations, to gradient descent on the loss function in the presence of Gaussian white noise. Averaged over independent realizations of the learning process, neuroevolution is equivalent to gradient descent on the loss function. We use numerical simulation to show that this correspondence can be observed for finite mutations, for shallow and deep neural networks. Our results provide a connection between two families of neural-network training methods that are usually considered to be fundamentally different. |
|---|
| Date de publication | 2021-11-02 |
|---|
| Maison d’édition | Nature Research |
|---|
| Licence | |
|---|
| Dans | |
|---|
| Données connexes | |
|---|
| Langue | anglais |
|---|
| Publications évaluées par des pairs | Oui |
|---|
| Exporter la notice | Exporter en format RIS |
|---|
| Signaler une correction | Signaler une correction (s'ouvre dans un nouvel onglet) |
|---|
| Identificateur de l’enregistrement | f11ecf04-e63f-4322-88bd-1a75618ec617 |
|---|
| Enregistrement créé | 2022-02-18 |
|---|
| Enregistrement modifié | 2022-02-22 |
|---|
