.
Στη μηχανική μάθηση, το πρόβλημα της εξαφανιζόμενη κλίσης αντιμετωπίζεται όταν εκπαιδεύουμε τεχνητά νευρωνικά δίκτυα με μεθόδους μάθησης που βασίζονται σε κλίση και οπισθοδιάδοση. Σε τέτοιες μεθόδους, κατά τη διάρκεια κάθε επανάληψης εκπαίδευσης, κάθε ένα από τα βάρη του νευρωνικού δικτύου λαμβάνει μια ενημέρωση ανάλογη με τη μερική παράγωγο της συνάρτησης σφάλματος σε σχέση με το τρέχον βάρος.[1] Το πρόβλημα είναι ότι σε ορισμένες περιπτώσεις, η κλίση θα είναι εξαιρετικά μικρή, αποτρέποντας αποτελεσματικά το βάρος από το να αλλάξει την τιμή του.[1] Στη χειρότερη περίπτωση, αυτό μπορεί να σταματήσει εντελώς το νευρωνικό δίκτυο από την περαιτέρω εκπαίδευση.[1] Ως ένα παράδειγμα της αιτίας του προβλήματος, οι παραδοσιακές συναρτήσεις ενεργοποίησης, όπως η υπερβολική εφαπτομενική συνάρτηση έχουν διαβαθμίσεις στην περιοχή (0,1], και η αντίστροφη διάδοση υπολογίζει τις διαβαθμίσεις με τον κανόνα της αλυσίδας. Αυτό έχει ως αποτέλεσμα τον πολλαπλασιασμό του n από αυτούς τους μικρούς αριθμούς για τον υπολογισμό διαβαθμίσεις των πρώτων στρωμάτων σε ένα δίκτυο n-στρώσεων, που σημαίνει ότι η κλίση (σήμα σφάλματος) μειώνεται εκθετικά με το n ενώ τα πρώτα στρώματα εκπαιδεύονται πολύ αργά.
Hellenica World - Scientific Library
Από τη ελληνική Βικιπαίδεια http://el.wikipedia.org . Όλα τα κείμενα είναι διαθέσιμα υπό την GNU Free Documentation License
