.
Ο Γενικευμένος Αλγόριθμος του Hebb (GHA), επίσης γνωστός στη βιβλιογραφία ως κανόνας του Sanger, είναι ένα γραμμικό μοντέλο νευρωνικών δικτύων προς τα εμπρός για μάθηση χωρίς επίβλεψη με εφαρμογές κυρίως στην ανάλυση κύριων στοιχείων. Ορίστηκε για πρώτη φορά το 1989,[1] είναι παρόμοιος με τον κανόνα του Oja ως προς τη διατύπωση και τη σταθερότητά του, εκτός από το ότι μπορεί να εφαρμοστεί σε δίκτυα με πολλαπλές εξόδους. Το όνομα προέρχεται λόγω της ομοιότητας μεταξύ του αλγορίθμου και μιας υπόθεσης του Donald Hebb[2] σχετικά με τον τρόπο με τον οποίο οι συναπτικές δυνάμεις στον εγκέφαλο τροποποιούνται ως απάντηση στην εμπειρία, δηλαδή ότι οι αλλαγές είναι ανάλογες με τη συσχέτιση μεταξύ της πυροδότησης προ- και μετασυναπτικούς νευρώνες.[3]
θεωρία
Το GHA συνδυάζει τον κανόνα του Oja με τη διαδικασία Gram-Schmidt για να παράγει έναν κανόνα μάθησης της μορφής
\( \,\Delta w_{ij} ~ = ~ \eta\left(y_i x_j - y_i \sum_{k=1}^{i} w_{kj} y_k \right),[4] \)
όπου το wij ορίζει το συναπτικό βάρος ή την ισχύ σύνδεσης μεταξύ του jου νευρώνα εισόδου και του ιου νευρώνα εξόδου, το x και το y είναι τα διανύσματα εισόδου και εξόδου, αντίστοιχα, και η είναι η παράμετρος του ρυθμού εκμάθησης.
Παραγωγή
Σε μορφή μήτρας, ο κανόνας του Oja μπορεί να γραφτεί
\( {\displaystyle \,{\frac {{\text{d}}w(t)}{{\text{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t)}, \)
και ο αλγόριθμος Gram-Schmidt είναι
\( \,\Delta w(t) ~ = ~ -\mathrm{lower} [w(t) w(t)^{\mathrm{T}}] w(t),\)
όπου w(t) είναι οποιοσδήποτε πίνακας, σε αυτή την περίπτωση αντιπροσωπεύει συναπτικά βάρη, Q = η x xT είναι ο πίνακας αυτοσυσχέτισης, απλώς το εξωτερικό γινόμενο των εισόδων, diag είναι η συνάρτηση που διαγωνιάζει έναν πίνακα και χαμηλότερη είναι η συνάρτηση που ορίζει όλα στοιχεία μήτρας πάνω ή πάνω από τη διαγώνιο ίση με 0. Μπορούμε να συνδυάσουμε αυτές τις εξισώσεις για να πάρουμε τον αρχικό μας κανόνα σε μορφή πίνακα,
\( \,\Delta w(t) ~ = ~ \eta(t) \left(\mathbf{y}(t) \mathbf{x}(t)^{\mathrm{T}} - \mathrm{LT}[\mathbf{y}(t)\mathbf{y}(t)^{\mathrm{T}}] w(t)\right),\)
όπου η συνάρτηση LT θέτει όλα τα στοιχεία του πίνακα πάνω από τη διαγώνιο ίση με 0, και σημειώστε ότι η έξοδος μας y(t) = w(t) x(t) είναι ένας γραμμικός νευρώνας.[1]
Σταθερότητα και PCA
[5] [6]
Εφαρμογές
Το GHA χρησιμοποιείται σε εφαρμογές όπου είναι απαραίτητος ένας χάρτης αυτο-οργάνωσης ή όπου μπορεί να χρησιμοποιηθεί μια ανάλυση χαρακτηριστικών ή κύριων στοιχείων. Παραδείγματα τέτοιων περιπτώσεων περιλαμβάνουν την τεχνητή νοημοσύνη και την επεξεργασία ομιλίας και εικόνας.
Η σημασία της προέρχεται από το γεγονός ότι η μάθηση είναι μια διαδικασία ενός επιπέδου - δηλαδή, ένα συναπτικό βάρος αλλάζει μόνο ανάλογα με την απόκριση των εισόδων και εξόδων αυτού του στρώματος, αποφεύγοντας έτσι την εξάρτηση πολλαπλών επιπέδων που σχετίζεται με τον αλγόριθμο οπισθοδιάδοσης. Έχει επίσης μια απλή και προβλέψιμη αντιστάθμιση μεταξύ της ταχύτητας εκμάθησης και της ακρίβειας της σύγκλισης, όπως ορίζεται από την παράμετρο ρυθμού εκμάθησης η.[5]
Hellenica World - Scientific Library
Από τη ελληνική Βικιπαίδεια http://el.wikipedia.org . Όλα τα κείμενα είναι διαθέσιμα υπό την GNU Free Documentation License
