Μονάδα:
Κατεύθυνση Μεγάλα Δεδομένα και Τεχνητή ΝοημοσύνηΠληροφορική
Ημερομηνία κατάθεσης:
2022-12-28
Συγγραφέας:
Ρέππας Δημήτριος
Στοιχεία επιβλεπόντων καθηγητών:
Ιωάννης Αβρίθης, Διευθυντής Έρευνας, Ερευνητικό κέντρο ”ΑΘΗΝΑ”
Ιωάννης Εμίρης, Πρόεδρος και Γενικός Διευθυντής, Ερευνητικό κέντρο ”ΑΘΗΝΑ”
Stephane Ayache, Καθηγητής και Ερευνητής, Πανεπιστήμιο Μασσαλίας
Πρωτότυπος Τίτλος:
On visual explanation of supervised and self-supervised learning
Γλώσσες εργασίας:
Αγγλικά
Μεταφρασμένος τίτλος:
Οπτική εξήγηση της επιβλεπόμενης και αυτοεπιβλεπόμενης μάθησης
Περίληψη:
Τα τελευταία χρόνια, η ταχεία ανάπτυξη των Νευρωνικών Δικτύων Βάθους έχει επιφέρει αξιοσημείωτα επιτεύγματα σε πολλές εργασίες Όρασης Υπολογιστών. Η αυξανόμενη πολυπλοκότητα των μοντέλων, ο μεγάλος όγκος δεδομένων καθώς και η επίβλεψη κατά τη διάρκεια της εκπαίδευσης των μοντέλων είναι οι κύριες αιτίες πίσω από αυτήν την επιτυχία. Ως εναλλακτική λύση για την επιβλεπόμενη εκμάθηση αναπαράστασης, προτάθηκαν μέθοδοι αυτοεπίβλεψης για να απαλλαγούμε από τα υψηλά κόστη που απαιτούνται για την παραγωγή προσεκτικά επισημασμένων δεδομένων.
Αναμφίβολα, όσο πιο πολύπλοκα γίνονται τα μοντέλα, τόσο μεγαλύτερη είναι η ανάγκη κατανόησης των προβλέψεών τους. Ο πρωταρχικός στόχος αυτής της διατριβής είναι η ερμηνεία τόσο των επιβλεπόμενων όσο και των αυτοεπιβλεπόμεων μοντέλων, που βασίζονται σε αρχιτεκτονικές είτε συνελικτικών είτε οπτικών transformers δικτύων . Ποικιλία μεθόδων οπτικοποίησης χρησιμοποιείται, η οποία είναι βασισμένη σε χάρτες ενεργοποίησης κλάσεων και μηχανισμούς προσοχής. Δοθείσας μίας εικόνας εισόδου, αυτές οι μέθοδοι μας παρέχουν με ένα χάρτη σημαντικότητας που χρησιμοποιείται για την ερμηνεία της πρόβλεψης του δικτύου. Αυτός ο χάρτης υποδεικνύει τις περιοχές της εικόνας στις οποίες το μοντέλο δίνει τη μεγαλύτερη προσοχή. Οι μέθοδοι που χρησιμοποιούμε αξιολογούνται τόσο ποιοτικά όσο και ποσοτικά. Προτείνουμε περαιτέρω νέες εναλλακτικές ή συμπληρωματικές μεθόδους οπτικοποίησης, οι οποίες υποδεικνύουν πού μπορούν να κρυφτούν σημαντικές πληροφορίες μέσα στο δίκτυο και πώς μπορούν να αποκαλυφθούν. Οι νέες μέθοδοι βελτιώνουν περαιτέρω τα ποσοτικά αποτελέσματα. Η μελέτη μας υπογραμμίζει τη σημασία της ερμηνευσιμότητας, δείχνει ορισμένες κοινές ιδιότητες και διαφορές στον τρόπο με τον οποίο τα επιβλεπόμενα και αυτοεπιβλεπόμενα μοντέλα κάνουν τις προβλέψεις τους και παρέχει πολύτιμες πληροφορίες τόσο για τα μοντέλα όσο και για τις μεθόδους οπτικοποίησης.
Χάρης των γνώσεων που αποκομίσαμε από τη μελέτη πάνω στην ερμηνευσιμότητα, βελτιώνουμε περαιτέρω την αυτοεπιβλεπόμενη μάθηση, ιδίως χρησιμοποιώντας τη μοντελοποίηση κάλυψης εικόνας. Εδώ, υποδεικνύουμε τις περιοχές μιας εικόνας που είναι πιο σημαντικό να αποκρύπτονται από ένα δίκτυο μαθητή και ορίζουμε μια πιο αποδοτική μέθοδο αυτοεπίβλεψης που βασίζεται στη μοντελοποίηση κάλυψης εικόνας. Με βάση αυτό, προτείνουμε νέες στρατηγικές κάλυψης που επιτυγχάνουν υψηλότερα k-NN και liner probing αποτελέσματα και επιτάχυνση στη διαδικασία εκμάθησης σε εργασίες που ακολουθούν. Λαμβάνοντας υπόψη την πρόκληση υπολογιστικού κόστους που αντιμετωπίζουν αυτές οι μέθοδοι, διεξάγουμε πειράματα σε διαφορετικές κλίμακες ενός συνόλου δεδομένων και αριθμού εποχών εκπαίδευσης και δείχνουμε το αντίκτυπό τους στα αποτελέσματα. Εδώ, εξηγούμε περαιτέρω οπτικά την επιρροή κάθε στρατηγικής κάλυψης και κλίμακας ενός συνόλου δεδομένων χρησιμοποιώντας μεθόδους ερμηνείας κατά τη διαδικασία μάθησης και αξιολόγησης. Τέλος, εισάγουμε μια νέα συνάρτηση απώλειας που βασίζεται στην αντιθετική μάθηση και επιτυγχάνουμε βελτιώσεις σε σχέση με τη βασική συνάρτηση όταν χρησιμοποιείται με διαφορετικές στρατηγικές κάλυψης.
Κύρια θεματική κατηγορία:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
Όραση Υπολογιστών, Βαθιά Μάθηση, Eρμηνευσιμότητα, Aυτοεπιβλεπόμενη Mάθηση
Αρ. σελίδων ευρετηρίου:
5
Αρ. βιβλιογραφικών αναφορών:
81
