Μονάδα:
Κατεύθυνση Ηλεκτρονικός Αυτοματισμός (H/A)Βιβλιοθήκη Σχολής Θετικών Επιστημών
Ημερομηνία κατάθεσης:
2021-07-22
Συγγραφέας:
Μπέλλος Φίλιππος
Στοιχεία επιβλεπόντων καθηγητών:
Γιάννης Αβρίθης, Ερευνητής, Irisa, Inria Rennes-Bretagne Atlantique
Διονύσιος Ρεΐσης, Καθηγητής, Τμήμα Φυσικής, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Άννα Τζανακάκη, Αναπληρώτρια Καθηγήτρια, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Πρωτότυπος Τίτλος:
Επαναληπτικός καθαρισμός προβλέψεων για ημι-επιβλεπόμενη μάθηση
Γλώσσες εργασίας:
Αγγλικά
Ελληνικά
Μεταφρασμένος τίτλος:
Επαναληπτικός καθαρισμός προβλέψεων για ημι-επιβλεπόμενη μάθηση
Περίληψη:
Τα βαθιά νευρωνικά δίκτυα έχουν γίνει το de facto μοντέλο για εφαρμογές όρασης υπολογιστών. Η επιτυχία τους οφείλεται εν μέρει στη δυνάτοτητα κλιμάκωσης τους, δηλαδή στην εμπειρική παρατήρηση ότι εκπαιδεύοντας τα σε μεγαλύτερα σύνολα δεδομένων παράγουν καλύτερη απόδοση. Τα βαθιά δίκτυα επιτυγχάνουν συχνά ισχυρή απόδοση μέσω επιβλεπόμενης μάθησης, η οποία απαιτεί ένα σύνολο δεδομένων με ετικέτες. Το όφελος στην απόδοση που αποδίδεται στη χρήση ενός μεγαλύτερου συνόλου δεδομένων μπορεί να έχει σημαντικό κόστος καθώς η εμβάπτιση δεδομένων συχνά απαιτεί ανθρώπινη εργασία. Αυτό το κόστος μπορεί να είναι ιδιαίτερα μεγάλο όταν πρέπει να γίνει εμβάπτιση από κάποιον ειδικό.
Μια ισχυρή προσέγγιση για την εκπαίδευση μοντέλων σε μεγάλο αριθμό δε-δομένων χωρίς να απαιτείται μεγάλη ποσότητα ετικετών είναι η ημι-επιβλεπόμενη μάθηση. Η ημι-επιβλεπόμενη μάθηση μετριάζει την απαίτηση για δεδομένα με ετικέτες παρέχοντας ένα μέσο αξιοποίησης δεδομένων χωρίς εμβάπτιση. Δεδομένου ότι τα δεδομένα χωρίς εμβάπτιση μπορούν να ληφθούν με την ελάχιστη δυνατή ανθρώπινη εργασία, κάθε αύξηση της απόδοσης που παρέχεται από την ημι-επιβλεπόμενη μάθηση έρχεται συχνά με χαμηλό κόστος. Αυτό οδήγησε σε μια πληθώρα μεθόδων ημι-επιβλεπόμενης μάθησης που έχουν σχεδιαστεί για βαθιά δίκτυα.
Σε αυτή τη διατριβή, προτείνουμε δύο μεθόδους που συνδυάζουν επιτυχημένες ιδέες σε προβλήματα που σχετίζονται με το ζητούμενο που εξηγήθηκε προηγουμένως. Συγκεκριμένα, προτείνουμε το CleanMatchκαι το WeightMatch, δύο νέες ημι-επιβλεπόμενες μεθόδους μάθησης που ενοποιούν κυρίαρχες προσεγγίσεις και προτείνουν λύση στους περιορισμούς τους. Το CleanMatch αποτελείται από δύο στάδια: (1) επαναληπτική επιλογή των πιο σίγουρων ψευδο-ετικετών που παρέχονται από ένα συνδυασμό κανονικοποίησης συνέπειας και ψευδο-εμβάπτισης(consistency regularization and pseudo-labeling) ακολουθώντας το FixMatch και (2) αύξηση του σετ ετικετών με τα επιλεγμένα παραδείγματα του πρώτου σταδίου και ημι-επιβλεπόμενη εκπαίδευση με βάση το FixMatch στο επαυξημένο σύνολο δεδομένων. Το WeightMatch υπολογίζει ένα βάρος που αντικατοπτρίζει την εμπιστοσύνη κάθε παραδείγματος, αναγκάζοντας το μοντέλο να βασίζεται περισσότερο στα πιο σίγουρα από αυτά κατά τη διάρκεια της εκπαίδευσης.
Οι μέθοδοι μας επιτυγχάνουν την καλύτερη απόδοση σε πολλά σύνολα δεδομένων. Επιτυγχάνουν σημαντικές βελτιώσεις στην ακρίβεια στα CIFAR-10, SVHN και CIFAR-100 σε σενάρια με λιγοστές ετικέτες.
Κύρια θεματική κατηγορία:
Θετικές Επιστήμες
Λοιπές θεματικές κατηγορίες:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
Ημι-επιβλεπόμενη μάθηση, Ετικέτες με θόρυβο
Αρ. σελίδων ευρετηρίου:
73
Αρ. βιβλιογραφικών αναφορών:
117
Αρχείο:
Δεν επιτρέπεται η πρόσβαση στο αρχείο. H πρόσβαση επιτρέπεται μόνο εντός του δικτύου του ΕΚΠΑ.
Diploma_thesis_Bellos_Filippos.pdf
4 MB
Δεν επιτρέπεται η πρόσβαση στο αρχείο. H πρόσβαση επιτρέπεται μόνο εντός του δικτύου του ΕΚΠΑ.
