Στοιχεία επιβλεπόντων καθηγητών:
Γιάννης Παναγάκης, Αναπληρωτής Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Περίληψη:
Το ανθρώπινο πρόσωπο είναι πιθανώς το πιο χαρακτηριστικό αναγνωριστικό της ταυτότητας ενός ανθρώπου σε κάθε έκφανση της ζωής του. Στη σύχρονη εποχή, η ανάπτυξη των καμερών και των ηλεκτρονικών συσκευών έχει οδηγήσει στην αδιάκοπη παραγωγή και συλλογή εικόνων με πρόσωπα, που βρίσκουν εφαρμογή σε πολλούς τομείς, όπως η εκπαίδευση, η υγεία, τα ηλεκτρονικά παιχνίδια, η ασφάλεια, η ποινική και ιατροδικαστική έρευνα. Είναι προφανές, ότι η πρόοδος σε αυτούς τους τομείς μπορεί να διευκολύνει την καθημερινή ζωή των ανθρώπων και να τους βηθήσει να ζουν σε πιο ασφαλείς κοινωνίες. Όμως, για να μπορέσουν αυτού του είδους οι εφαρμογές να λειτουργήσουν ορθά, απαιτείται η φωτογραφική λήψη προσώπων μεγάλης καθαρότητας και ευκρίνειας. Αυτή η απαίτηση είναι κάτι παραπάνω από δύσκολο να ικανοποιηθεί στις πραγματικές συνθήκες διαβίωσης. Occlusions όπως γυαλιά μυωπίας, γυαλιά ηλίου, μάσκες προσώπου, φουλάρια, χέρια κ.ά. προκαλούν σοβαρές αλλοιώσεις στις φωτογραφίες με πρόσωπα και αποδυναμώνουν την απόδοση της ταυτοποίησης προσώπου, από τις αντίστοιχες εφαρμογές.
Παρόλο που ορισμένοι αλγόριθμοι μπορούν να διαχειριστούν την αναγνώριση προσώπου με occlusion, εξακολουθούν να υφίστανται μείωση στην απόδοσή τους εξαιτίας της έκτασης του occlusion. Επομένως, η αφαίρεση των occlusions από τις εικόνες με πρόσωπα είναι μια πολύ σημαντική, αλλά και απαιτητική εργασία. Η δυσκολία της οφείλεται στο γεγονός, ότι μια μέθοδος ανακατασκευής πρέπει να βρει κάποιον τρόπο, ώστε να αποκαταστήσει τα occluded μέρη του προσώπου σε μια μη occluded μορφή, στοχεύοντας στην παραγωγή ενός καθαρού προσώπου. Όπως γνωρίζουμε, τα ανθρώπινα πρόσωπα έχουν παρόμοιο σχήμα και μέγεθος σε γενικές γραμμές. Ωστόσο, ορισμένα χαρακτηριστικά μπορεί να διαφέρουν πολύ με βάση την φυλή, το γένος και την ηλικία τους. Αυτές οι λεπτομέρεις αυξάνουν ακόμα περισσότερο το βαθμό δυσκολίας της διαδικασίας αποκατάστασης του προσώπου.
Ο σκοπός αυτής της Πτυχιακής Μελέτης είναι η αποκατάσταση occluded εικόνων με πρόσωπα σε μια μη occluded μορφή, ώστε να διευκολυνθεί η ταυτοποίησή τους. Για να το πετύχουμε αυτό, διερευνούμε ένα πλήθος από μοντέλα, ειδικευμένα στην ανάπλαση του προσώπου και τα αξιολογούμε με βάση την απόδοσή τους στην αναγνώριση προσώπου. Τα μοντέλα στηρίζονται σε δύο κυρίαρχες μεθοδολογίες της ανάπλασης προσώπου. Η πρώτη, επιτηρούμενη μεθοδολογία, γνωστή ως Generative Landmark Guided Face Inpainting (ή LaFIn) αξιοποιεί μερικά από τα πιο καινοτόμα και υπερσύγχρονα εργαλεία στο πεδίο της μηχανικής μάθησης, τα βαθειά νευρωνικά δίκτυα. Η αρχιτεκτονική του LaFIn επωφελείται από την ενσωμάτωση των διακριτών σημείων του προσώπου και επιτυγχάνει την επιθυμητή αποκατάστασή του. Η δεύτερη, μη επιτηρούμενη μέθοδος γνωστή ως Principal Component Pursuit using Side Information, Features and Missing Values (ή PCPSFM) είναι μια γενίκευση της διάσημης μεθόδου Robust Principal Component Analysis (RPCA). Η PCPSFM αξιοποιεί την προϋπάρχουσα γνώση και καταφέρνει να ανακτήσει έναν πίνακα L0, χαμηλού βαθμού, ο οποίος περιέχει το αναπλασμένο πρόσωπο. Ταυτόχρονα, απομονώνει τα occlusions σε έναν ξεχωριστό, αραιό πίνακα S0.
Για να αξιολογήσουμε τις προτεινόμενες μεθόδους, δουλέψαμε σε ένα τμήμα του δημοφιλούς συνόλου δεδομένων CelebA, το οποίο περιέχει τις αναπαραστάσεις των προσώπων διάφορων διάσημων προσωπικοτήτων. Για τα πειράματά μας, δημιουργήσαμε occlusions διαφορετικών μεγεθών και σχημάτων, ώστε να αξιολογήσουμε τα μοντέλα υπό πολλαπλές συνθήκες. Όσον αφορά την διαδικασία αξιολόγησης, χρησιμοποιήθηκαν τρία διαφορετικά μοντέλα, που προσπαθούν να εντοπίσουν την κυρίαρχη μεθόδο ανάπλασης, με βάση το ποσοστό των επιτυχημένων ταιριασμάτων μεταξύ των αναπλασμένων και των καθαρών προσώπων όλων των διάσημων προσωπικοτήτων, που εμπεριέχονται στο σύνολο δεδομένων.
Λέξεις-κλειδιά:
Ανάπλαση Εικόνας, Εμφράξεις Προσώπου, Μηχανική Μάθηση, Νευρωνικά Δίκτυα, Εύρωστη Ανάλυση Κυρίων Συνιστωσών, Αναγνώριση Προσώπου
