Στοιχεία επιβλεπόντων καθηγητών:
Παναγάκης Ιωάννης
Αναπληρωτής καθηγητής
Πληροφορικής και Τηεποκοινωνιών
Περίληψη:
Τα συνελικτικά νευρωνικά δίκτυα έχουν προκαλέσει επανάσταση στον τομέα της υπολογιστικής όρασης τα τελευταία χρόνια σπάζοντας συνεχώς πολλά ρεκόρ της τελευταίας λέξης της τεχνολογίας. Τα CNN είναι μαθηματικά μοντέλα που αποτελούνται από στρώματα συνελικτικών τελεστών, ακολουθούμενα από μη γραμμικές συναρτήσεις ενεργοποίησης. Οι μη γραμμικές λειτουργίες ενεργοποίησης βελτιώνουν την εκφραστική ικανότητα του μοντέλου, επιτρέποντάς του να προσαρμόζεται σε ένα ευρύ φάσμα διασποράς δεδομένων. Μια άλλη μέθοδος για την αύξηση της μη γραμμικότητας των μοντέλων είναι η χρήση πολυάριθμων συνελικτικών στρωμάτων και η διαμόρφωση μιας πολύπλοκης δομής μεταξύ τους.
Κατά τη διάρκεια των τελευταίων ετών, η έρευνα έχει επικεντρωθεί στη βελτίωση αυτών των μη γραμμικών τεχνικών, έτσι ώστε το μοντέλο να μπορεί να γενικεύει με αυξανόμενη ευελιξία στα δεδομένα. Ωστόσο, ελάχιστη μελέτη έχει πραγματοποιηθεί για τη βελτίωση της φύσης της ίδιας της διαδικασίας συνέλιξης. Για να αντιμετωπίσουμε αυτό το ζήτημα, σε αυτή τη πτυχιακή διατριβή, επιδιώκουμε να αντικαταστήσουμε τους γραμμικούς συνελικτικούς τελεστές με μη γραμμικούς, τις ονομαζόμενες συνελίξεις Volterra.
Οι συνελίξεις Volterra είναι συναρτήσεις πολυωνυμικής προσέγγισης και καθιστούν ένα από τα πιο γνωστά μοντέλα για την ανάλυση πολύπλοκων δυναμικών συστημάτων που βρίσκονται στη φύση. Ως αποτέλεσμα, κρίνονται κατάλληλες για την ενίσχυση της εκφραστικής ικανότητας του τελεστή γραμμικής συνέλιξης, καθώς και για την εισαγωγή πρόσθετων χώρων αναζήτησης και διαστάσεων για τις συναρτήσεις εκτίμησης που είναι πιο επιρρεπείς σε παραλλαγές δεδομένων.
Σε αυτή τη μελέτη, υλοποιούμε και αξιολογούμε τις μη γραμμικές συνελίξεις Volterra χρησιμοποιώντας τα σύνολα δεδομένων CIFAR10 και CIFAR100. Αποδεικνύουμε ότι υπερτερούν των γραμμικών ομολόγων τους με μικρές μόνο αλλαγές στη σχεδίαση του μοντέλου μας. Επιπλέον, ρίχνουμε φως στον τρόπο ερμηνείας των πληροφοριών και στις σχέσεις υψηλότερου επιπέδου που προκύπτουν στα δεκτικά πεδία. Επίσης, εντοπίζουμε μια ομοιότητα μεταξύ των μη γραμμικών όρων αυτής της μεθόδου και των σύγχρονων μοντέλων αυτοπροσοχής που έχουν συνεισφέρει σημαντικές ανακαλύψεις στον τομέα της υπολογιστικής όρασης πρόσφατα. Τέλος, δείχνουμε σχέσεις μεταξύ των μη γραμμικών συνελίξεων και των βαθύτερων στρωμάτων του δικτύου μας, αποκαλύπτοντας μια ομοιότητα με πολυωνυμικές συναρτήσεις.
Οι υλοποιήσεις των μη γραμμικών συνελίξεων παρέχονται στον παρακάτω σύνδεσμο: https://github.com/AGiannoutsos/Volterra-Convolutions
Λέξεις-κλειδιά:
Συνελίξεις Βολτέρρα, Μη γραμμικές Συνελίξεις, Συνελικτικά Νευρωνικά Δίκτυα, Τετραγωνικές Συνελίξεις
