Μονάδα:
Κατεύθυνση Μεγάλα Δεδομένα και Τεχνητή ΝοημοσύνηΠληροφορική
Ημερομηνία κατάθεσης:
2020-09-23
Συγγραφέας:
Κωστοπούλου Καλλιόπη
Στοιχεία επιβλεπόντων καθηγητών:
Αλέξανδρος Ντούλας
Πρωτότυπος Τίτλος:
Sparse Communication for Deep Learning
Γλώσσες εργασίας:
Αγγλικά
Μεταφρασμένος τίτλος:
Αραιή Επικοινωνία για Βαθιά Μάθηση
Περίληψη:
Όσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο
αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η "παραλληλία των δεδομένων" είναι μια διάσημη προσέγγιση
για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η
ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω
δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης.
Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των
δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει
αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες
ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να
συγκλίνει παρουσία αυτής της μεθόδου.
Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που "αραιώνουν" τα διανύσματα
κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας
διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως "παλινδρόμηση" ή τις ευρέως γνωστές "bloom filter"
δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός
κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.
Κύρια θεματική κατηγορία:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
συμπιεσμένη επικοινωνία, βαθιά μάθηση, κατανεμημένα συστήματα
Αρ. σελίδων ευρετηρίου:
4
Αρ. βιβλιογραφικών αναφορών:
15
