Μονάδα:
Τμήμα Πληροφορικής & ΤηλεπικοινωνιώνΠληροφορική
Ημερομηνία κατάθεσης:
2022-11-10
Συγγραφέας:
ΣΠΗΛΙΩΤΟΠΟΥΛΟΣ ΑΛΕΞΙΟΣ
Στοιχεία επιβλεπόντων καθηγητών:
Ιωάννης Παναγάκης, Αναπληρωτής Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Σπυρίδων Πολυχρονόπουλος, Επιστημονικός Συνεργάτης, Τμήμα Πληροφορικής και Τηλεπικοινωνιών, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Πρωτότυπος Τίτλος:
Exploring Automatic Music Generation using Transformer encoder-based Language Models
Γλώσσες εργασίας:
Αγγλικά
Ελληνικά
Μεταφρασμένος τίτλος:
Εξερευνώντας την Αυτόματη Σύνθεση Μουσικής με τη χρήση Γλωσσικών Μοντέλων βασισμένων σε κωδικοποιητή Transformer
Περίληψη:
Η αυτόματη παραγωγή μουσικής είναι ένας μακροχρόνιος στόχος στην τεχνητή νοημοσύνη, με μεθόδους που βασίζονται στη βαθιά μάθηση να αναδεικνύονται ως η πιο εξέχουσα προσέγγιση τα τελευταία χρόνια. Γλωσσικά μοντέλα όπως το GPT και το BERT, τα οποία έχουν κατορθώσει μεγάλη επιτυχία σε διάφορα προβλήματα επεξεργασίας φυσικής γλώσσας, έχουν επίσης εφαρμοστεί στη δημιουργία μουσικής. Παρά το γεγονός ότι οι περισσότερες έρευνες επικεντρώνονται σε μοντέλα Transformer βασισμένα σε αποκωδικοποιητή για τη σύνθεση μουσικής, από όσο γνωρίζουμε δεν έχουν γίνει προηγούμενες προσπάθειες χρήσης μοντέλων μόνο με τον κωδικοποιητή ενός Transformer. Σε αυτή την εργασία, επιχειρούμε να εξερευνήσουμε τον τομέα της αυτόματης παραγωγής μουσικής χρησιμοποιώντας το MusicBERT, ένα προ-εκπαιδευμένο γλωσσικό μοντέλο μεγάλης κλίμακας που βασίζεται στον κωδικοποιητή του Transformer, και εκπαιδεύοντάς το περαιτέρω χρησιμοποιώντας μουσική πιάνου Μπαρόκ μουσικής από δεδομένα MIDI. Λαμβάνοντας υπόψη ότι τα δίκτυα που βασίζονται σε κωδικοποιητές δεν είναι αυτοπαλίνδρομα, προσαρμόζουμε διάφορες τεχνικές δειγματοληψίας προκειμένου να εκμεταλλευτούμε τη συλλεγόμενη γνώση. Τα αποτελέσματα των πειραμάτων έδειξαν ότι η απευθείας χρήση ενός γλωσσικού μοντέλου μόνο με κωδικοποιητή ως παραγωγικού μοντέλου μπορεί να είναι πιο περίπλοκη από ό,τι είχε αρχικά θεωρηθεί και θέτει πολλές προκλήσεις. Πιθανές μελλοντικές βελτιώσεις συζητούνται στο τέλος αυτής της εργασίας.
Κύρια θεματική κατηγορία:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
BERT, MusicBERT, MIDI, Μουσική Συμβόλων, Παραγωγή Μουσικής, Γλωσσικά Μοντέλα
Αρ. σελίδων ευρετηρίου:
3
Αρ. βιβλιογραφικών αναφορών:
26
