Μονάδα:
Κατεύθυνση Διαχείριση Δεδομένων, Πληροφορίας και ΓνώσηςΠληροφορική
Ημερομηνία κατάθεσης:
2025-05-09
Συγγραφέας:
Γαρδελάκος Ειρηναίος-Οδυσσέας
Στοιχεία επιβλεπόντων καθηγητών:
Μανόλης Κουμπαράκης, Καθηγητής, Τμήμα Πληροφορικής & Τηλεπικοινωνιών
Πρωτότυπος Τίτλος:
Evaluating the Spatial Reasoning Capabilities of Open Weight LLMs
Γλώσσες εργασίας:
Αγγλικά
Μεταφρασμένος τίτλος:
Αξιολόγηση της ικανότητας χωρικού συλλογισμού των Μεγάλων Γλωσσικών Μοντέλων ανοιχτού βάρους
Περίληψη:
Ο χωρικός συλλογισμός αποτελεί ένα σημαντικό στοιχείο του κοινού λογικού συλλογισμού,
το οποίο αποτελεί αναπόσπαστο μέρος ενός επιτυχημένου ευφυούς συστήματος. Σε αυτή τη μελέτη, θα ερευνήσουμε τη συμπεριφορά ορισμένων μεγάλων γλωσσικών μοντέλων
ανοιχτού βάρους (Open-Weights LLMs), δοκιμάζοντας τις ικανότητες χωρικής συλλογιστικής τους. Η ανάλυση αποτελείται από τρεις βασικές κατηγορίες της χωρικής συλλογιστικής, κάθε μία από τις οποίες περιλαμβάνει έναν διαφορετικό τρόπο δοκιμής των ικανοτήτων τους.
Στο πρώτο μέρος, διερευνούμε τις ικανότητες των LLMs να κατανοούν ερωτήματα που
αφορούν τις κατευθύνσεις (Directional Relations), προσπαθώντας πρώτα να παρέχουμε
μια θεωρητική ανάλυση και μοντελοποίηση αυτών. Πιο συγκεκριμένα, για τα πειράματα,
έχουμε χρησιμοποιήσει δύο σύνολα δεδομένων, τα οποία αποτελούνται από ερωτήσεις,
με τις οποίες προσπαθούμε να προσδιορίσουμε το επίπεδο κατανόησης των μοντέλων ως
προς τις κατευθύνσεις. Επιπλέον, συγκρίνουμε τους Πίνακες μεταβατικότητας (Transitivity
Tables) που δημιουργήθηκαν από τα μοντέλα με τους πραγματικούς.
Στο δεύτερο μέρος, διερευνούμε την ικανότητα των LLMs να συλλογίζονται για Τοπολογικές Συσχετίσεις (Topological Relations), χρησιμοποιώντας τη μεθοδολογία RCC-8. Έχουμε υλοποιήσει 4 διαφορετικά πειράματα, καθένα από τα οποία έχει ένα διαφορετικό σύνολο ερωτήσεων, τα οποία δοκιμάζουν μια διαφορετική πτυχή αυτού του θέματος.
Τέλος, δημιουργήσαμε ένα σύνολο δεδομένων με ερωτήσεις, προκειμένου να ελέγξουμε
την ικανότητα συλλογισμού, σχετικά με τις Συσχετίσεις Αποστάσεων (Distance Relations),
μια ιδιαίτερη πτυχή του Χωρικού Συλλογισμού.
Κύρια θεματική κατηγορία:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
LLM, RCC8, Πίνακες Μεταβατικότητας, Χωρικός Συλλογισμός
Αρ. σελίδων ευρετηρίου:
1
Αρ. βιβλιογραφικών αναφορών:
9
Αρχείο:
Δεν επιτρέπεται η πρόσβαση στο αρχείο έως 2025-11-12.
Diploma_Thesis_Evaluating_the_Spatial_Reasoning_Capabilities_of_Open_Weight_LLMs_Gardelakos.pdf
1 MB
Δεν επιτρέπεται η πρόσβαση στο αρχείο έως 2025-11-12.
