Μονάδα:
Κατεύθυνση / ειδίκευση Τεχνολογίες Πληροφορικής και Επικοινωνιών (ΤΠΕ)Πληροφορική
Ημερομηνία κατάθεσης:
2025-02-09
Συγγραφέας:
Καραγιάννης Ευάγγελος-Εμμανουήλ
Στοιχεία επιβλεπόντων καθηγητών:
Μανόλης Κουμπαράκης, Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών, Εθνικού και Καποδιστριακού Πανεπιστημίου Αθηνών
Χατζηευθυμιάδης Ευστάθιος, Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών, Εθνικού και Καποδιστριακού Πανεπιστημίου Αθηνών
Ιωάννης Παναγάκης, Αναπληρωτής Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών, Εθνικού και Καποδιστριακού Πανεπιστημίου Αθηνών
Πρωτότυπος Τίτλος:
Evaluating the capabilities of LLMs in geospatial question answering and geospatial reasoning
Γλώσσες εργασίας:
Ελληνικά
Μεταφρασμένος τίτλος:
Αξιολογώντας την απόδοση των Μεγάλων Γλωσσικών Μοντέλων (LLMs) σε γεω-χωρικές ερωτήσεις και χωρική αντίληψη
Περίληψη:
Στην παρούσα εργασία επιχειρήθηκε η εξέταση διαφόρων Μεγάλων Γλωσσικών Μοντέ-
λων αναφορικά με την ικανότητά τους να απαντούν σωστά ερωτήσεις γεωγραφικού και
χωρικού χαρακτήρα (geospatial questions).
Για τα πλαίσια της παραπάνω αξιολόγησης χρησιμοποιήθηκε το dataset, GeoQuestions1089,
που εμπεριέχει ερωτήσεις γεω-χωρικού χαρακτήρα, τις αντίστοιχες απαντήσεις μαζί με τις
SPARQL ή GeoSPARQL εντολές. Στην περίπτωση που οι απαντήσεις ταυτίζονται ή είναι
παρόμοιες, τότε η απάντηση που πήραμε από το LLM χαρακτηρίζεται ως (κυρίως) σωστή.
Διαφορετικά, αν υπάρχουν ορισμένα κοινά σημεία, τότε η απάντηση του γλωσσικού μο-
ντέλου θεωρείται μερικώς σωστή. Αντιθέτως, αν δεν υπάρχει σχεδόν κανένα κοινό σημείο
μεταξύ των δύο στοιχείων, η απάντηση του LLM θα ερμηνευθεί ως λανθασμένη.
Η δεύτερη πτυχή της εργασίας αφορά την ικανότητα των γλωσσικών μοντέλων να αντι-
λαμβάνονται, επεξεργάζονται χωρική πληροφορία και να συμπεραίνουν τις σχέσεις αντι-
κειμένων στον χώρο των δύο διαστάσεων. Συγκεκριμένα, δοθέντος κάποιων γράφων και
δίνοντας στα μοντέλα την χωρική σχέση μεταξύ κάποιων από των κόμβων τους ως εντολή
εισόδου, ρωτάμε το μοντέλο να συμπεράνει κάποιες άλλες σχέσεις.
Μετά την επιτυχημένη εξαγωγή της χρήσιμης πληροφορίας από τα περιεχόμενα του δείκτη
GeoQuestions1089 και την διαγραφή των ερωτήσεων που έχουν ως απάντηση πολύγονα,
χωρίσαμε όλες τις ερωτήσεις στις κατηγορίες Δυαδικές, Περιγραφικές και Ποσοτικές. Ο
λόγος που έγινε αυτή η διαφοροποίηση είναι λόγο του ότι η κάθε κατηγορία ερωτήσεων
αξιολογείται με διαφορετικό τρόπο.
Τα αποτελέσματα έδειξαν ότι τα μοντέλα είναι καλά στο να αξιολογούν σωστά την πρώτη
και τρίτη κατηγορία ερωτήσεων που θεωρούνται πιο εύκολες αλλά δυσκολεύονται στην
δεύτερη. Συγκεκριμένα, τα μεγάλα μοντέλα μπορούν να βρουν και ερωτήσεις της δεύτε-
ρης κατηγορίας αλλά όχι πάντα με επιτυχία. Τα μικρά μοντέλα δυσκολεύονται περισσότερο
στην δεύτερη κατηγορία των ερωτήσεων και είναι πιο ασταθή, δηλαδή μπορούν να απα-
ντήσουν διαφορετικά στην ίδια ερώτηση.
Κύρια θεματική κατηγορία:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
Βαθιά Μηχανική Μάθηση, SPARQL, GeoSPARQL, Γνωσιακοί γράφοι, Μεγάλα Γλωσσικά Μοντέλα
Αρ. σελίδων ευρετηρίου:
2
Αρ. βιβλιογραφικών αναφορών:
29
