Στοιχεία επιβλεπόντων καθηγητών:
Αλέξης Δελής, ΔΙΔΑΚΤΙΚΟ ΕΡΕΥΝΗΤΙΚΟ ΠΡΟΣΩΠΙΚΟ (ΔΕΠ) / Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών ,Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
Περίληψη:
Στις μέρες μας, η τεράστια αύξηση των δεδομένων έχει συμβάλει στην άνοδο μιας "data- driven" εποχής, στην οποία η ανάλυση μεγάλων δεδομένων
χρησιμοποιείται σε κάθε τομέα (γεωργία, υγεία, ενέργεια, υποδομές, οικονομία και ασφάλιση, αθλητισμός, τρόφιμα, με- ταφορές) και σε κάθε παγκόσμια οικονομία. Το
πρόβλημα που αντιμετωπίζουμε σήμερα είναι ότι οι παραδοσιακές τεχνικές και τα συστήματα ανάλυσης δεδομένων τις περισσότε- ρες φορές δεν είναι σε θέση να
διαχειριστούν τόσο μεγάλες ποσότητες δεδομένων, που ακόμη και αν μπορούν, χρειάζονται πολύ χρόνο για να το κάνουν, κάτι που σε έναν κόσμο που
κινείται τόσο γρήγορα είναι απλά μη αποδεκτό, πόσο μάλλον όταν αναφερόμαστεσε συστήματα πραγματικού χρόνου, όπου τα δεδομένα πρέπει να καταναλώνονται και
να αναλύονται το πολύ σε λίγα λεπτά.
Το κρίσιμο ερώτημα που προκύπτει από αυτές τις εξελίξεις είναι, πώς μπορεί να αναπτυ- χθεί ένα σύστημα υψηλής απόδοσης για την αποτελεσματική ανάλυση
μεγάλων δεδομέ- νων και την εξόρυξή τους προκειμένου να εξαχθούν χρήσιμες πληροφορίες. Προκειμένου να εμβαθύνουμε σε αυτό το θέμα σε αυτή τη
Διπλωματική Εργασία παρέχουμε την υλο- ποίηση ενός κλιμακούμενου και αποδοτικού συστήματος, με τη χρήση εργαλείων όπως το Kubernetes, τα
Linux Containers και το Spark, ικανού να διαχειριστεί μεγάλα δεδομένα και εξετάζουμε το σύστημα χρησιμοποιώντας το για την ανάλυση του συνόλου
δεδομένων COVID-19 Data Repository by the Center for Systems Science and Engineering
(CSSE) at Johns Hopkins University, του συνόλου δεδομένων εμβολιασμών κατα του Κορονοϊού του Παγκόσμιου Οργανισμού Υγείας (WHO)
και του συνόλου δεδομένων για την εκπαί- δευση, του Ευρωπαϊκού Στατιστικού Οργανισμού (Eurostat) και τελικα εξάγουμε μερικές αρκετά
ενδιαφέρουσες πληροφορίες.
Λέξεις-κλειδιά:
Μηχανική Δεδομένων, Επιστήμη Δεδομένων, Κορονοϊός, Spark,Kubernetes, Linux Containers
