Μονάδα:
Κατεύθυνση / ειδίκευση Διαχείριση Πληροφορίας και Δεδομένων (ΔΕΔ)Πληροφορική
Ημερομηνία κατάθεσης:
2018-12-07
Συγγραφέας:
Νομικού Σοφία
Γιαννούτσος Βασίλης
Στοιχεία επιβλεπόντων καθηγητών:
Χατζηευθυμιάδης Ευστάθιος, Βαθμίδα: Καθηγητής, Τμήμα: Πληροφορικής και Τηλεπικοινωνιών
Πρωτότυπος Τίτλος:
Complex event processing on streaming sensor data using Esper and Storm
Γλώσσες εργασίας:
Ελληνικά
Μεταφρασμένος τίτλος:
Επεξεργασία πολύπλοκων συμβάντων σε ροές δεδομένων χρησιμοποιώντας το Esper και το Storm
Περίληψη:
Η συμβολή της ανάλυσης δεδομένων στην απόκτηση νέας γνώσης και στη διαδικασία
λήψης αποφάσεων είναι ιδιαίτερα σημαντική. Ο μεγάλος πλέον όγκος των δεδομένων
καθιστά αναγκαία τη διαδικασία της επεξεργασίας τους έτσι ώστε να παραχθεί χρήσιμη
γνώση.
Η εξόρυξη δεδομένων (data mining) είναι μία διαδικασία επιθεώρησης, καθαρισμού,
μετατροπής και μοντελοποίησης δεδομένων με στόχο την ανακάλυψη χρήσιμων
πληροφοριών, την υποβολή συμπερασμάτων και τη λήψη αποφάσεων. Η ανάλυση
δεδομένων έχει πολλαπλές πτυχές και προσεγγίσεις, που περιλαμβάνουν ποικίλες
τεχνικές με ποικίλα ονόματα, σε διαφορετικούς τομείς των επιχειρήσεων, της επιστήμης
και της κοινωνικής επιστήμης. Η εξόρυξη δεδομένων είναι μια συγκεκριμένη τεχνική
ανάλυσης δεδομένων που επικεντρώνεται στη μοντελοποίηση και την ανακάλυψη
γνώσεων για λόγους πρόβλεψης και όχι για καθαρά περιγραφικούς σκοπούς.
Στην παρούσα διπλωματική εργασία εξετάζεται η διαδικασία συλλογής και επεξεργασίας
δεδομένων από αισθητήρες (sensors). Για τη διαδικασία αυτή, μιας και ο όγκος των
προς επεξεργασία δεδομένων είναι μεγάλος, θα χρησιμοποιηθούν τεχνολογίες και
πλαίσια λογισμικού (frameworks) σχεδιασμένα να επεξεργάζονται μεγάλα δεδομένα (big
data) καθώς τα παραδοσιακά λογισμικά εφαρμογών επεξεργασίας δεδομένων είναι
ανεπαρκή για την αντιμετώπισή τους. Οι μεγάλες προκλήσεις στον τομέα των
δεδομένων περιλαμβάνουν τη συλλογή δεδομένων, την αποθήκευση δεδομένων, την
ανάλυση δεδομένων, την αναζήτηση, την κοινή χρήση, την μεταφορά, την
οπτικοποίηση, την ερώτηση, την ενημέρωση, την προστασία προσωπικών δεδομένων
και την προέλευση δεδομένων.
Με τη χρήση του λογισμικού Apache Storm πραγματοποιήθηκε αξιόπιστη επεξεργασία
των ροών δεδομένων σε πραγματικό χρόνο. Επιπροσθέτως, εκτός από το
προαναφερθέν πακέτο, χρησιμοποιήθηκε και το λογισμικό Esper με το οποίο
αναλύθηκαν σειρές από συμβάντα με σκοπό την παραγωγή χρήσιμων
συμπερασμάτων.
Τα δεδομένα που χρησιμοποιήθηκαν στην εργασία αυτή είναι δεδομένα που
αποκτήθηκαν με χρήση αισθητήρων. Η επεξεργασία αυτού του είδους δεδομένων
μπορεί να πραγματοποιηθεί με δύο τρόπους: επεξεργασία παρτίδας (batch processing)
και επεξεργασία ροής (stream processing).
Κύρια θεματική κατηγορία:
Τεχνολογία – Πληροφορική
Λέξεις-κλειδιά:
ανάλυση δεδομένων, μεγάλα δεδομένα, εξόρυξη δεδομένων, Apache, Storm, δεδομένα αισθητήρων, Kafka, Kibana, Elasticsearch
Αρ. σελίδων ευρετηρίου:
4
Αρ. βιβλιογραφικών αναφορών:
35
