Μονάδα:
Τομέας Υπολογιστικών Συστημάτων και ΕφαρμογώνΒιβλιοθήκη Σχολής Θετικών Επιστημών
Ημερομηνία κατάθεσης:
2015-07-29
Συγγραφέας:
Φωκέας Σωτήριος
Στοιχεία επιβλεπόντων καθηγητών:
Αλέξης Δελής
Πρωτότυπος Τίτλος:
Distributed tag-set correlation calculation using storm
Γλώσσες εργασίας:
Αγγλικά
Μεταφρασμένος τίτλος:
κατανεμημένος Υπολογισμός συσχετίσεων συνόλων ετικετών
Περίληψη:
Στην εργασία αυτή, στοχεύουμε στην ανάλυση των δεδομένων που δημοσιεύονται στα
μέσα κοινωνικής δικτύωσης. Οι χρήστες των κοινωνικών δικτύων καταχωρούν
κείμενα, εικόνες ή βίντεο και υποσημειώνουν το καθένα με ένα σύνολο ετικετών
που περιγράφουν το περιεχόμενό. Βασική μας επιδίωξη είναι να βρούμε έναν
αποτελεσματικό τρόπο για τον υπολογισμό των συσχετισμών των συνυπαρχόντων
ετικετών. Ο τεράστιος όγκος και ο ρυθμός των δημοσιευόμενων μηνυμάτων καθιστά
απαραίτητο τον παραλληλισμό των υπολογισμών. Τα δεδομένα χωρίζονται σε
πολλαπλούς κόμβους, όπου ο καθένας από αυτούς είναι υπεύθυνος να υπολογίσει τις
συσχετίσεις που του αναλογούν. Στην εργασία αυτή, αποτελεί μια μεγάλη πρόκληση,
η εξασφάλιση ότι κάθε κόμβος θα υπολογίζει ένα υποσύνολο των συσχετίσεων και
ότι το φορτίο επεξεργασίας θα είναι κατανεμημένο ομοιόμορφα σε όλους τους
κόμβους. Για το λόγο αυτό, επινοήθηκε ένα γράφημα που μπορεί να διατηρήσει όλα
τα απαραίτητα στοιχεία. Αυτό το γράφημα δημιουργείται δυναμικά και διαιρείται
συνεχώς ανάμεσα στους κόμβους. Η προτεινόμενη προσέγγιση επιδιώκει να
οικοδομήσει ένα αποτελεσματικό μοντέλο που όχι μόνο θα υπολογίζει
αποτελεσματικά τις συσχετίσεις, αλλά επίσης θα χωρίζει το φορτίο επεξεργασίας
με ένα φυσικό τρόπο ανάμεσα στους κόμβους. Τέλος, το μοντέλο υλοποιείται σε
Java με τη χρήση της πλατφόρμας Apache Storm Stream Processing, αποδεικνύοντας
έτσι πως η προσέγγιση μας ειναι εφικτή.
Λέξεις-κλειδιά:
γράφημα, κοινωνικά δίκτυα, ετικέτες, κατανεμημενα συστηματα, συσχετίσεις
Αρ. σελίδων ευρετηρίου:
8,9,10,11
Αρ. βιβλιογραφικών αναφορών:
20
attachments.zip
13 KB
Δεν επιτρέπεται η πρόσβαση στο αρχείο.
