Αποθήκευση και διαχείριση δεδομένων

Τα δεδομένα μας αποτελούν συχνά τη βάση της έρευνάς μας. Ο τρόπος που τα αποθηκεύμουμε και τα επεξεργαζόμαστε πρέπει να ταιρίαζει στη φύση τους.

• Απλά αριθμητικά δεδομένα μπορούν να αποθηκευτούν σε φύλλα εργασίας του Excel. Από εκεί μπορούμε να δημιουργήσουμε απλά διαγράμματα ή να τα επεξεργαστούμε και με στατιστικά προγράμματα όπως το σύστημα R ή τη γλώσσα Python, σε συνδυασμό με το περιβάλλον Jypyter.
• Δεδομένα με σύνθετες σχέσεις πρέπει να φυλάσσονται σε μια βάση δεδομένων. Αν ο όγκος τους δεν είναι πολύ μεγάλος (π.χ. μέχρι 5000 εγγραφές) η SQLite ή Access είναι μια καλή επιλογή. Για μεγαλύτερο όγκο ίσως να πρέπει να εξετάσουμε τη χρήση μεγαλύτερων συστημάτων όπως Oracle, SQL Server, mySQL, ή Postgres. Η επεξεργασία τους γίνεται με τη χρήση της γλώσσας SQL.
• Απλά δεδομένα κειμένου είναι προσφορότερο να φυλάσσονται σε αρχεία κειμένου με την κατάλληλη γραμμογράφηση (π.χ. ετικέτες). Από εκεί μπορούμε να τα επεξεργαστούμε με εργαλεία του Unix ή με ολοκληρωμένες γλώσσες όπως η Perl. Μερικά χρήσιμα εργαλεία του Unix τα οποία μπορούν να συνδυαστούν μεταξύ τους με τη χρήση σωληνώσεων (pipes) είναι τα παρακάτω:

  egrep	Εύρεση κανονικής έκφρασης
  tr	Μετάφραση χαρακτήρων
  fmt	Συμπλήρωση λέξεων σε γραμμές
  wc	Μέτρηση λέξεων, γραμμάτων, γραμμών
  rev	Αντιστροφή των περιεχομένων κάθε γραμμής
  diff	Εμφάνιση της διαφοράς δύο αρχείων
  sort	Ταξινόμηση των δεδομένων ανά πεδίο
  join	Σχεσιακή σύνδεση δύο αρχείων
  cut	Επιλογή ορισμένων μόνο πεδίων από ένα αρχείο
  uniq	Εύρεση επαναλαμβανόμενων γραμμών σε ταξινομημένο αρχείο
  comm	Εύρεση κοινών και μή κοινών γραμμών σε δύο ταξινομημένα αρχεία
  awk	Γλώσσα επεξεργασίας αρχείων που αποτελούνται από διακριτά πεδία
  sed	Γλώσσα επεξεργασίας αρχείων με βάση κανονικές εκφράσεις

  Αν έχουμε εμπειρία και εργαλεία για χρήση της XML είναι και αυτή μια πρόσφορη επιλογή.