Λεκτική ανάλυση

Ο λεκτικός αναλυτής παρέχει τις παρακάτω λειτουργίες:

• Διαχωρίζει το εισερχόμενο κείμενο σε λεκτικές μονάδες (tokens) και το μεταφέρει με τον τρόπο αυτό στο συντακτικό αναλυτή.
• Αποθηκεύει τα σύμβολα που διαβάζει σε πίνακα συμβόλων.
• Αποθηκεύει άλλα στοιχεία όπως τις συμβολοσειρές.
• Αναγνωρίζει λεκτικά λάθη στην είσοδο (π.χ. σύμβολα που δεν επιτρέπονται στη γλώσσα).
• Αφαιρεί τα σχόλια
• Συσχετίζει αριθμούς γραμμών με στοιχεία της εισόδου του.

Με τον τρόπο αυτό διαχωρίζονται οι εργασίες της λεκτικής και της συντακτικής ανάλυσης και κάθε μια υλοποιείται με τον πιο αποδοτικό τρόπο.