Lexical token là gì?

Trình phân tích từ vựng (lexical analyzer) lấy một luồng ký tự và tạo ra một luồng lexical token; nó loại bỏ khoảng trắng (space) và comment giữa các token. Lexical token là một chuỗi các ký tự có thể được coi như một đơn vị trong văn phạm (grammar) của một ngôn ngữ lập trình (programming language). Một ngôn ngữ lập trình phân loại lexical token thành một tập hợp hữu hạn các loại token. Ví dụ: một số loại token của một ngôn ngữ lập trình như C là: ID (ví dụ foo n14 last), NUM (ví dụ 73 0 00 515 082), IF (ví dụ if), COMMA (ví dụ ,), v.v.