Лексический анализ: различия между версиями
| [непроверенная версия] | [отпатрулированная версия] |
Содержимое удалено Содержимое добавлено
Нет описания правки |
РоманСузи (обсуждение | вклад) ошибка - приложение, падеж согл. с токеномотмена правки 66930905 участника 91.77.100.90 (обс) |
||
Строка 6:
Традиционно принято организовывать процесс лексического анализа, рассматривая входную последовательность символов как поток символов. При такой организации процесс самостоятельно управляет выборкой отдельных символов из входного потока.
Распознавание лексем в контексте грамматики обычно производится путём их идентификации (или классификации) согласно идентификаторам (или классам) токенов, определяемых грамматикой языка. При этом любая последовательность символов входного потока (лексема), которая согласно грамматике не может быть идентифицирована как токен языка, обычно рассматривается как
Каждый токен можно представить в виде структуры, содержащей ''идентификатор токена'' (или идентификатор класса токена) и, если нужно, последовательность символов ''лексемы'', выделенной из входного потока (строку, число и т. д.).
| |||