51. Транслитератор. Грамматики и распознаватели для лексического анализа.

Несмотря на то, что лексический анализатор обрабатывает входную цепочку, удобнее на его вход подавать не просто отдельные символы, а символы, сгруппированные по категориям. Поэтому, перед лексическим анализатором осуществляется дополнительная обработка, сопоставляющая с каждым символом его класс, что позволяет сканеру манипулировать единым понятием для целой группы символов, иногда достаточно большой. Устройство, осуществляющее сопоставление класса с каждым отдельным символом, называется транслитератором. Наиболее типичными классами символов являются:

1.       буква - класс, с которым сопоставляется множество букв, причем необязательно только одного алфавита;

2.       цифра - множество символов, относящихся к цифрам, чаще всего от 0 до 9;

3.       разделитель - пробел, перевод строки, возврат каретки перевод формата;

4.       игнорируемый - может встречаться во входном потоке, но игнорируется и поэтому просто отфильтровывается из него (например, невидимый код звукового сигнала и другие аналогичные коды);

5.       запрещенный - символы, который не относятся к алфавиту языка, но встречается во входной цепочке;

6.       прочие - символы, не вошедшие ни в одну из определенных категорий.

Пара, класс символа и его значение, поступают на вход сканера, который выбирает для анализа тот ее элемент, который наиболее удобен в данный момент. Например, при анализе идентификатора удобнее манипулировать понятием "буква", тогда как при анализе действительного числа можно сразу смотреть значение буквы "E" или "e", означающей начало порядка.

    Грамматики и распознаватели для лексического анализа