Общие заголовочные файлы и сопутствующие утилиты,
определяющие токен и его свойства/флажки.
Используются в леммере, токенизаторе, индексаторе.

Есть версия lite, которая не содержит таблицу декомпозиции и
весит на 0.5 мб меньше.
