В данной статье говорится о лексическом анализаторе, который является неотъемлемой частью любого компилятора.
Задача лексического анализатора заключается в том, чтобы разбить исходный текст программы на лексемы или токены.
Так, например, код
print(1 + 2)
будет разбит на лексемы
print, (, 1, +, 2 и )
Читать полностью »