Lexer - Part 1

Lexikális elemző elvei

Leghosszabb illeszkedés elve

Az illesztést addig kell elvégezni, amíg legalább egy token illesztése elfogadó állapotban van

Prioritás elve

Prioritásban (jellemzően sorrendben) legelső token fog érvényesülni