字句解析は、文字のストリームを語彙素またはトークンのストリームに変換することです。
一般に、語彙素自体は構造を持っています。それらは部分言語を形成します。字句解析に使用される手法は、構文解析に使用される手法と同じです。
注:トークンは、構文アナライザーで使用できる単語、端末、または汎用端末を指定する専門用語です。たとえば、 (5+5)×2 タイプの算術式は、次のトークンのシーケンスによって変換できます: (Terme opérateur Terme) opérateur Terme 。
字句解析は、ソフトウェアを使用して半自動的に実行できます (例:フリー ソフトウェアFlexまたは JLex & JCup)。