Token ごとに処理する その２ 前回は、getTokenとは名ばかりで、 内部的には、「１文字ずつ読んで１文字ずつ返す」これまでと同じ処理だった。今回は、文字の種類が変わるまでためこんで行き、 文字の種類が変わった時点で、それまでためこんでいた文字列を…