Token の種類を判定する (区切り記号)

Token の種類を判定する (区切り記号)

今回は、「区切り記号」の処理を追加する。
「区切り記号」の定義は、「+」「-」「/」「*」「=」などの記号
全てとする。

//読み込んだ文字の種類を取得・状態を更新

private  Token getCurrToken(char cPrev, char cCurr, char cNext)

{

    Token currToken = new Token(cCurr.ToString(), "その他");
    do

    {

        if ((_state == "その他") || (_state == "区切り記号") || (_state == "不明"))

        {

            if (cCurr == '/')

            {

                if (cNext == '/')

                    _state              = "単一行コメント";

                else if (cNext == '*')

                    _state              = "複数行コメント";

                else

                    _state              = "区切り記号";

            }

            else if (cCurr == '\"')

                _state = "文字列";
            else if (cCurr == '\'')

                _state = "文字";
            else if (Char.IsLetter(cCurr) || (cCurr == '_'))

                _state = "識別子";
            else if (Char.IsDigit(cCurr))

                _state = "数字";
            else if (Char.IsPunctuation(cCurr) || Char.IsSymbol(cCurr))

                _state = "区切り記号";
            else

                _state = "その他";
            if ((_state == "単一行コメント") || (_state == "複数行コメント"))

                currToken.tokenKind = "コメント";
            else

                currToken.tokenKind = _state;

        }
        else if (_state == "単一行コメント")

        {

            currToken.tokenKind = "コメント";
            if (cCurr == '\n')

            {

                currToken.tokenKind = "その他";

                _state = "その他";

            }

        }
        else if (_state == "複数行コメント")

        {

            currToken.tokenKind = "コメント";
            if ((cCurr == '/') && (cPrev == '*'))

                _state = "その他";

        }
        else if (_state == "文字列")

        {

            currToken.tokenKind = "文字列";
            if ((cCurr == '\"') && (cPrev != '\\'))

                _state =   "その他";

        }
        else if (_state == "文字")

        {

            currToken.tokenKind = "文字";
            if ((cCurr == '\'') && (cPrev != '\\'))

                _state =   "その他";

        }
        else if (_state == "識別子")

        {

            currToken.tokenKind = "識別子";
            if (!Char.IsLetter(cCurr) && !Char.IsDigit(cCurr) && (cCurr != '_'))

                _state =   "不明";

        }
        else if (_state == "数字")

        {

            currToken.tokenKind = "数字";
            if (!Char.IsLetter(cCurr) && !Char.IsDigit(cCurr) && (cCurr != '.'))

                _state =   "不明";

        }
    } while(_state == "不明");
    return currToken;

}