Token の種類を判定する (識別子・予約語)

Token の種類を判定する (識別子・予約語)

以前、英数字と「_」からなる文字列を「識別子」と定義したが、
今回は少し改良して、「識別子」のうち、あらかじめ「予約語」として
登録されているものを「予約語」と定義し、それ以外を「識別子」と定義する。

//「予約語」を登録しておく

System.Collections.Specialized.StringCollection _keyWords = new System.Collections.Specialized.StringCollection();
_keyWords.Add("abstract");

_keyWords.Add("as");

_keyWords.Add("base");
以下、省略

//読み込んだ文字の種類を取得・状態を更新

private  Token getCurrToken(char cPrev, char cCurr, char cNext)

{

    Token currToken = new Token(cCurr.ToString(), "その他");
    do

    {

        if ((_state == "その他") || (_state == "区切り記号") || (_state == "不明"))

        {

            if (cCurr == '/')

            {

                if (cNext == '/')

                    _state              = "単一行コメント";

                else if (cNext == '*')

                    _state              = "複数行コメント";

                else

                    _state              = "区切り記号";

            }

            else if (cCurr == '\"')

                _state = "文字列";
            else if (cCurr == '\'')

                _state = "文字";
            else if (Char.IsLetter(cCurr) || (cCurr == '_'))

                _state = "識別子";
            else if (Char.IsDigit(cCurr))

                _state = "数字";
            else if (Char.IsPunctuation(cCurr) || Char.IsSymbol(cCurr))

                _state = "区切り記号";
            else

                _state = "その他";
            if (_state == "区切り記号")

            {

                if (_operators.IndexOf(cCurr) >= 0)

                    currToken.tokenKind = "演算子";

                else

                    currToken.tokenKind = "区切り記号";

            }

            else if ((_state == "単一行コメント") || (_state == "複数行コメント"))

                currToken.tokenKind = "コメント";
            else

                currToken.tokenKind = _state;

        }
        else if (_state == "単一行コメント")

        {

            currToken.tokenKind = "コメント";
            if (cCurr == '\n')

            {

                currToken.tokenKind = "その他";

                _state = "その他";

            }

        }
        else if (_state == "複数行コメント")

        {

            currToken.tokenKind = "コメント";
            if ((cCurr == '/') && (cPrev == '*'))

                _state = "その他";

        }
        else if (_state == "文字列")

        {

            currToken.tokenKind = "文字列";
            if ((cCurr == '\"') && (cPrev != '\\'))

                _state =   "その他";

        }
        else if (_state == "文字")

        {

            currToken.tokenKind = "文字";
            if ((cCurr == '\'') && (cPrev != '\\'))

                _state =   "その他";

        }
        else if (_state == "識別子")

        {

            currToken.tokenKind = "識別子";
            if (!Char.IsLetter(cCurr) && !Char.IsDigit(cCurr) && (cCurr != '_'))

            {

                _state =   "不明";
                //文字種が変わって、前のトークンが、"." でなければ、識別子が 予約語ではないか 確認する

                if ((prevToken != null) && (prevToken.tokenString != "."))

                {

                    if (_keyWords.Contains(mikakuteiToken.tokenString))

                    {

                        mikakuteiToken.tokenKind = "予約語";

                    }

                }

            }

        }
        else if (_state == "数字")

        {

            currToken.tokenKind = "数字";
            if (!Char.IsLetter(cCurr) && !Char.IsDigit(cCurr) && (cCurr != '.'))

                _state =   "不明";

        }
    } while(_state == "不明");
    return currToken;

}