token --- 與Python解析樹(shù)一起使用的常量?
源碼： Lib/token.py
This module provides constants which represent the numeric values of leaf nodes
of the parse tree (terminal tokens). Refer to the file Grammar/Tokens
in the Python distribution for the definitions of the names in the context of
the language grammar. The specific numeric values which the names map to may
change between Python versions.
該模塊還提供從數(shù)字代碼到名稱和一些函數(shù)的映射。 這些函數(shù)鏡像了 Python C 頭文件中的定義。
- token.tok_name?
將此模塊中定義的常量的數(shù)值映射回名稱字符串的字典，允許生成更加人類可讀的解析樹(shù)表示。
- token.ISTERMINAL(x)?
對(duì)終端標(biāo)記值返回
True。
- token.ISNONTERMINAL(x)?
對(duì)非終端標(biāo)記值返回
True。
- token.ISEOF(x)?
如果 x 是表示輸入結(jié)束的標(biāo)記則返回
True。
標(biāo)記常量是：
- token.ENDMARKER?
- token.NAME?
- token.NUMBER?
- token.STRING?
- token.NEWLINE?
- token.INDENT?
- token.DEDENT?
- token.LPAR?
"("的權(quán)標(biāo)值。
- token.RPAR?
")"的權(quán)標(biāo)值。
- token.LSQB?
"["的權(quán)標(biāo)值。
- token.RSQB?
"]"的權(quán)標(biāo)值。
- token.COLON?
":"的權(quán)標(biāo)值。
- token.COMMA?
","的權(quán)標(biāo)值。
- token.SEMI?
";"的權(quán)標(biāo)值。
- token.PLUS?
"+"的權(quán)標(biāo)值。
- token.MINUS?
"-"的權(quán)標(biāo)值。
- token.STAR?
"*"的權(quán)標(biāo)值。
- token.SLASH?
"/"的權(quán)標(biāo)值。
- token.VBAR?
"|"的權(quán)標(biāo)值。
- token.AMPER?
"&"的權(quán)標(biāo)值。
- token.LESS?
"<"的權(quán)標(biāo)值。
- token.GREATER?
">"的權(quán)標(biāo)值。
- token.EQUAL?
Token value for
"=".
- token.DOT?
Token value for
".".
- token.PERCENT?
Token value for
"%".
- token.LBRACE?
Token value for
"{".
- token.RBRACE?
Token value for
"}".
- token.EQEQUAL?
Token value for
"==".
- token.NOTEQUAL?
Token value for
"!=".
- token.LESSEQUAL?
Token value for
"<=".
- token.GREATEREQUAL?
Token value for
">=".
- token.TILDE?
Token value for
"~".
- token.CIRCUMFLEX?
Token value for
"^".
- token.LEFTSHIFT?
Token value for
"<<".
- token.RIGHTSHIFT?
Token value for
">>".
- token.DOUBLESTAR?
Token value for
"**".
- token.PLUSEQUAL?
Token value for
"+=".
- token.MINEQUAL?
Token value for
"-=".
- token.STAREQUAL?
Token value for
"*=".
- token.SLASHEQUAL?
Token value for
"/=".
- token.PERCENTEQUAL?
Token value for
"%=".
- token.AMPEREQUAL?
Token value for
"&=".
- token.VBAREQUAL?
Token value for
"|=".
- token.CIRCUMFLEXEQUAL?
Token value for
"^=".
- token.LEFTSHIFTEQUAL?
Token value for
"<<=".
- token.RIGHTSHIFTEQUAL?
Token value for
">>=".
- token.DOUBLESTAREQUAL?
Token value for
"**=".
- token.DOUBLESLASH?
Token value for
"http://".
- token.DOUBLESLASHEQUAL?
Token value for
"http://=".
- token.AT?
Token value for
"@".
- token.ATEQUAL?
Token value for
"@=".
- token.RARROW?
Token value for
"->".
- token.ELLIPSIS?
Token value for
"...".
- token.COLONEQUAL?
Token value for
":=".
- token.OP?
- token.AWAIT?
- token.ASYNC?
- token.TYPE_IGNORE?
- token.TYPE_COMMENT?
- token.SOFT_KEYWORD?
- token.ERRORTOKEN?
- token.N_TOKENS?
- token.NT_OFFSET?
C 標(biāo)記生成器不使用以下標(biāo)記類型值，但 tokenize 模塊需要這些標(biāo)記類型值。
- token.COMMENT?
標(biāo)記值用于表示注釋。
- token.NL?
標(biāo)記值用于表示非終止換行符。
NEWLINE標(biāo)記表示 Python 代碼邏輯行的結(jié)束；當(dāng)在多條物理線路上繼續(xù)執(zhí)行邏輯代碼行時(shí)，會(huì)生成NL標(biāo)記。
- token.ENCODING?
指示用于將源字節(jié)解碼為文本的編碼的標(biāo)記值。
tokenize.tokenize()返回的第一個(gè)標(biāo)記將始終是一個(gè)ENCODING標(biāo)記。
- token.TYPE_COMMENT
Token value indicating that a type comment was recognized. Such tokens are only produced when
ast.parse()is invoked withtype_comments=True.
在 3.8 版更改: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL.
Added AWAIT and ASYNC tokens back (they're needed
to support parsing older Python versions for ast.parse() with
feature_version set to 6 or lower).