StreamTokenizer的用法

总结下StreamTokenizer的几个变量的状态变化


StreamTokenizer用来分隔单词。

1、它可以以whitespace(空格、Tab、被设置成whitespace的字符)来分隔。

此时StreamTokenizer的状态。

ttype = TT_WORD或TT_NUMBER

sval或nval = 被whitespace分隔的单词

2、用引号(单引号’  双引号” ,以及被设置为定界符的字符eg b123345b,b就是定界符,取值为12345)来分隔的单词,

此时StreamTokenizer的状态。

       ttpye= 定界符的ascii码

       sval= 被定界符所包围的单词

ttype状态的总结:

被whitespace分隔的字符:TT_WORD or TT_NUMBER

被定界符分隔的字符:定界符的ascii码

遇到换行符,返回EOL



你可能感兴趣的:(whitespace)