#源代码分析：python源程序转换为html页面 #此文件由 limodou 分析，如果转载请保留此信息 """ MoinMoin - Python Source Parser """ #文档字符串。 每个模块文件都可以有自已的文档字符串 # Imports import cgi, string, sys, cStringIO import keyword, token, tokenize ############################################################################# ### Python Source Parser (does Hilighting) ############################################################################# #token.NT_OFFSET为终结符结束标记，即小于它的都是终结符， #_KEYWORD,_TEXT不是终结符，故要大于它 _KEYWORD = token.NT_OFFSET + 1 _TEXT = token.NT_OFFSET + 2 _colors = { token.NUMBER: '#0080C0', #对分析出的特定单词设定相应的颜色 token.OP: '#0000FF', #NUMBER 数值 OP 操作符 STRING 字符串 token.STRING: '#004080', #COMMENT 注释，在tokenize中才定义了COMMENT tokenize.COMMENT: '#008000', #NAME 标识符 ERRORTOKEN 错误的单词 token.NAME: '#000000', #_KEYWORD 关键字 _TEXT 文本 token.ERRORTOKEN: '#FF8080', _KEYWORD: '#FF0000', _TEXT: '#000000', } class Parser: #定义Parser类 """ Send colored python source. """ #文档字符串 def __init__(self, raw, out = sys.stdout): #初始化函数,输出到标准输出 """ Store the source text. """ self.raw = string.strip(string.expandtabs(raw)) #expandtabs意为将raw中的制表符进行扩展，可以带第二个参数，不带表示一个制表符 #替换成8个空格 #strip是去掉首尾空白，包括回车，所以文件最后如果有回车符，也会去掉的 self.out = out #给实例属性out赋值 def format(self, formatter, form): #格式化处理函数 """ Parse and send the colored source. """ # store line offsets in self.lines #保存每行的偏移量在实例的lines属性中 self.lines = [0, 0] #数据是从0下标开如，而行是从1开始，故放入两个0 pos = 0 while 1: pos = string.find(self.raw, '\n', pos) + 1 #find是从行首开始查找指定字符串，此处查找回车符，pos表示起始位置。 #指定这个参数，可以不从行首开始进行查找 #如果没有找到则返回-1,加1后,如果没有找到pos值为0 if not pos: break #没找到，说明没有回车符了 self.lines.append(pos) #找到了，则将此位置追加到lines后 self.lines.append(len(self.raw)) #将文件最后结束的长度也追加到lines中 # parse the source and write it self.pos = 0 #记录处理的当前位置 text = cStringIO.StringIO(self.raw) #cStringIO是象StringIO一样的类，主要是想提高处理速度，而且处理时，可以象处理 #文件一样，使用文件处理函数 self.out.write('') #输出开始标记 try: tokenize.tokenize(text.readline, self) #进行词法分析，第一个参数为一个对象，它是一个象readline一样的函数 #用来读出一行字符串。在Python中函数也是对象 #text是一个cStringIO对象，可以象文件一样操作，故有readline函数 #第二个参数也为一个对象，它是一个有5个元素的函数，因为传入了self，则需要 #在parser类中定义__call__方法，使self可以象函数一样 except tokenize.TokenError, ex: #如果分析出错产生TokenError异常 msg = ex[0] #出错消息 line = ex[1][0] #出错行 self.out.write("ERROR: %s%s\n" % ( #输出错误信息 msg, self.raw[self.lines[line]:])) self.out.write('') #输出结束标记 def __call__(self, toktype, toktext, (srow,scol), (erow,ecol), line): #可以让对象象函数一样被调用，这个函数将用于tokenize中 #toktype 单词类型 #toktext 单词内容 #(srow,scol)开始行列 #(erow,ecol)结束行列 #line 找到单词的行 """ Token handler. """ if 0: print "type", toktype, token.tok_name[toktype], "text", toktext,"start",\ srow,scol, "end", erow,ecol, "" #调试语句，输出分析过程 # calculate new positions oldpos = self.pos #保存旧位置 newpos = self.lines[srow] + scol #根据保存的行位置计算新位置 self.pos = newpos + len(toktext) #保存下一个要处理的位置 # handle newlines #处理回车 if toktype in [token.NEWLINE, tokenize.NL]: #判断单词是否为回车符 self.out.write('\n') #输出\n，为了保证原格式不变 return # send the original whitespace, if needed # 如果需要输出原始的空白 if newpos > oldpos: self.out.write(self.raw[oldpos:newpos]) # skip indenting tokens # 跳过缩近单词 if toktype in [token.INDENT, token.DEDENT]: self.pos = newpos #调整处理位置 return # map token type to a color group #映射单词类型到相应的颜色 if token.LPAR <= toktype and toktype <= token.OP: #确认操作符范围 toktype = token.OP elif toktype == token.NAME and keyword.iskeyword(toktext): #确认关键字 toktype = _KEYWORD color = _colors.get(toktype, _colors[_TEXT]) #得到颜色，如果不存在，则使用缺省值 style = '' #处理样式 if toktype == token.ERRORTOKEN: style = ' style="border: solid 1.5pt #FF0000;"' # send text self.out.write('' % (color, style)) #输出处理结果 self.out.write(cgi.escape(toktext)) #escape会将特殊字符转变成html实体 #其实只转换了&,<,>，如果第二个参数指定了，表示还要转换" self.out.write('') if __name__ == "__main__": import os, sys if(len(sys.argv)!=3): #判断参数个数，如果不为3，则读入文件名 f1=input("inputfilename:") #输入要处理的.py文件，记住要输入双引号，如："a.txt" f2=input("outputfilename:") else: f1=sys.argv[1] f2=sys.argv[2] print "Formatting..." #读出要处理的文件内容 source = open(f1).read() #处理第一个文件内容,并写入第二个文件 Parser(source, open(f2, 'wt')).format(None, None) print "Finished"

评论