感兴趣内容1
感兴趣内容2
……
感兴趣内容n
使用python提取html文件中的特定数据的实现代码
程序员文章站
2022-05-04 09:04:39
...
例如 具有如下结构的html文件
……
……
我们尝试获得'感兴趣内容'
对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于
……
思路如下
self.flag = True
return
self.flag = False
def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True
if self.getdata:
self.getdata = False
代码如下:
……
内容1
内容2
……
内容n
我们尝试获得'感兴趣内容'
对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于
代码如下:
这里的内容
还有这里
……
以及这里的内容
思路如下
- 遇到设置标记flag = True后 设置标记flag = False
- 遇到
- 当flag 为True时遇到
设置标记getdata = True
- 遇到 且getdata = True,设置getdata = False
python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。
可用的处理函数如下：
- 开始标记 (Start tag)
是一个开始一个块的 HTML 标记，象 ，， 或等，或是一个独一的标记，象
或等。当它找到一个开始标记 tagname，SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。例如，当它找到一个
标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 unknown_starttag 方法。
- 结束标记 (End tag)
是结束一个块的 HTML 标记，象 ，， 或 等。当找到一个结束标记时，SGMLParser 将查找名为 end_tagname 的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用 unknown_endtag 。
- 字符引用 (Character reference)
用字符的十进制或等同的十六进制来表示的转义字符，象 。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。
- 实体引用 (Entity reference)
HTML 实体，象 ©。当找到，SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。
- 注释 (Comment)
HTML 注释, 包括在 之间。当找到，SGMLParser 用注释内容来调用 handle_comment。
- 处理指令 (Processing instruction)
HTML 处理指令，包括在 ... > 之间。当找到，SGMLParser 用处理指令内容来调用 handle_pi。
- 声明 (Declaration)
HTML 声明，如 DOCTYPE，包括在 之间。当找到，SGMLParser 用声明内容来调用 handle_decl。
- 文本数据 (Text data)
文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用 handle_data。
代码如下:
from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
SGMLParser.reset(self)
def start_div(self, attrs):
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了
self.flag = True
return
def end_div(self):#遇到
self.flag = False
def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True
代码如下:
def end_p(self):#遇到
if self.getdata:
self.getdata = False
def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)
代码如下:
def printID(self):
for i in self.IDlist:
print i
上面的思路存在一个bug
遇到
上一篇： 关于 jQuery Easyui异步加载tree的问题解析
下一篇： js中关于this的详解