怎么用python抓取百度贴吧内容-创新互联

本篇内容介绍了“怎么用python抓取百度贴吧内容”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

# -*- coding: utf-8
import urllib2
import urllib
import re,os
import time
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class Tiebar:
    #初始化数据
    def __init__(self,base_url,see_lz):
        self.base_url = base_url
        self.see_lz = '?see_lz=' + see_lz
        self.page = 1
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = { 'User-Agent' : self.user_agent }
        self.tool = Tool()
        self.out_put_file = 'd:/python/test/out.txt'
    #获取页面内容的方法
    def get_cotent(self,page):
        try:
            url = self.base_url + self.see_lz + '&pn=' + str(page)
            request = urllib2.Request(url,headers=self.headers)
            response = urllib2.urlopen(request)
            act_url = response.geturl()
            print 'init url=',url,'act url=',act_url
            if url == act_url:
                content = response.read()
                return content
            else:
                return None
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"连接贴吧页面失败,错误原因",e.reason
                return None
    #获取帖子主题
    def get_titile(self):
        content = self.get_cotent(1)
        pattern = re.compile('

(.*?)