怎么用Python代码实现新闻爬虫

本篇内容介绍了“怎么用Python代码实现新闻爬虫”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联公司基于分布式IDC数据中心构建的平台为众多户提供川西大数据中心 四川大带宽租用 成都机柜租用 成都服务器租用。

新闻源：Reddit

我们可以通过Reddit提交新闻链接并为之投票，因此Reddit是个很好的新闻来源。但接下来的问题是：怎样才能获取每天最流行的新闻?在考虑抓取之前，我们应该先考虑目标网站有没有提供API。因为使用API完全合法，更重要的是它能提供机器可读的数据，这样就无需再分析HTML了。幸运的是Reddit提供了API。我们可以从API列表中找到所需的功能：/top。该功能可以返回Reddit或指定subreddit上最流行的新闻。接下来的问题是：这个API怎么用?仔细阅读了Reddit的文档之后，我找到了最有效的用法。第一步：在Reddit上创建一个应用。登录之后前往“preferences  → apps”页面，底部有个名为“create another app...”的按钮。点击后创建一个“script”类型的应用。我们不需要提供“about  url”或“redirect url”，因为这个应用不对公众开放，也不会被别人使用。

应用创建之后，可以在应用信息里找到App ID和Secret。

下个问题是如何使用App  ID和Secret。由于我们只需获取指定SubReddit上最流行的新闻，而无需访问任何与用户相关的信息，所以理论上来说我们无需提供用户名或密码之类的个人信息。Reddit提供了“Application  Only  OAuth”的形式，通过这种方式，应用可以匿名访问公开的信息。运行下面这条命令：

$ curl -X POST -H 'User-Agent: myawesomeapp/1.0' -d grant_type=client_credentials --user 'OUR_CLIENT_ID:OUR_CLIENT_SECRET'  https://www.reddit.com/api/v1/access_token

该命令会返回access token：

{"access_token": "ABCDEFabcdef0123456789", "token_type": "bearer", "expires_in": 3600, "scope": "*"}

太好了!有了access  token之后就可以大展拳脚了。最后，如果不想自己写API的访问代码的话，可以使用Python客户端：https://github.com/praw-dev/praw先做一下测试，从/r/Python获取最流行的5条新闻：

>>> import praw >>> import pprint >>> reddit = praw.Reddit(client_id='OUR_CLIENT_ID', ...                      client_secret='OUR_SECRET', ...                      grant_type='client_credentials', ...                      user_agent='mytestscript/1.0') >>> subs = reddit.subreddit('Python').top(limit=5) >>> pprint.pprint([(s.score, s.title) for s in subs]) [(6555, 'Automate the boring stuff with python - tinder'),  (4548,   'MS is considering official Python integration with Excel, and is asking for '   'input'),  (4102, 'Python Cheet Sheet for begineers'),  (3285,   'We started late, but we managed to leave Python footprint on r/place!'),  (2899, "Python Section at Foyle's, London")]

成功了!

抓取新闻页面

下一步的任务是抓取新闻页面，这其实很简单。通过上一步我们可以得到Submission对象，其URL属性就是新闻的地址。我们还可以通过domain属性过滤掉那些属于Reddit自己的URL：

subs = [sub for sub in subs if not sub.domain.startswith('self.')]

我们只需要抓取该URL即可，用Requests很容易就可以做到：

for sub in subs:   res = requests.get(sub.url)   if (res.status_code == 200 and 'content-type' in res.headers and       res.headers.get('content-type').startswith('text/html')):     html = res.text

这里我们略过了content type不是text/html的新闻地址，因为Reddit的用户有可能会提交直接指向图片的链接，我们不需要这种。

提取新闻内容

下一步是从HTML中提取内容。我们的目标是提取新闻的标题和正文，而且可以忽略其他不需要阅读的内容，如页首、页脚、侧边栏等。这项工作很难，其实并没有通用的完美解决办法。虽然BeautifulSoup可以帮我们提取文本内容，但它会连页首页脚一起提取出来。不过幸运的是，我发现目前网站的结构比以前好很多。没有表格布局，也没有和和
，整个文章页面清晰地用

和

标出了标题和每个段落。而且绝大部分网站会把标题和正文放在同一个容器元素中，比如像这样：

Site Navigation
    
     Page Title