您的位置：CSDN 首页−>新闻频道−>正文
用Python写一个小小的爬虫程序
2007.10.16 来自：网络 共有评论(0)条 发表评论 收藏
Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能
Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能：
爬虫工作的基本原理就是，给定一个初始的url，下载这个url的网页，然后找出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下来，然后再找下载下来的这些网页的url，我们可以用广度优先搜索实现这个算法，不过，首先得有一个函数找出网页上所有的满足要求的url，下面这个例子用正则表达式找出url.
最后就是广度优先搜索了，这个实现起来也很简单：
作者用上面的算法，感觉速度还行，1小时可以抓10000多网页，可以满足小型系统的要求。
【发表评论 0条】
其他文章
相关文章
- Google和Yahoo产品主管同台揭秘互联网产品开发奥秘 (2007.10.16)
- 名人故事：少年黑客艾伦与盖茨 (2007.10.16)
- 泰然处之，网络爬虫程序实例 (2007.10.15)
- 开源网络爬虫程序(spider)一览 (2007.10.15)
- 搜索引擎爬虫程序一览表大全 (2007.10.15)
最近评论
正在载入评论列表...