问题

我想创建一个网站,显示亚马逊和ebay产品价格之间的比较. 其中哪些会更好,为什么?我有点熟悉BeautifulSoup,但不太熟悉Scrapy爬虫.

  最佳答案

Scrapy 是一个 Web-spring 或 Web scrapper 框架,您给 Scrapy 一个 root URL 来启动爬行,然后您可以指定对您想爬行和获取多少(数量) URL 的约束。

虽然

BeautifulSoup是一个解析库,它也可以从URL中获取内容并允许您解析其中的某些部分而不会有任何麻烦.它只获取您给出然后停止的URL的内容.除非手动将其放在具有某些标准的无限循环中,否则它不会爬行.

简单地说,用美丽的灵魂,你可以构建类似于Scrapy的东西。 美丽的灵魂是一个库,而Scrapy是一个完整的框架。

资料来源: http://www.quora.com/Python-programming-language-1/How-is-BeautifulSoup-different-from-Scrapy

  相同标签的其他问题

pythonbeautifulsoupscrapyweb-crawler