在前面的几篇文章中，我带领大家学习了爬虫的基本理论知识，同时带领大家学会了如何爬取自己心仪的妹纸图，现在对前面的内容做个总结，把爬虫的一些知识点抽取出来做一个简单的爬虫架构的分析。之所以这么做是为了后面带领大家使用分析爬虫框架时更容易明白，在后面讲解scrapy爬虫框架时大家会发现scrapy的基本组件与原理与这个几乎一模一样，只不过我们这个很简单而已。 在超级易懂爬虫系列之爬虫入门爬取妹子图 中（如果你还没看的话建议先去看一下）我们谈到爬虫是从一个网页开始不断爬取与之关联的url，然后抓取我们感兴趣的数据，那么首…