在前面一节中带领大家了解了scrapy框架的基本架构与使用，且与前面我们自己写的简单的架构进行了比较，让大家能够很容易明白这个框架的数据流的流程。然后带领大家爬取了一个页面的妹纸图让大家更容易上手，接下来就带领大家正式使用scrapy框架爬取全部页面的妹纸图，为了心仪的妹纸一定要学会哦，哈哈哈. 在前面一节中我们说过scrapy框架自动帮我们创建的工程包括一下几个板块： spider:这个是需要我们自定义实现的spider组件，主要是重写其parse函数来解析传进来的Response对象 items：用来定义我们需…
在前面的文章中，我带领大家一步一步从学习了爬虫的理论知识，相信大家为了心仪的妹纸都已经学会了，最后也动手写了一个简单的爬虫架构，之所以抽象出一个简单的架构就是为了让大家能够更好的理解爬虫框架，正所谓‘不要重复造轮子’，一个成熟框架是经过很多场景使用的考验的，其稳定性和功能的强大性远比我们自己写一个爬虫程序要好的多，因此本节就带领大家玩一下常见的爬虫框架scrapy。 python常见的爬虫架构一般包括pyspider和scrapy，前者是国人搞的，容易上手，但是在对windows的支持性不是很好，在win下很容易出…
在前面的超级易懂爬虫系列中我们将爬虫的理论知识与实际操作相结合，相信大家都学会了，还没看过的猛戳以下链接 超级易懂爬虫系列之爬虫入门爬取妹子图 超级易懂爬虫系列之爬取妹子图 超级易懂爬虫系列之爬虫简单的架构 为了让大家能够更加容易明白，这个系列采取了先易后难，逐渐扩充其功能的方式进行讲解，在前面也说到过，在爬取妹纸图的过程中会将妹纸图保存到本地，因为这涉及到I/O操作，相对而言是很费时的一种操作，在前面爬取到某一网页的妹纸图时采取的是一个一个保存的方式，也就是说当爬取到了一个网页的时候需要等到将该网页的所有的妹纸图…
在前面的几篇文章中，我带领大家学习了爬虫的基本理论知识，同时带领大家学会了如何爬取自己心仪的妹纸图，现在对前面的内容做个总结，把爬虫的一些知识点抽取出来做一个简单的爬虫架构的分析。之所以这么做是为了后面带领大家使用分析爬虫框架时更容易明白，在后面讲解scrapy爬虫框架时大家会发现scrapy的基本组件与原理与这个几乎一模一样，只不过我们这个很简单而已。 在超级易懂爬虫系列之爬虫入门爬取妹子图 中（如果你还没看的话建议先去看一下）我们谈到爬虫是从一个网页开始不断爬取与之关联的url，然后抓取我们感兴趣的数据，那么首…
在前面一节中，我们首先讲解了关于爬虫的基本理论知识，然后带领大家动手写了一个入门级的爬虫程序--爬取心仪的妹子图，什么？你还不知道？赶快去看：写给小白看的爬虫系列之爬虫入门爬取妹子图 不知道大家消化的怎么样了,哈哈大家看到了自己心仪的妹纸吗？不过在前面一节中为了让大家更好的理解爬虫，采取了先易后难的策略，只爬取了一个网页的妹纸图，然后有的小伙伴觉得这不足以体现出对自己女神的热爱啊，要把我家女神全部的美图都抓取下来欣赏，好吧，现在就满足你对女神的全部幻想，本节带领大家在原来基础上爬取所有的相关网页的美图，让你一次看个…
首先解释下什么是爬虫以及为何需要爬虫。爬虫定义： 一段自动抓取互联网信息的程序 这里为了让小白能够明白，没引用百度百科的定义。那么为何需要爬虫呢？我们知道互联网是由海量的网页组成，每一个网页都对应着一个url，每一个网页上也可能链接着其它的网页的url，每一个html网页上都展示着一些信息，如文本，图片等，当我们在浏览这些信息时，可能会发现很多我们感兴趣的数据，如心仪的妹子图，觉得这个妹子好漂亮，想把这张图片保存下来，当然如果只是几张妹子图，我们可以使用浏览器图片保存功能保存到磁盘，但是如果是几千张妹子图，我们手动…
