首先解释下什么是爬虫以及为何需要爬虫。爬虫定义： 一段自动抓取互联网信息的程序 这里为了让小白能够明白，没引用百度百科的定义。那么为何需要爬虫呢？我们知道互联网是由海量的网页组成，每一个网页都对应着一个url，每一个网页上也可能链接着其它的网页的url，每一个html网页上都展示着一些信息，如文本，图片等，当我们在浏览这些信息时，可能会发现很多我们感兴趣的数据，如心仪的妹子图，觉得这个妹子好漂亮，想把这张图片保存下来，当然如果只是几张妹子图，我们可以使用浏览器图片保存功能保存到磁盘，但是如果是几千张妹子图，我们手动…