最近在将某个window系统上的python脚本迁移到linux服务器上进行测试的时候发现原本在window运行好好的工程在linux上却出现了问题，不能达到预期执行效果。通过日志可以判断出是在使用python的subprocess.Popen执行某个java命令的时候未生效导致的。当时百思不其解，因为这个工程在window上已经运行过很多次了，是可以正常工作的，为何迁移到linux上就不能正常工作了呢？ 在项目的Utils.py模块中有如下的一个函数用来使用subprocess.Popen执行某个命令 def e…
在前面的几节中我们讲述了python文件操作，包括基本普通文件和zip压缩包文件， python文件操作 python遍历某个文件夹下的全部文件 python文件操作之zip包操作 在对文件操作过程中往往会对文件路径进行获取，如文件路径所在的目录，文件路径所在的一级目录，通过文件路径截取文件名，文件扩展名等。这就涉及到python中的os模块以及和文件路径相关的os.path模块。 os模块 我们首先来看os模块，官方文档地址在这：https://docs.python.org/2/library/os.html?…
在平时的项目开发中，文件操作是非常频繁的一个场景，前面python文件操作中带领大家学些了基本的文件操作，但是还有一类特殊的文件就是压缩包文件，如jar包，apk包本质上都是压缩包，对这类文件处理要使用python中的zipfile模块。 首先来看一下ZipFile类的定义 然后来看下ZipFile类常用的函数 返回zip包所有的entry名称的list，注意返回的entry名称中包含目录路径，如X/Y/z.txt。 name为传入的entry的名称，注意需要包括目录路径，如某zip包解压后目录层级关系为X/Y/z…
在前面通过超级易懂爬虫系列的讲解，相信大家对爬虫已经很熟悉了，还没看的同学可以先去了解一下 超级易懂爬虫系列之爬虫入门爬取妹子图 超级易懂爬虫系列之爬取妹子图 超级易懂爬虫系列之爬虫简单的架构 超级易懂爬虫系列之使用多线程爬取妹纸图 超级易懂爬虫系列之爬虫框架scrapy 超级易懂爬虫系列之使用scrapy框架爬取妹纸图 但是不知道大家发现没前面一系列的爬取的网页都是静态的html网页，所谓静态网页就是当浏览器加载完该页面后，页面的展示效果就是固定的了，因为代码不能更改了，但是很显然某些网页不是这样的，如一些论坛网…
在前面一节中带领大家了解了scrapy框架的基本架构与使用，且与前面我们自己写的简单的架构进行了比较，让大家能够很容易明白这个框架的数据流的流程。然后带领大家爬取了一个页面的妹纸图让大家更容易上手，接下来就带领大家正式使用scrapy框架爬取全部页面的妹纸图，为了心仪的妹纸一定要学会哦，哈哈哈. 在前面一节中我们说过scrapy框架自动帮我们创建的工程包括一下几个板块： spider:这个是需要我们自定义实现的spider组件，主要是重写其parse函数来解析传进来的Response对象 items：用来定义我们需…
在前面的文章中，我带领大家一步一步从学习了爬虫的理论知识，相信大家为了心仪的妹纸都已经学会了，最后也动手写了一个简单的爬虫架构，之所以抽象出一个简单的架构就是为了让大家能够更好的理解爬虫框架，正所谓‘不要重复造轮子’，一个成熟框架是经过很多场景使用的考验的，其稳定性和功能的强大性远比我们自己写一个爬虫程序要好的多，因此本节就带领大家玩一下常见的爬虫框架scrapy。 python常见的爬虫架构一般包括pyspider和scrapy，前者是国人搞的，容易上手，但是在对windows的支持性不是很好，在win下很容易出…
在前面的超级易懂爬虫系列中我们将爬虫的理论知识与实际操作相结合，相信大家都学会了，还没看过的猛戳以下链接 超级易懂爬虫系列之爬虫入门爬取妹子图 超级易懂爬虫系列之爬取妹子图 超级易懂爬虫系列之爬虫简单的架构 为了让大家能够更加容易明白，这个系列采取了先易后难，逐渐扩充其功能的方式进行讲解，在前面也说到过，在爬取妹纸图的过程中会将妹纸图保存到本地，因为这涉及到I/O操作，相对而言是很费时的一种操作，在前面爬取到某一网页的妹纸图时采取的是一个一个保存的方式，也就是说当爬取到了一个网页的时候需要等到将该网页的所有的妹纸图…
在前面的几篇文章中，我带领大家学习了爬虫的基本理论知识，同时带领大家学会了如何爬取自己心仪的妹纸图，现在对前面的内容做个总结，把爬虫的一些知识点抽取出来做一个简单的爬虫架构的分析。之所以这么做是为了后面带领大家使用分析爬虫框架时更容易明白，在后面讲解scrapy爬虫框架时大家会发现scrapy的基本组件与原理与这个几乎一模一样，只不过我们这个很简单而已。 在超级易懂爬虫系列之爬虫入门爬取妹子图 中（如果你还没看的话建议先去看一下）我们谈到爬虫是从一个网页开始不断爬取与之关联的url，然后抓取我们感兴趣的数据，那么首…
在前面一节中，我们首先讲解了关于爬虫的基本理论知识，然后带领大家动手写了一个入门级的爬虫程序--爬取心仪的妹子图，什么？你还不知道？赶快去看：写给小白看的爬虫系列之爬虫入门爬取妹子图 不知道大家消化的怎么样了,哈哈大家看到了自己心仪的妹纸吗？不过在前面一节中为了让大家更好的理解爬虫，采取了先易后难的策略，只爬取了一个网页的妹纸图，然后有的小伙伴觉得这不足以体现出对自己女神的热爱啊，要把我家女神全部的美图都抓取下来欣赏，好吧，现在就满足你对女神的全部幻想，本节带领大家在原来基础上爬取所有的相关网页的美图，让你一次看个…
首先解释下什么是爬虫以及为何需要爬虫。爬虫定义： 一段自动抓取互联网信息的程序 这里为了让小白能够明白，没引用百度百科的定义。那么为何需要爬虫呢？我们知道互联网是由海量的网页组成，每一个网页都对应着一个url，每一个网页上也可能链接着其它的网页的url，每一个html网页上都展示着一些信息，如文本，图片等，当我们在浏览这些信息时，可能会发现很多我们感兴趣的数据，如心仪的妹子图，觉得这个妹子好漂亮，想把这张图片保存下来，当然如果只是几张妹子图，我们可以使用浏览器图片保存功能保存到磁盘，但是如果是几千张妹子图，我们手动…
当我们在对数据进行分析的时候通常会在excel中创建一个表格，表格的开始是一行属性，然后下面每一行的每一列都是和属性相关的内容，如图所示， 但是用excel需要手动一个一个输入，作为工程师，当然是要偷懒的，虽然可以使用第三方库操作excel的方式，但是太麻烦，能不能直接在文本文件中写入同样达到上述效果呢？如果不用excel直接在文本中进行写入虽然也能保存数据，但是会存在一个对齐的问题，每一行的数据虽然是对的，但是如果每一行的每一列没对齐，一方面不够美观，另一方面也不利于分析数据。本节就是为了解决这个问题，实现在文本…
