在前面的几节中我们讲述了python文件操作，包括基本普通文件和zip压缩包文件， python文件操作 python遍历某个文件夹下的全部文件 python文件操作之zip包操作 在对文件操作过程中往往会对文件路径进行获取，如文件路径所在的目录，文件路径所在的一级目录，通过文件路径截取文件名，文件扩展名等。这就涉及到python中的os模块以及和文件路径相关的os.path模块。 os模块 我们首先来看os模块，官方文档地址在这：https://docs.python.org/2/library/os.html?…
在前面的超级易懂爬虫系列中我们将爬虫的理论知识与实际操作相结合，相信大家都学会了，还没看过的猛戳以下链接 超级易懂爬虫系列之爬虫入门爬取妹子图 超级易懂爬虫系列之爬取妹子图 超级易懂爬虫系列之爬虫简单的架构 为了让大家能够更加容易明白，这个系列采取了先易后难，逐渐扩充其功能的方式进行讲解，在前面也说到过，在爬取妹纸图的过程中会将妹纸图保存到本地，因为这涉及到I/O操作，相对而言是很费时的一种操作，在前面爬取到某一网页的妹纸图时采取的是一个一个保存的方式，也就是说当爬取到了一个网页的时候需要等到将该网页的所有的妹纸图…
在前面的几篇文章中，我带领大家学习了爬虫的基本理论知识，同时带领大家学会了如何爬取自己心仪的妹纸图，现在对前面的内容做个总结，把爬虫的一些知识点抽取出来做一个简单的爬虫架构的分析。之所以这么做是为了后面带领大家使用分析爬虫框架时更容易明白，在后面讲解scrapy爬虫框架时大家会发现scrapy的基本组件与原理与这个几乎一模一样，只不过我们这个很简单而已。 在超级易懂爬虫系列之爬虫入门爬取妹子图 中（如果你还没看的话建议先去看一下）我们谈到爬虫是从一个网页开始不断爬取与之关联的url，然后抓取我们感兴趣的数据，那么首…
在前面一节中，我们首先讲解了关于爬虫的基本理论知识，然后带领大家动手写了一个入门级的爬虫程序--爬取心仪的妹子图，什么？你还不知道？赶快去看：写给小白看的爬虫系列之爬虫入门爬取妹子图 不知道大家消化的怎么样了,哈哈大家看到了自己心仪的妹纸吗？不过在前面一节中为了让大家更好的理解爬虫，采取了先易后难的策略，只爬取了一个网页的妹纸图，然后有的小伙伴觉得这不足以体现出对自己女神的热爱啊，要把我家女神全部的美图都抓取下来欣赏，好吧，现在就满足你对女神的全部幻想，本节带领大家在原来基础上爬取所有的相关网页的美图，让你一次看个…
首先解释下什么是爬虫以及为何需要爬虫。爬虫定义： 一段自动抓取互联网信息的程序 这里为了让小白能够明白，没引用百度百科的定义。那么为何需要爬虫呢？我们知道互联网是由海量的网页组成，每一个网页都对应着一个url，每一个网页上也可能链接着其它的网页的url，每一个html网页上都展示着一些信息，如文本，图片等，当我们在浏览这些信息时，可能会发现很多我们感兴趣的数据，如心仪的妹子图，觉得这个妹子好漂亮，想把这张图片保存下来，当然如果只是几张妹子图，我们可以使用浏览器图片保存功能保存到磁盘，但是如果是几千张妹子图，我们手动…
当我们在对数据进行分析的时候通常会在excel中创建一个表格，表格的开始是一行属性，然后下面每一行的每一列都是和属性相关的内容，如图所示， 但是用excel需要手动一个一个输入，作为工程师，当然是要偷懒的，虽然可以使用第三方库操作excel的方式，但是太麻烦，能不能直接在文本文件中写入同样达到上述效果呢？如果不用excel直接在文本中进行写入虽然也能保存数据，但是会存在一个对齐的问题，每一行的数据虽然是对的，但是如果每一行的每一列没对齐，一方面不够美观，另一方面也不利于分析数据。本节就是为了解决这个问题，实现在文本…
在前面的一小节中，我们谈到了对文件的读写操作，这一节我们谈谈使用python遍历某个文件夹下的全部文件，因为在实际的项目场景中这种情况非常常见，如在apk的逆向工程中可能需要在把dex文件反编译后产生的smali文件中查找某一特定的字符串，然后进行替换操作。这个场景很显然就涉及到了对某一文件夹下所有文件进行遍历的过程。这个过程很显然是对文件，目录，路径进行操作，而这些很显然是属于操作系统管理的范畴，因此这些功能被定义在了python中的os模块和os.path模块，使用前需要import相应的模块。这一小节就讲讲p…
在任何一门高级语言中，文件I/O操作是非常重要的一个模块，python中的文件操作和C语言中非常类似，也很简单，虽然很简单，但是文件操作中也有很多需要主要的地方，尤其是读写效率的问题。 和c语言一样python使用open函数打开一个文件，该函数定义如下： open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True) 当然对于我们而言通常不需要关心那么多参数，通常我们只关心最前…
今天在使用python处理字符串时出现了一个如下错误 <code>unicodedecodeerror ascii codec can’t decode byte 0xd7 in position 4 ordinal not in range(128) </code> 从字面意思来看很显然是字符编码问题，然后百度了好多解决方案，根本不靠谱，最终折腾了半天还是解决了，记录一下 还是按照国际惯例，先描述一下应用场景：在对Apk的so加密保护中，有这么一个过程，将dex通过baksmali.jar…
之前没怎么接触过python，因为项目要用的python，所以开始学习python，说实话和java，c++比起来，python简单多了，但是由于是初次学习，在使用python遍历删除元素的时候遇到了一些坑，简单的记录下。 先说下应用场景：在进行安卓Apk的so加密保护中，需要从用户输入的一个so的list列表中，首先要判断用户输入的so是否在待加密Apk中存在，当然允许用户输入大小写有误，如果不存在则将该so从用户输入的list列表中删除，如果仅仅是大小写不匹配则认为该so是存在的…
