关于http代理与端口扫描
写爬虫总会有用到http代理的时候，通常的做法都是直接去代理网站（比如快代理，米扑代理）找代理ip来用，但是这些http代理的原理是什么？代理网站是怎么扫描到这么多代理ip的？这两个问题一直困扰着我，可能以前也查过相关资料，但没记住=。=# 今天还是把这个 […]
Python
python爬虫
好像从python开始流行起，他就与爬虫扯上关系了。一提起python就想到爬虫程序，可能是因为python提供的库（模块）比较方便吧，不管是自带的urllib，还是各种第三方库。总结一下我所了解的关于python爬虫的知识，我觉得可以将这些库分为下面四大 […]
python小技巧与坑
这几天打算用python写个小爬虫，就找出先前写python时候整理的一份小文档，顺便把它贴到博客上面来，以后如果还有其他心得，也一并记录在这里好了。 1. 时间处理 import time print time.strftime( ‘%Y-%m-%d % […]
python的浏览器“驱动”库：selenium
上两周的时候，陈怡同学问我怎么通过程序自动化截屏浏览器页面，她说有篇论文用的是python与selenium。当时我的心理活动是这样的：“卧槽selenium是什么鬼，女博士果然是见多识广。” =。=# 然后查了一下，selenium大概可以理解成一个浏览 […]
缩放＋锐化：做多一步，得到效果更好的缩略图
先容我啰嗦一下做这个实验的“历史”： 这事儿大概可以追溯到13年10月，当时老陈拉我入伙做一个旅行游记的项目（很可惜我们没有坚持下去），不知道他怎么突发其想（fā shén jīng）打算用python来做后台，我说卧槽哥我不会python啊，他说没事，我 […]