更新日志： 调整超时时间为30秒，解决由于服务器解析导致的下载失败。如果效果不好，请下载旧版本。
那些代码托管服务平台
github在为支持私有项目之前，很多的代码都是基于bitbucket托管的。整体体验也还算ok。不过有段时间bitbucket服务貌似周期性被墙，尤其是登录跳转，异常的恶心。在bitbucket上托管的代码基本都是非公开的项目，包含各种图片站的爬虫，语音助理等。
Bitbucket 对于个人以及最多具有 5 位用户的小型团队是免费的，并提供无限制的公共和私人存储库。您还可以获得 LFS 的 1 GB 文件存储和 50 分钟的构建时间，以便开始使用 Pipelines。您可以在工作区与所有用户共享构建分钟数和存储。
秀人美女网爬虫 【Windows】【22.12.03】
F:\Pycharm_Projects\meitulu-spider\venv\Scripts\python.exe F:\Pycharm_Projects\meitulu-spider\xrmnw.py
****************************************************************************************************
秀人美女网爬虫
Verson: 22.12.03
Blog: http://www.h4ck.org.cn
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-r <random index category list>
-c <single category url>
-e <early stop, work in site crawl mode only>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************
Python3 读取Chrome cookie
网上搜一下，读取cookie的基本都是这份代码。我也忘了是从那里抄来的了，这里贴一下 ，对于最新的chrome需要修改下路径：
# chrome 96 版本以下 # filename = os.path.join(os.environ['USERPROFILE'], r'AppData\Local\Google\Chrome\User Data\default\Cookies') # chrome96 版本以上 # filename = os.path.join(os.environ['USERPROFILE'], r'AppData\Local\Google\Chrome\User Data\default\Network\Cookies')
秀人集爬虫 【22.09.04】【Windows】
更新日志： 22.9.4 1.调整超时时间为10秒 2.换了个进度条 3.下载异常处理可能不生效的问题 22.4.12 增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。 22.1.18 1.兼容更新后的秀人集网站，支持搜索以及全站爬取。 2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。 22.1.20 1.修复页面异常可能导致的异常终止 22.1.24 1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。 2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。
微图坊爬虫 [Chrome Support]【22.09.04】【Windows】
更新记录： 1. 修复了地址中由于/引起的404问题。
全国统计用区划代码和城乡划分代码[爬虫代码]【Json+CSV格式】
页面地址：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/11/01/01/110101001.html 最近需要使用最新的行政区划信息，虽然统计局公开了相关的数据，但是并没有提供数据文件。于是，就写了个爬虫把所有的数据爬取了一遍。生成的默认数据格式为json，另外提供了一个工具来把json转成csv。