一百行代码实现异步爬虫
一个优雅的爬虫需要一下这些东西：
- 请求器
- 页面解析器
- 链接生成器
- 调度器
Tornado Auto Etag 机制
为了研究缓存看了 tornado
web.py里的finish函数Pipenv + Autoenv 更友善的工作环境
Python 包管理一直都是一个问题，如今 3.6 推荐采用 Pipenv 出自 Requests 的大牛做所。配合上他写的 Autoenv 切换环境再也不是问题。
一个优雅的爬虫需要一下这些东西：
为了研究缓存看了 tornado web.py 里的 finish 函数
Python 包管理一直都是一个问题，如今 3.6 推荐采用 Pipenv 出自 Requests 的大牛做所。配合上他写的 Autoenv 切换环境再也不是问题。