一百行代码实现异步爬虫

一个优雅的爬虫需要一下这些东西: 请求器 页面解析器 链接生成器 调度器 请求器 负责发送请求。 页面解析器 负责从页面上解析出继续爬的链接。 链接生成器 负责处理继续爬虫的链接并放入队列。 调度器 决定链接是否应该被爬去的核心部件。 异步 同时有多个请求在发送,即时异步爬虫。 代码 相关代码已

Tornado Auto Etag 机制

为了研究缓存看了 tornado web.py 里的 finish 函数 代码如下 def finish(self, chunk: Union[str, bytes, dict] = None) -> "Future[None]": "&q

树-数据结构(Python)

title: 树-数据结构(Python) 树是计算机科学中常用的数据结构之一,常见的地方有,Java 的继承树等。 还有一些基于树的特殊数据结构,比如二叉树,B 树,等等。 本篇会讲述一些关于简单关于树的操作。 树的定义 树(英语:tree)是一种抽象数据类型(ADT)或是实作这种抽象数据类型

KMP 算法

在计算机科学中,Knuth-Morris-Pratt字符串查找算法(简称为KMP算法)可在一个主文本字符串S内查找一个词W的出现位置。此算法通过运用对这个词在不匹配时本身就包含足够的信息来确定下一个匹配将在哪里开始的发现,从而避免重新检查先前匹配的字符。 这个算法是由高德纳(Donald Er

Pipenv + Autoenv 更友善的工作环境

Python 包管理一直都是一个问题,如今 3.6 推荐采用 Pipenv 出自 Requests 的大牛做所。配合上他写的 Autoenv 切换环境再也不是问题。 安装 MacOS brew install pipenv brew install autoenv 其他平台自行 Google。

485 Max Consecutive Ones 最长1的序列

题干 Link Given a binary array, find the maximum number of consecutive 1s in this array. Example 1: Input: [1,1,0,1,1,1] Output: 3 Explanation: Th

118 Pascal's Triangle 杨辉三角

题干 Link Given numRows, generate the first numRows of Pascal's triangle. For example, given numRows = 5, Return [ [1], [1,1], [1,2,1], [1,3,3,1],
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×