2017 技术总结

年初辞职分手 年中颓废学习 年末工作恋爱 也算是人生的大落大起

也颠覆了曾经的自己,重新拾起信念与目标。不扯这些虚的,就讲讲今年掌握的技术或者工具吧。

工具类

Docker

可以非常熟练的使用 Docker 工具,也简单的了解到了 Docker 的运行机制和运行原理。

Tmux

用着用着快捷键都记住了。

Vim

用着发现快捷键也记得7788。 也自定义了一些配置文件。

regex

也会写一点正则了

其他工具

scp rsync corntab

爬虫

去了新公司就是做爬虫岗,之前写过最大最快的爬虫就是爬的网易云音乐,一天8W请求左右,不上代理,到现在自己写的 Python 爬虫框架能每秒 1000 QPS,单机(32核心 128G 内存 100MB 带宽),对网络请求,模拟,抓包,各种加密方式的快速了解,以及能不能抓,感觉成了一个熟练工了。

欢迎大家关注我的稀烂代码 EINDEX/aiospider

数据库

爬虫主要使用 MongoDB,对爬虫工作相对比较友好,主要是现在主流就接口风格直接就 Json 格式传输,而且前后端分离,总是会暴露 API。 MongoDB 的索引,索引机制,怎么加索引快,如何高效写入。 然后 MongoDB 也有坑的,比如说列表里的字段有列表,同时需要键索引。 比如说对列表里的字典里的字段加判断条件搜索。

2018 年目标

  1. 完成自己的爬虫库,代理池库,节约自己反复花在写爬虫代码的时间。
  2. 学着写个 Golang。
  3. 对操作系统能有更加深入的理解吧,更多的了解代码为什么快,能快速说出依托的机制。
  4. 学好英语。
  5. 放弃 PyCharm 改为使用 VsCode 和 Vim。
# Summary 

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×