Qin Blog

第14章 分布式爬虫分布式爬虫的原理，以及Scrapy是实现分布式爬虫的流程。 14.1 分布式爬虫原理14.1.1 分布式爬虫架构本地爬取队列Queue deque模块 Scheduler Downloader 分布式爬虫基本架构 14.1.2 维护爬取队列基于内存存储的Redis，它支持多种数据结构， 14.1.3 如何去重scrapy自动去重 14.1.4 防止中断14.1.5 架构实现首先实现一个共享的爬取队列，还要实现去重的功能。另外，重写一个Scheduler的实现，使之可以从共享的爬取队列存取的Request。 Scrapy-Redis 源码解析。 14.2 Scrapy—Redis源码解析利用Redis如何实现Scrapy分布式。 14.2.1 获取源码14.2.2 爬取队列queue.py 14.2.3 去重过滤duperfilter.py, 其内部实现了一个RFPDupeFilter类 14.2.4 调度器Scrapy-Redis还帮我们实现了配合Queue、DupeFilter使用调度器Scheduler，源文件名称是scheduler.py。 enqueue ...

第15章 分布式爬虫的部署15.1 Scrapyd分布式部署Scrapyd是一个运行Scrapy爬虫的服务程序，他提供一系列HTTP接口来帮助我们不熟、启动、停止、删除爬虫程序。Scrapyd支持版本管理，同时还可以管理多个爬虫任务。 15.2 Scrapyd—Client的使用15.3 Scrapyd对接Docker15.4 Scrapyd批量部署15.5 Gerapy分布式管理

第1章 开发环境配置1.1 Python3的安装1.1.1 相关链接… 1.1.2 Windows下的安装… 1.1.3 Linux下的安装… 1.1.4 Mac下的安装… 1.2 请求库的安装 爬虫简单分为几步：抓取页面、分析页面、存储数据。 抓取页面中，需要模拟浏览器向服务发出请求，所以需要用到python库来实现http请求操作。本书使用到的第三方库有Requests、Selenium、Aiotttp等。 1.2.1 Requests的安装pip3 install requests pip3 install wheel 1.2.2 Selenium的安装Selenium是一个自动化测试工具， 1.2.3 ChromeDriver的安装1.2.4 GeckoDriver的安装1.2.5 PhantomJS的安装1.2.6 aiohttp的安装1.3 解析库的安装1.3.1 lxml的安装1.3.2 BeautifulSoup的安装1.3.3 pyquery的安装1.3.4 tesserocr的安装1.4 数据库的安装1.4.1 MySQL的安装1.4.2 Mo ...

Python编码规范google python编码规范参考PEP 8 - Python 代码风格指南 Introduction - 简介 A Foolish Consistency is the Hobgoblin of Little Minds - 愚蠢的一致性是小心灵的大地精 Code lay-out - 代码布局 Indentation - 缩进 Tabs or Spaces? - A 罩杯还是 E 罩杯 ？ Maximum Line Length - 代码行最大长度 Should a line break before or after a binary operator? - 在二元运算符之前还是之后断行？ Blank Lines - 空行 Source File Encoding - 源文件编码 Imports - 模块导入 Module level dunder names - 模块级 dunder 名称 String Quotes - 字符串引号 Whitespace in Expressions and Statements - 表达式和语句中的空格 Pet Pe ...

《技术管理之巅》读书笔记第1章 技术团队定位篇第2章 技术与业务融合篇第3章 技术团队组织架构篇第4章 产品研发流程篇第8章 移动时代的技术管理篇

运维支持运维派-docker教程运维派

FAQ

Table of Contents Python语言特性 1 Python的函数参数传递 2 Python中的元类(metaclass) 3 @staticmethod和@classmethod 4 类变量和实例变量 5 Python自省 6 字典推导式 7 Python中单下划线和双下划线 8 字符串格式化:\x和.format 9 迭代器和生成器 10 *args and **kwargs 11 面向切面编程AOP和装饰器 12 鸭子类型 13 Python中重载 14 新式类和旧式类 15 __new__和init的区别 16 单例模式 1 使用__new__方法 2 共享属性 3 装饰器版本 4 import方法 17 Python中的作用域 18 GIL线程全局锁 19 协程 20 闭包 21 lambda函数 22 Python函数式编程 23 Python里的拷贝 24 Python垃圾回收机制 1 引用计数 2 标记-清除机制 3 分代技术 25 Python的List 26 Python的is 27 read,readline和readlines 28 ...

Python设计模式代码直戳: https://github.com/faif/python-patterns 创建型模式工厂方法实例 -> 类 -> 类工厂 抽象工厂简单来说就是把一些具有相同方法的类再进行封装,抽象共同的方法以供调用.是工厂方法的进阶版本.实例 -> 类 -> 类工厂 -> 抽象工厂 惰性初始化 Lazy evaluation这个Python里可以使用@property实现,就是当调用的时候才生成. 生成器 Builder Builder模式主要用于构建一个复杂的对象，但这个对象构建的算法是稳定的，对象中的各个部分经常变化。Builder模式主要在于应对复杂对象各个部分的频繁需求变动。但是难以应对算法的需求变动。这点一定要注意，如果用错了，会带来很多不必要的麻烦。 重点是将复杂对象的建造过程抽象出来（抽象类别），使这个抽象过程的不同实现方法可以构造出不同表现（属性）的对象。 简单的说：子对象变化较频繁，对算法相对稳定。 单例模式 Singleton一个类对象只有一个实例 原型模式特点是通过复制一个已经存在的实例来返回新的实例,而不是新建 ...

计算机位移操作符 左移操作符。 << 低位补0； 无符号右移操作符。 >> 高位补0； 有符号右移操作符。 >> 正高位补0，负高位补1. 与运算符。& // true & true = true else is false; 或运算符。| // true | false or true | true is true ; 非运算符。~ // ~false = true ~false = true; 异或运算符。^ // true^false = true; else is false;