Python: 常用爬虫框架与平台使用
- TAGS: Python
Scrapy
主要内容：
- Scrapy 框架组件
- Scrapy 爬取基本流程
- Scrapy 安装与配置
- Scrapy 项目搭建与配置
- Scrapy 数据结构化设计
- Scrapy 数据爬取类区别和选择
- Scrapy 爬取数据的解析 XPath、CSS 选择器
- Scrapy 数据封装
- Scrapy 使用代理服务器
- Scrapy 翻页数据爬取
- Scrapy 数据存储关系数据库
- Scrapy 数据存储为 JSON
项目库
主要内容：
- 常见反爬技术实践
- 自开发分布式爬虫爬取新闻类数据工具(异步库+RabbitMQ)
- 模拟登录 B 站并爬取数据
- 豆瓣热门电影数据爬取
- 某书评网站爬取
- 美团影评数据爬取、分析、分词、词云展示(scrapy-redis)
- 破解网站登录验证码及滑动验证码
- 抓取拉钩网站数据，实现岗位分析和快速匹配
- 抓取今日头条、抖音等数据源信息