程序设计
Python爬虫热点项目实战
课程目录
- 1-.爬虫概述-1
- 2.本课程使用的软件-1
- 3.手刃一个小爬虫（上）
- 4.手刃一个小爬虫（下）
- 5.Web请求过程剖析（上）
- 6.Web请求过程剖析（下）
- 7.Http协议（上）
- 8.Http协议（下）
- 9.Requests入门（上）
- 10.Requests入门（下）
- 11.Requests入门-1
- 12.Requests入门（上）
- 13.Requests入门（下）
- 14.补充 关闭resp-1
- 15.补充_py基础_字符集的问题
- 16.数据解析概述-1
- 17.Re解析 正则表达式 01（上）
- 18.Re解析 正则表达式 01（下）
- 19.Re解析 正则表达式 02（上）
- 20.Re解析 正则表达式 02（下）
- 21.Python的re模块使用（1）
- 22.Python的re模块使用（2）
- 23.手刃豆瓣top250电影排行（1）
- 24.手刃豆瓣top250电影排行（2）
- 25.屠戮盗版天堂电影信息（1）
- 26.屠戮盗版天堂电影信息（2）
- 27.屠戮盗版天堂电影信息（3）
- 28.Bs4解析前戏-Html语法规则-1
- 29.Bs4解析入门-搞搞菜价（1）
- 30.Bs4解析入门-搞搞菜价（2）
- 31.Bs4解析案例-抓取优美图库图片（1）
- 32.Bs4解析案例-抓取优美图库图片（2）
- 33.Xpath入门 01（1）
- 34.Xpath入门 01（2）
- 35.Xpath入门 02（1）
- 36.Xpath入门 02（2）
- 37.Xpath实战 抓取猪八戒网信息（1）
- 38.Xpath实战 抓取猪八戒网信息（2）
- 39.Xpath实战 抓取猪八戒网信息（3）
- 40.Requests进阶概述-1
- 41.处理cookie 登录小说网（1）
- 42.处理cookie 登录小说网（2）
- 43.防盗链 抓取梨视频（1）
- 44.防盗链 抓取梨视频（2）
- 45.代理-1
- 46.综合训练 抓取网易云音乐评论信息（1）
- 47.综合训练 抓取网易云音乐评论信息（2）
- 48.综合训练 抓取网易云音乐评论信息（3）
- 49.综合训练 抓取网易云音乐评论信息（4）
- 50.综合训练 抓取网易云音乐评论信息（5）
- 51.综合训练 抓取网易云音乐评论信息（6）
- 52.综合训练 抓取网易云音乐评论信息（7）
- 53.第四章概述-1
- 54.多线程（1）
- 55.多线程（2）
- 56.多进程-1
- 57.线程池和进程池入门
- 58.线程池案例_抓取新发地菜价（上）
- 59.线程池案例_抓取新发地菜价（下）
- 60.协程概念
- 61.多任务异步协程（上）
- 62.多任务异步协程（下）
- 63.补充-关于异步协程-过时警告
- 64.异步http请求aiohttp模块讲解（上）
- 65.异步http请求aiohttp模块讲解（下）
- 66.异步爬虫实战-扒光一部小说（上）
- 67.异步爬虫实战-扒光一部小说（下）
- 68.综合训练_视频网站的工作原理（上）
- 69.综合训练_视频网站的工作原理（下）
- 70.抓取91看剧_简单版（上）
- 71.抓取91看剧_简单版（下）
- 72.抓取91看剧_简单版（上）
- 73.抓取91看剧_简单版（下）
- 74.抓取91看剧_复杂版_1_概述（上）
- 75.抓取91看剧_复杂版_1_概述（下）
- 76.抓取91看剧_复杂版_2_拿到m3u8路径
- 77.看剧_复杂版_3_下载m3u8（上）
- 78.看剧_复杂版_3_下载m3u8（下）
- 79.抓取91看剧_复杂版_4_下载视频（上）
- 80.抓取91看剧_复杂版_4_下载视频（下）
- 81.抓取91看剧_复杂版_5_解密（上）
- 82.抓取91看剧_复杂版_5_解密（下）
- 83.抓取91看剧_复杂版_6_合并视频（上）
- 84.抓取91看剧_复杂版_6_合并视频（下）
课程介绍
内容简介：本课程《Python爬虫热点项目实战》旨在帮助学习者掌握Python在实际项目中的应用技巧，通过多个热门项目的实战操作，提升数据抓取、解析与处理的能力。课程内容涵盖从基础的网络请求到复杂的反爬机制应对，适合希望深入理解Python爬虫技术的学习者。
课程概述：本课程以实际项目为驱动，结合当前热门网站的数据抓取需求，系统讲解了Python爬虫的核心技术与实战方法。通过八个典型项目，学员将掌握如何高效获取和分析网页数据，并学会处理各种反爬策略，如IP限制、验证码识别等。课程注重实践操作，每一步都配有详细代码示例和运行结果展示。
学习目标：通过本课程，学员能够独立完成各类网站的数据采集任务，包括但不限于微博热搜榜、电商商品信息、天气数据、影视资源、招聘职位、新闻媒体、学术文献及音乐榜单等。课程还强调数据存储与可视化，使学员具备完整的数据处理能力。此外，课程还将介绍常见的反爬手段及其应对策略，提升学员在真实环境中的实战能力。
适用人群：本课程适合对Python有一定基础，希望进一步提升数据抓取与分析能力的开发者、数据分析师、产品经理以及对网络数据感兴趣的初学者。无论你是想进入数据分析领域，还是希望通过爬虫技术优化业务流程，本课程都能为你提供实用的知识和技能。
- 课程大纲
- 项目一：爬取微博热搜榜数据
- 项目二：爬取电商商品信息及评论（以京东为例）
- 项目三：爬取天气数据（如中国天气网）
- 项目四：爬取影视资源网站信息（如豆瓣电影）
- 项目五：爬取招聘网站数据（如拉勾网）
- 项目六：爬取在线新闻媒体网站（如新浪新闻）
- 项目七：爬取学术文献网站（如知网）
- 项目八：爬取音乐榜单及歌曲信息（如网易云音乐）
