上一页 1 ··· 83 84 85 86 87 88 89 90 91 ··· 104 下一页

2023年6月26日

代理在爬虫中的应用以及如何测试代理是否成功

摘要: 1.查看origin的value值如果和proxies相同,则代理生效: 2.测试代理成功后,将代理添加到爬虫程序中使用: 阅读全文

posted @ 2023-06-26 22:06 与太阳肩并肩 阅读(135) 评论(0) 推荐(0)

2023年6月25日

代理理论讲解

摘要: 代理: 破解放IP这种反爬机制代理的概念: - 代理服务器。代理的作用: - 突破自身IP访问的限制。 - 可以隐藏自身真是IP代理相关的网站: - 快代理 - 西祠代理 - www.goubanjia.com 阅读全文

posted @ 2023-06-25 21:42 与太阳肩并肩 阅读(83) 评论(0) 推荐(0)

模拟登录cookie操作

摘要: 1.方法一自动添加cookie:定义session方法,登录后使用session.get()代替requests.get(): 2.方法二:手动添加cookie_cookie请求登录用户主页1:先找到登录请求的url中的cookie: 3.方法二:手动添加cookie_cookie请求登录用户主页2 阅读全文

posted @ 2023-06-25 21:31 与太阳肩并肩 阅读(180) 评论(0) 推荐(0)

2023年6月24日

模拟登录实现流程梳理

摘要: 1.超级鹰验证码图片识别函数 '''思路: 1.requests对网址发送请求获取图片 2.下载图片图片到本地 3.用超级鹰识别图片获取验证码'''import requestsfrom lxml import etreefrom hashlib import md5# 封装识别验证码图片的函数# 阅读全文

posted @ 2023-06-24 15:15 与太阳肩并肩 阅读(118) 评论(0) 推荐(0)

古诗文网验证码识别

摘要: 1.将超级鹰的验证码识别demo代码添加到请求代码中_1: 2.将超级鹰的验证码识别demo代码添加到请求代码中_2: 3.先请求网站数据下载验证码图片,调用超级鹰函数进行图片验证码识别: 4.识别古诗文网的登录验证码图片: 阅读全文

posted @ 2023-06-24 12:32 与太阳肩并肩 阅读(121) 评论(0) 推荐(0)

超级鹰验证码识别网站流程

摘要: 1.注册登录后进入用户中心: 2.查看是否有积分如果没有则关注公众号领取积分: 3.关注超级鹰公众号领取识别码积分: 4.点击软件ID生成一个软件ID_1: 5.创建相对应的软件名和使用说明: 6.创建成功后进入开发者文档下载python语言demo: 7.超级鹰py文件修改账号密码软件ID: 8. 阅读全文

posted @ 2023-06-24 11:35 与太阳肩并肩 阅读(289) 评论(0) 推荐(0)

作业:爬取站长素材中免费简历模板

摘要: 1.爬取免费简历模板_1: 2.爬取免费简历模板_2: 3.简历爬取结果: 阅读全文

posted @ 2023-06-24 10:12 与太阳肩并肩 阅读(33) 评论(0) 推荐(0)

2023年6月23日

xpath解析案例-全国城市名称爬取

摘要: url: https://www.aqistudy.cn/historydata/ 1.获取热门城市的城市名称: 2.获取所有城市的名称: 3.用竖杠符号连接xpath: 阅读全文

posted @ 2023-06-23 16:16 与太阳肩并肩 阅读(81) 评论(0) 推荐(0)

xpath解析案例-4k图片解析下载

摘要: url: https://pic.netbian.com/4kmeinv/ 1.li标签_a标签_获取img标签中src和alt属性: 2.图片名称中文乱码的解决方式: 3.图片下载保存到指定文件夹: 阅读全文

posted @ 2023-06-23 14:53 与太阳肩并肩 阅读(31) 评论(0) 推荐(0)

xpath实战-苏州租房

摘要: url: https://sz.5i5j.com/zufang?channel_name=baidu_sem_track&channel_link_type=web&hash_key=21oblcfX5ajZyIj5bQPY&callback_id=wHfPdxtr&sat_cf=2&_data_v 阅读全文

posted @ 2023-06-23 14:05 与太阳肩并肩 阅读(41) 评论(0) 推荐(0)

上一页 1 ··· 83 84 85 86 87 88 89 90 91 ··· 104 下一页

导航