这篇文章主要介绍了python爬虫设置代理ip的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
凭借整站使用H5网站设计的创新体验、定制设计、设计团队积累与透明式的服务过程,符合行业特点,专属顾问根据企业产品,消费群体属性,准确定位;设计师以目标客户为中心,以突出品牌官网特性为宗旨,定制专属网站建设设计方案。python爬虫设置代理ip的方法:首先写入获取到的ip地址到proxy;然后用百度检测ip代理是否成功,并请求网页传的参数;最后发送get请求,并获取返回页面保存到本地。
python爬虫设置代理ip的方法:
设置ip代理是爬虫必不可少的技巧;
查看本机ip地址;打开百度,输入“ip地址”,可以看到本机的IP地址;
本文使用的是goubanjia.com里面的免费ip;
使用时注意要注意传输协议是http还是https,代码如下;
# 用到的库 import requests # 写入获取到的ip地址到proxy proxy = { 'https':'221.178.232.130:8080' } # 用百度检测ip代理是否成功 url = 'https://www.baidu.com/s?' # 请求网页传的参数 params={ 'wd':'ip地址' } # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } # 发送get请求 response = requests.get(url=url,headers=headers,params=params,proxies=proxy) # 获取返回页面保存到本地,便于查看 with open('ip.html','w',encoding='utf-8') as f: f.write(response.text)
打开存入的“ip.html”查看内容如下;
感谢你能够认真阅读完这篇文章,希望小编分享python爬虫设置代理ip的方法内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联-成都网站建设公司行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!
售后响应及时
7×24小时客服热线数据备份
更安全、更高效、更稳定价格公道精准
项目经理精准报价不弄虚作假合作无风险
重合同讲信誉,无效全额退款