小编给大家分享一下cookie怎么在python爬虫中响应网页,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!
创新互联公司主打移动网站、网站制作、做网站、网站改版、网络推广、网站维护、域名申请、等互联网信息服务,为各行业提供服务。在技术实力的保障下,我们为客户承诺稳定,放心的服务,根据网站的内容与功能再决定采用什么样的设计。最后,要实现符合网站需求的内容、功能与设计,我们还会规划稳定安全的技术方案做保障。
Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)
比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie,然后再抓取其他页面就达到目的了。
从响应中获取cookie
我们就可以先访问该站的某个页,建立了session连接之后,获取cookie,再伪造头进行访问。
>>> from bs4Test import * >>> s = requests.session() >>> s.get("https://www.gebiz.gov.sg/ptn/opportunity/BOListing.xhtml?origin=menu") >>> print(s.cookies) # 下面是打印结果 , http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>
最后拼接cookie串
cook_value = '' for x in cook: cook_value += x.name + '=' + x.value + ';' cook_value = cook_value[:len(cook_value)-1] print(cook_value) #打印结果 __cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045
看完了这篇文章,相信你对cookie怎么在python爬虫中响应网页有了一定的了解,想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!
售后响应及时
7×24小时客服热线数据备份
更安全、更高效、更稳定价格公道精准
项目经理精准报价不弄虚作假合作无风险
重合同讲信誉,无效全额退款