小编给大家分享一下python如何抓取需要扫微信登陆页面，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
1.抓取的页面需要登陆，以公司网页为例，登陆网址https://app-ticketsys.hezongyun.com/index.php ,(该网页登陆方式微信扫码登陆）
2.需要抓取的内容如下图所示：
需要提取
工单对应编号，如TK-2960
工单发起时间，如2018-08-17 11:12:13
工单标题内容，如设备故障
工单正文内容，如最红框所示
1.按按Ctrl + Shift + I或者鼠标右键点击检查进入开发人员工具。
可以看到页面显示如下：
主要关注点如上图框住和划线处
首先点击网络，记住以下信息将用于代码修改处。
Resquest URL：https： //app-ticketsys.hezongyun.com/index.php/ticket/ticket_list/init这个是需要爬取页面的信息请求Menthod：GET饼干：用于需要登陆页面User-Agent：Mozilla / 5.0（Windows NT 10.0; Win64; x64）AppleWebKit / 537.36（KHTML，类似Gecko）Chrome / 67.0.3396.62 Safari / 537.36
记住以上信息后粗略了解网页树形结构用BeatifulSoup中SELEC怎么取出内容
示例：的H1M1一段代码如下：
html =“”“睡鼠的故事</ title> </ head> <body> <p class =”title“name =”dromouse“> <b>睡鼠的故事</ b > </ p> <p class =“story”>从前有三个小姐妹;他们的名字是 <a href =“http://example.com/elsie”class =“sister”id =“ link1“> <！ - Elsie - > </a>， <a href="http://example.com/lacie" rel="external nofollow" class="sister" id="link2"> Lacie </a>和 <a href =“http://example.com/tillie”class =“sister”id =“link3”> Tillie </a>; 他们住在井底。</ p> <p class =“story”> ... </ p> “”“</pre><p>如果我们喝汤得到了上面那段HTML的结构提取内容方法如下</p><p>1.通过标签名查找soup.select（ '标题'），如需要取出含有一个标签的内容则soup.select（ 'a'）的</p><p>2.通过类名查找soup.select（ 'CLASS_NAME '）如取出标题的内容则soup.select（'。标题'）</p><p>3.通过ID名字查找soup.select（ '＃ID_NAME'）如取出ID = LINK2的内容则soup.select（ '＃LINK2'）</p><p>上述元素名字可以利用左上角箭头取出，如下图</p><p><img src="/upload/otherpic18/35995.jpg" alt="python如何抓取需要扫微信登陆页面"></p><strong>三，程序编写</strong><pre># -*- coding:utf-8 -*- import requests import sys import io from bs4 import BeautifulSoup import sys import xlwt import urllib,urllib2 import re def get_text(): #登录后才能访问的网页，这个就是我们在network里查看到的Request URL url = 'https://app-ticketsys.hezongyun.com/index.php/ticket/ticket_iframe/' #浏览器登录后得到的cookie,这个就是我们在network里查看到的Coockie cookie_str = r'ci_ticketsys_session=‘***********************************' #把cookie字符串处理成字典 cookies = {} for line in cookie_str.split(';'): key, value = line.split('=', 1) cookies[key] = value #设置请求头 headers = {'User-Agent':'Mozilla/5.0(Windows NT 10.0; Win64;x64)AppleWebKit/537.36 (KHTML, like Gecko)Chrome/67.0.3396.62 Safari/537.36'} #在发送get请求时带上请求头和cookies resp = requests.get(url, cookies = cookies,headers = headers) soup = BeautifulSoup(resp.text,"html.parser") print soup</pre><p>上述代码就能得到登陆网页的HTML源码，这个源码呈一个树形结构，接下来针对需求我们提取需要的内容进行提取</p><p>我们需要工单号，对应时间，对应标题</p><p><img src="/upload/otherpic18/35996.jpg" alt="python如何抓取需要扫微信登陆页面"></p><p>按箭头点击到对应工单大块，可以查询到，所有的工单号，工单发起时间，工单标题均在<code><ul id =“ticket-list”></code>这个id下面</p><p><img src="/upload/otherpic18/35997.jpg" alt="python如何抓取需要扫微信登陆页面"></p><p>那么点开一个工单结构，例如工单号ID = “4427” 下面我们需要知道工单号，工单发起时间，工单内容可以看到</p><p>1.工单内容在H3标签下面</p><p>2.工单编号在类=“NUM”下面</p><p>3.工单发起时间在类= “时间” 下面</p><pre>for soups in soup.select('#ticket-list'): if len(soups.select('h4'))>0: id_num = soups.select('.num') star_time = soups.select('.time') h4 = soups.select('h4') print id_num,start_time,h4</pre><p>以上是“python如何抓取需要扫微信登陆页面”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！</p> <br> 网站标题：python如何抓取需要扫微信登陆页面-创新互联 <br> 转载注明：<a href="http://lszwz.com/article/dhcoso.html">http://lszwz.com/article/dhcoso.html</a> </div> </div> <div class="other"> <h3>其他资讯</h3> <ul> <li> <a href="/article/didcdsj.html">不属于css样式的特点 不属于css样式的特点是</a> </li><li> <a href="/article/didcdid.html">c语言程序函数 C语言程序函数返回值调用</a> </li><li> <a href="/article/didcdis.html">linux目录跳转命令 linux怎么跳转到根目录</a> </li><li> <a href="/article/didcdjo.html">mysql图片数据怎么改 mysql图片路径</a> </li><li> <a href="/article/didcdsg.html">mysql控制台怎么粘贴 mysql怎么复制代码</a> </li> </ul> </div> </div> <div class="f_service_con"> <div class="h_fumin"> <div class="h_fumin_lei"> <div class="h_fumin_lei_tu"><img src="/Public/Home/images/f_service01.png"></div> <p>售后响应及时</p><span>7×24小时客服热线</span> </div> <div class="h_fumin_lei"> <div class="h_fumin_lei_tu"><img src="/Public/Home/images/f_service02.png"></div> <p>数据备份</p><span>更安全、更高效、更稳定</span> </div> <div class="h_fumin_lei"> <div class="h_fumin_lei_tu"><img src="/Public/Home/images/f_service03.png"></div> <p>价格公道精准</p><span>项目经理精准报价不弄虚作假</span> </div> <div class="h_fumin_lei"> <div class="h_fumin_lei_tu"><img src="/Public/Home/images/f_service04.png"></div> <p>合作无风险</p><span>重合同讲信誉，无效全额退款</span> </div> </div> </div> <div class="footerbar"> <div class="footer-t"> <div class="f-box"> <div class="f-1"> <div class="f-t"> <h2>联系我们</h2> <span>TEL</span> </div> <div class="f-b"> <h1><a href="tel:13518219792" rel="nofollow">135-1821-9792</a></h1> <h1><a href="tel:028-86922220" rel="nofollow">028-86922220</a></h1> <p>地址：乐山市太升南路288号锦天国际</p> </div> </div> <div class="f-2"> <div class="f-t"> <h2>快捷导航</h2> <span>Shortcut</span> </div> <div class="f-b"> <ul > </ul> <ul > <li><a href="/jianshe" title="乐山网站建设">乐山网站建设</a></li> <li><a href="/jianshe#ym_websiteBox2" title="品牌网站建设">品牌网站建设</a></li> <li><a href="/jianshe#ym_websiteBox1" title="企业网站建设">企业网站建设</a></li> <li><a href="/jianshe#ym_websiteBox4" title="集团网站建设">集团网站建设</a></li> <li><a href="/jianshe#ym_websiteBox4_2" title="外贸网站建设">外贸网站建设</a></li> <li><a href="/jianshe#ym_websiteBox4_5" title="企业宣传视频">企业宣传视频</a></li> </ul> <ul > <li><a href="/weixin" title="微信开发">微信开发</a></li> <li><a href="/weixin#item1" title="公众号开发">公众号开发</a></li> <li><a href="/weixin#item2" title="微商城建设">微商城建设</a></li> <li><a href="/weixin#item3" title="微官网建设">微官网建设</a></li> <li><a href="/weixin#item4" title="小程序开发">小程序开发</a></li> </ul> <ul> <li><a href="/case/" title="网站作品案例">网站作品案例</a></li> <li><a href="/case/" title="品牌网站案例">品牌网站案例</a></li> <li><a href="/case/" title="集团网站案例">集团网站案例</a></li> <li><a href="/case/" title="企业网站案例">企业网站案例</a></li> <li><a href="/case/" title="外贸网站案例">外贸网站案例</a></li> <li><a href="/case/" title="营销网站案例">营销网站案例</a></li> </ul> <ul style="margin:0;"> <li><a href="/about/">小谭建站</a></li> <li><a href="/about/">公司简介</a></li> <li><a href="/about#ab_item3">企业文化</a></li> <li><a href="/contact">联系我们</a></li> <li><a href="/Pay.html">付款方式</a></li> <li><a href="/jianshe#ym_websiteBox8">售后服务</a></li> </ul> <div style="clear:both;"></div> </div> </div> <div class="f-3"> <div class="f-t"> <h2>二维码</h2> <span>QR CODE</span> </div> <div class="f-b"> <ul> <li><img src="/Public/Home/images/fewm.png"> <p>微信公众号</p> </li> <li style="margin: 0"><img src="/Public/Home/images/fewm2.png"> <p>手机端网站</p> </li> <div style="clear:both;"></div> </ul> </div> </div> <div style="clear:both;"></div> </div> </div> <div class="footer-about"> <div class="w1200">乐山小谭建站工作室是一家专注从事于高品质视觉体验及互联网设计开发，<a href="/" target="_blank">乐山网站建设</a>，<a href="/jianshe" target="_blank">乐山网站设计</a>，<a href="/jianshe" target="_blank">乐山网页设计</a>，<a href="/jianshe" target="_blank">乐山网站制作</a>，<a href="/jianshe#ym_websiteBox2" target="_blank">品牌网站建设</a>，<a href="/jianshe#ym_websiteBox3" target="_blank">营销网站建设</a>，<a href="/jianshe#ym_websiteBox4" target="_blank">集团网站建设</a>，<a href="/jianshe#ym_websiteBox1" target="_blank">企业网站建设</a>，<a href="/jianshe#ym_websiteBox4_2" target="_blank">外贸网站建设</a>，<a href="/jianshe#ym_websiteBox4_3" target="_blank">响应式网站建设</a>，<a href="/weixin#item4" target="_blank">小程序开发</a>，<a href="/weixin" target="_blank">微信开发</a>，<a href="/jianshe#ym_websiteBox4_4" target="_blank">企业形象设计</a>，<a href="/jianshe#ym_websiteBox4_5" target="_blank">企业宣传视频</a>等服务，小谭建站位于乐山市龙岗区大运软件小镇，小谭建站拥有经验丰富的高级网站建设工程师和一流的网页高端设计人员，具备各种规模与类型网站建设的雄厚实力，在网站建设领域树立了自己独特的设计风格。 </div> <div class="friend-links"> <h6 class="clearfix"> <span class="tilte">友情链接</span> <a class="exchagne" href="http://wpa.qq.com/msgrd?v=3&uin=631063699&site=qq&menu=yes">交换友情链接</a> </h6> <div class="link-list clearfix"> <div class="link-slider"> <a href="http://www.cdkjz.cn/fangan/cosmetics/" title="化妆品企业网站建设方案" target="_blank">化妆品企业网站建设方案</a> <a href="http://www.4006tel.net/vision/" title="UI设计" target="_blank">UI设计</a> <a href="https://www.xwcx.net/select.html" title="重庆托管服务器" target="_blank">重庆托管服务器</a> <a href="http://www.cdhuace.com/fuwu/huace.html" title="成都画册快印" target="_blank">成都画册快印</a> <a href="http://seo.cdkjz.cn/seo/" title="网站推广" target="_blank">网站推广</a> <a href="http://www.cdfuwuqi.com/jigui/" title="服务器机柜" target="_blank">服务器机柜</a> <a href="http://m.cdcxhl.cn/applets/ " title="小程序开发" target="_blank">小程序开发</a> <a href="http://www.cdxwcx.cn/sheji/" title="成都网站设计" target="_blank">成都网站设计</a> <a href="http://www.xhgfhy.com/ " title="犀浦雨棚定制" target="_blank">犀浦雨棚定制</a> <a href="http://www.scjierui.cn/" title="四川网站建设" target="_blank">四川网站建设</a> </div> </div> </div> </div> <div class="footer-b"> <div class="f-box"> <ul> <li><a href="/jianshe#ym_websiteBox6" target="_blank">服务流程</a></li> <li><a href="/jianshe#ym_websiteBox8" target="_blank">售后服务</a></li> <li><a href="/about/" target="_blank">联系我们</a></li> <li><a href="#" target="_blank">付款方式</a></li> <li><a href="#" target="_blank">网站地图</a></li> <li><a href="#" target="_blank">sitemap</a></li> <li> <p> <script data-cfasync="false" src="/Public/Home/js/email-decode.min.js"></script> </p> </li> <div style="clear:both;"></div> </ul> <p class="copy">Copyright © 2022 青羊区小谭信息技术咨询服务工作室 乐山建站工作室 All Rights Reserved <a href="http://www.miibeian.gov.cn/" target="_blank" rel="nofollow">蜀ICP备2021004003号-25</a> <a style="display:none" target="_blank" href="###"><img style="vertical-align:middle" border="0" src="" width="65" height="25" /></a> </p> <div style="clear:both;"></div> </div> </div> <div class="sj_footer"> <div class="f-box"> <ul> <li><a href="/jianshe" target="_blank">网站建设</a></li> <li><a href="/jianshe#ym_websiteBox6" target="_blank">服务流程</a></li> <li><a href="/jianshe#ym_websiteBox8" target="_blank">售后服务</a></li> <li><a href="#" target="_blank">付款方式</a></li> <li><a href="/about/" target="_blank">关于我们</a></li> <li><a href="#" target="_blank">网站地图</a></li> <div style="clear:both;"></div> </ul> <p class="copy">Copyright © 2022 青羊区小谭信息技术咨询服务工作室 乐山建站工作室 </p> <p class="copy"> <a href="http://www.miibeian.gov.cn/" target="_blank" rel="nofollow">蜀ICP备2021004003号-25</a> <a href="###" target="_blank"><img src="/Public/Home/images/govicon.gif" width="20" height="28" border="0" style="border-width:0px;border:hidden; border:none;"></a></p> <div style="clear:both;"></div> </div> </div> </div> <script type='text/javascript' src='/Public/Home/js/qqkefu.js'></script> <div class="qqkefu"> <ul> <li class="qq_czaa" id="130"><b class="a"></b>135-1821-9792</li> <li class="qq_czaa" id="130"><a href="tencent://message/?uin=1683211881"><b class="b"></b>业务咨询QQ</a></li> <li class="qq_czaa" id="130"><a href="javascript:showDiv()"><b class="f"></b>提交合作意向表</a></li> <li class="qq_czb"> <b class="c"></b> <div class="erweima"> <p><img src="/Public/Home/images/right_erweima.png"></p> </div> </li> <li class="top"><span></span></li> </ul> </div> <div id="popDiv" class="mydiv" style="display:none;"> <a class="mydiv_clk" href="javascript:closeDiv()">X</a> <div class="mydiv_list"> <div class="c_f_title"><span class="c_f_t">合作意向表</span></div> <div class="c_f_con"> <form id="form1" name="form1" class="mess_form" method="post" action="/post_order"> <input name='enews' type='hidden' value='AddFeedback'> <input name="bid" value="1" type="hidden"> <input type="hidden" name="ecmsfrom" value="9"> <input type="hidden" name='title' value="客户提交需求"> <li class="c_n"><span>公司名称</span> <dl><input name='gsname' id='gsname' type="text"></dl> </li> <li class="c_n"><span>邮箱</span> <dl><input name='gemail' id='gemail' type="text"></dl> </li> <li class="c_n xmm"> <div class="xmm_01"><span>姓名</span> <dl class="c_n_i"><input name='name' id='name' type="text"></dl> </div> <div class="xmm_01"><span style="text-align:center">电话</span> <dl class="c_n_i"><input name="tel" type="text"></dl> </div> </li> <li class="c_tser">您需要的服务</li> <li class="clearfix"> <dd><label><input type="radio" name='hobby' id='hobby' value="高端网站建设"><span>高端网站建设</span></label></dd> <dd><label><input type="radio" name='hobby' id='hobby' value="我需要做微信营销"><span>我需要做微信营销</span></label></dd> <dd><label><input type="radio" name='hobby' id='hobby' value="要找长期合作，需要年度服务"><span>要找长期合作，需要年度服务</span></label></dd> <dd><label><input type="radio" name='hobby' id='hobby' value="我需要做购物商城"><span>我需要做购物商城</span></label></dd> <dd><label><input type="radio" name='hobby' id='hobby' value="我需要网站改版"><span>我需要网站改版</span></label></dd> <dd><label><input type="radio" name='hobby' id='hobby' value="其他"><span>其他</span></label></dd> </li> <li class="c_tser">您关注的地方</li> <li class="clearfix"> <dd><label><input type="radio" name='hobby2' id='hobby2' value="对功能要求比较高"><span>对功能要求比较高</span></label></dd> <dd><label><input type="radio" name='hobby2' id='hobby2' value="对设计创意要求比较高"><span>对设计创意要求比较高</span></label></dd> <dd><label><input type="radio" name='hobby2' id='hobby2' value="需要可以购物支付"><span>需要可以购物支付</span></label></dd> <dd><label><input type="radio" name='hobby2' id='hobby2' value="搜索引擎排名"><span>搜索引擎排名</span></label></dd> </li> <li class="c_tser">预算</li> <li class="clearfix clearfix2"> <dd><label><input type="radio" name='hobby3' id='hobby3' value="一万以内"><span>一万以内</span></label> </dd> <dd><label><input type="radio" name='hobby3' id='hobby3' value="1-3万"><span>1-3万</span></label> </dd> <dd><label><input type="radio" name='hobby3' id='hobby3' value="3-5万"><span>3-5万</span></label> </dd> <dd><label><input type="radio" name='hobby3' id='hobby3' value="5万以上"><span>5万以上</span></label> </dd> <dd><label><input type="radio" name='hobby3' id='hobby3' value="需招投标"><span>需招投标</span></label> </dd> </li> <li class="c_n" style="border-top:1px solid #eee; padding-top:10px"><span>验证码</span> <dl class="c_n_i yzmm"><input type="text" name='code' id='code' value=""></dl><span style="text-align:center"><img src="/Public/Home/images/1661eb19783442c38063791555cd0d80.gif" onclick="this.src=this.src + '?'" width="100" height="40"></span> </li> <li class="clearfix"> <dd class="submit"><input name='submit' type="submit" value="提交需求"></dd> </li> </form> </div> </div> </div> <div id="bg" class="bg" style="display:none;"></div> <div id='popIframe' class='popIframe' frameborder='0'></div> <script> //提交需求选项 $(document).ready(function (e) { $(".mess_form").submit(function () { if ($("#gsname").val() == "") { alert("请填写您的公司名称！"); $("#gsname").focus(); return false; } if ($("#gemail").val() == "") { alert("请填写您的邮箱"); $("#gemail").focus(); return false; } if ($("#name").val() == "") { alert("请填写您的姓名！"); $("#name").focus(); return false; } if ($("#tel").val() == "") { alert("请填写您的电话！"); $("#tel").focus(); return false; } if ($("#hobby").val() == "") { alert("请选择您需要的服务！"); $("#hobby").focus(); return false; } if ($("#hobby2").val() == "") { alert("请选择您关注的地方！"); $("#hobby2").focus(); return false; } if ($("#hobby3").val() == "") { alert("请选择您的预算！"); $("#hobby3").focus(); return false; } if ($("#code").val() == "") { alert("请填写正确的验证码！"); $("#code").focus(); return false; } }); }); </script> <script language="javascript" type="text/javascript"> //提交需求窗口 function showDiv() { document.getElementById('popDiv').style.display = 'block'; document.getElementById('popIframe').style.display = 'block'; document.getElementById('bg').style.display = 'block'; } function closeDiv() { document.getElementById('popDiv').style.display = 'none'; document.getElementById('bg').style.display = 'none'; document.getElementById('popIframe').style.display = 'none'; } </script> <script type="text/javascript" src="/Public/Home/js/scrolltopcontrol.js"></script> <script type="text/javascript" src="/Public/Home/js/su_new.js"></script> </body> </html> <script> $(".con img").each(function(){ var src = $(this).attr("src"); //获取图片地址 var str=new RegExp("http"); var result=str.test(src); if(result==false){ var url = "https://www.cdcxhl.com"+src; //绝对路径 $(this).attr("src",url); } }); window.onload=function(){ document.oncontextmenu=function(){ return false; } } </script>
网站设计包含服务
网站制作流程
有效沟通方式
售后服务
+ 品牌创意
+ 宣传视频
+ 大陆官网
+ 外贸官网
+ 移动应用
+ 形象设计
网站建设
网站优化
网站制作
网站制作
网络营销
网站维护
公司简介
我们的观点
为什么选择我们
企业文化
支付方式
联系方式
在线留言
提交意向表
在线客服
来访路线