如何用python进行静态爬虫及地址经纬度转换,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
创新互联专业为企业提供昆明网站建设、昆明做网站、昆明网站设计、昆明网站制作等企业网站建设、网页设计与制作、昆明企业网站模板建站服务,十载昆明做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。
“ 下面通过一个小例子,展示了用python进行静态爬虫的方法,并且将爬取下来的城市列表,通过调用百度地图api,返回对应经纬度。”
requests和bs4
1,requests.get():将网页上的数据全部抓取下来。
2,BeautifulSoup():在调用了requests.get()以后,可以通过调用BeautifulSoup()来对代码进行解析。此时生成一个BeautifulSoup对象,针对这个对象,find_all函数可以帮助查找相应标签,get_text函数可以返回对象中文字内容。
百度地图api申请
调用百度地图api接口,输入地址信息,得到对应经纬度坐标。申请接口AK操作如下:
1,进入百度地图开放平台官网并注册,网站地址:http://lbsyun.baidu.com/
2,点击“申请密钥”,填写个人信息,注册邮箱
3,在控制台中,点击“创建应用”,自定义应用名称,选择合适的“应用类型”,本例中通过浏览器调用,因此选择“浏览器端”。IP白名单中,如不想对IP进行限制,可写0.0.0.0/0
4,提交后,应用列表里,“访问应用(AK)”一栏,就是申请的密钥
代码实例
python2与python3语法上略有不同,本例为python3下运行代码。
1,加载相应模块
 2,定义爬虫函数
打开我们要爬取的网页,如下图:
页面上点击右键查看网页源码,发现城市列表都记录在p标签中,因此我们可以通过找到p标签,来获得相应文字位置。
本例中,我们抓取一、二线城市,爬虫函数代码如下:
3,定义地址转经纬度函数
首先观察,通过api调用,返回地址经纬度的格式:
可见,经纬度信息存放在p标签内。接下来,通过对api调用结果内容的爬取,定义地址转换经纬度函数:
4,定义程序入口
最终,部分返回结果如下:
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。
售后响应及时
7×24小时客服热线数据备份
更安全、更高效、更稳定价格公道精准
项目经理精准报价不弄虚作假合作无风险
重合同讲信誉,无效全额退款