代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

爬虫如何爬取大众点评团购信息的

发布时间:2019-04-02 16:54:59 来源:互联网

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需要的标签信息。

爬虫如何爬取大众点评团购信息的


代码如下:


def getDealInfo(list,url,refer):


    path="D://deal_info.txt"


    headers=["团购id","团购名称","原价","团购价","销量","单项名称","单项数量","单项单价"]


    for id in list[:3]:  #数据太多,这里选前三条做demo


        try:


            info=[]


            deal_url=url+id


            html=getHtmlText(deal_url,refer)


            soup=BeautifulSoup(html,"html.parser")


 


            #爬取团购名称,原价,团购价,销量等信息


            main_info=soup.find("div",attrs={"class":"setmeal-box J_setmeal-box"})


            name=main_info.find("li")


            data=eval(name.attrs["data-eval-config"])#将字符串转换成字典格式


            info.append(id)#团购id


            info.append(data["title"])#团购名称


            info.append(data["marketPrice"])#原价


            info.append(data["price"])#团购价


            info.append(data["sold"])#销量


 


            #爬取团购里包含的各个项目的名称、单价等信息


            detail_info=soup.find("table",attrs={"class":"detail-table"})


            head=detail_info.find("thead")


            head_list=head.find_all("th")


            value=detail_info.find("tbody")


            value_list=value.find_all("td")


            item_num = int(len(value_list) / 3 - 1)  # 三个为一组减去最后一组价格组    num表示团购项目中单项的数量


            for i in range(item_num):


                for j in range(len(head_list)):


                    info.append(re.sub(r'[\r\n" "]', "", value_list[3 * i + j].text))  # 用正则表达式去除多余的\r\n和空格


            saveInfo(info,path,headers)


 


        except:


            # 显示错误信息


            traceback.print_exc()


            Continue


通过以上代码,我们就可以获得大众点评的相关团购信息了,比如:团购名称、价格、销量等。需要注意的是,在抓取数据的时候,我们要注意一下,被抓取的网站有没有对爬虫进行限制。如果有限制可以加一个请求头完全模拟浏览器的请求,也可以使用挂机精灵代理IP软件,换新的ip就能继续爬取数据了。


相关资讯

为了营销批量注册账号,IP更换是如何操作的?

很多用户在做问答营销时都遇到过这些情况,比如在一些网站上面批量注册帐号、发布留言评论,或在使用一些即时通讯软件频繁发送消息等等这些行为都会遇到系统的IP限制,限

来源:互联网

2019-02-26 17:38:59

如何判断IP是否是网站真实IP?

我们自己搭建代理IP时,我们很难判断IP是是否是网站真实IP,那么小编在这里教大家几个判断方法。1、Nslookup法黑客一般nslookup想要查的域名,若是

来源:互联网

2019-02-27 15:25:16

如何才能更好的挂机手游?使用挂机精灵

手游给人带来很乐趣,令人烦恼的是,手游漫长的练级的过程,解决这个烦恼的方法就是手游挂机,让其自动升级打怪。那么,如何才能玩手游呢?使用挂机精灵即可。如何才能更好

来源:互联网

2019-02-28 14:22:13

如何在游戏代练中提高效率呢?

随着王者荣耀、英雄联盟、地下城与勇士....许多游戏的火热,出现了一个新兴职业,那就是游戏代练。有的或是因为技术不行达不到段位而找代练,有的人因为搬砖太累而找代

来源:互联网

2019-03-01 16:39:20

如何获取《阴阳师》妖刀姬刀舞战风皮肤,挂机精灵帮你!

《阴阳师》手游中SSR式神妖刀姬的最新皮肤——刀舞战风,并确定将通过商店购买的形式实装,售价预计约210点券。还没攒够皮肤券的小伙伴赶快下载挂机精灵,24小时挂

来源:互联网

2019-03-04 14:42:07

如何谨慎使用HTTP代理IP ?

在互联网应用逐渐广泛的今天,http代理IP给我们的工作生活带来了很大的方便,所以,http代理IP的产品代理商也是逐渐增加,很多用户陷入了选择困难症中,不知道

来源:互联网

2019-03-18 15:55:16

如何高效获取大数据?ip代理:用爬虫!

在不同的操作系统中,Python存在细微的差别,因此有几点您需要牢记在心。这里小编使用的是Python3版本。Python自带一个在终端窗口中运行的解释器,让您

来源:互联网

2019-03-22 16:27:55

爬虫如何爬取大众点评团购信息的

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需

来源:互联网

2019-04-02 16:54:59

代理ip地址隐藏自己的IP 保护隐私!

  代理ip地址隐藏自己的IP保护隐私!人们隐藏他们的IP地址的一个主要原因是,他们想在不被追踪的情况下浏览网页信息、下载一些资料等等,当然

来源:互联网

2019-02-15 16:29:03

ip代理工具怎么选择

ip代理工具怎么选择?大家都知道,现在市场上关于ip代理工具的类型非常多,因为现在人们对于ip的需求非常多。对于纷繁复杂的工具很多人都不知道如何进行正确的选择。

来源:挂机精灵

2019-06-19 15:25:35