SPARK大数据计算BUG处理：

大数据计算BUG处理：

创新互联专注于武山网站建设服务及定制，我们拥有丰富的企业做网站经验。热诚为您提供武山营销型网站建设，武山网站制作、武山网页设计、武山网站官网定制、成都微信小程序服务，打造武山网络公司原创品牌,更为您提供武山网站排名全网营销落地服务。

程序修改前资源情况：

Driver : 1台

Worker : 2台

程序提交申请内存资源： 1G内存

内存分配情况：

1. 20%用于程序运行

2. 20%用于Shuffle

3. 60%用于RDD缓存

单条TweetBean大小： 3k

1. 内存溢出

原因：因为程序会把所有的TweetBean查询出来并且合并(union)，该操作在内存中进行。则某个campaign数据量较大时，如500W数据，则500W*10k=50G，超出内存限制。

解决方法：先按数据量切分task，避免单个task有很多数据造成内存溢出。把所有的task切分完成放到task列表中。循环task列表，当取出的task的数据量大于200000时，合并所有的数据并拆分成16个RDD分片。循环取task列表直至结束。

批量取200000数据的原因：200000*3k=600M，两台机器可用于程序运行的内存=2（机器数）* 2G（程序申请的内存大小） * 0.2（用于程序运行的内存比例） = 800M，可以满足存储200000数据，避免内存溢出。

2. 运行缓慢

原因：因为两台机器，每台机器可用于shuffle的内存大小 = 2（机器数）* 1G（程序申请的内存大小）* 0.2（用于程序运行的内存比例）= 400M。

200000（批量处理的数据量）* 3k（单条TweetBean大小）= 600M，批量Shuffle的数据量大于机器可用内存，所以数据会Flush到硬盘，导致读取数据缓慢。

解决方法：调整程序Shuffle可用内存,如下：

程序申请内存资源：2G

内存分配情况：

1. 20%用于程序运行

2. 60%用于Shuffle

3. 20%用于RDD缓存

分享名称：SPARK大数据计算BUG处理：
当前网址：http://lszwz.com/article/geeoss.html

其他资讯

售后响应及时

7×24小时客服热线

数据备份

更安全、更高效、更稳定

价格公道精准

项目经理精准报价不弄虚作假

合作无风险

重合同讲信誉，无效全额退款

乐山小谭建站工作室是一家专注从事于高品质视觉体验及互联网设计开发，乐山网站建设，乐山网站设计，乐山网页设计，乐山网站制作，品牌网站建设，营销网站建设，集团网站建设，企业网站建设，外贸网站建设，响应式网站建设，小程序开发，微信开发，企业形象设计，企业宣传视频等服务，小谭建站位于乐山市龙岗区大运软件小镇，小谭建站拥有经验丰富的高级网站建设工程师和一流的网页高端设计人员，具备各种规模与类型网站建设的雄厚实力，在网站建设领域树立了自己独特的设计风格。

友情链接交换友情链接

成都免费自助建站东方电机技改服务有限公司南充电信机房托管网站优化公司造型师设计南充网站建设 seo网络营销推广免备案虚拟主机空间 H5建站自适应网站

Copyright © 2022 青羊区小谭信息技术咨询服务工作室乐山建站工作室 All Rights Reserved 蜀ICP备2021004003号-25

Copyright © 2022 青羊区小谭信息技术咨询服务工作室乐山建站工作室

蜀ICP备2021004003号-25