基于分布式并行计算框架的海量数据增量处理方法研究
CSTR:
作者:
作者单位:

(1. 国网浙江省电力有限公司 丽水供电公司,浙江 丽水 323000;2. 国网浙江电力有限公司 平湖市供电公司,浙江 平湖 315300;3. 浙江华云信息科技有限公司,杭州 310000;4. 国网浙江电力有限公司 慈溪市供电公司,浙江 慈溪 315300)

作者简介:

杨世旺(1989),男,浙江丽水人,硕士学位,研究方向为微网技术研究与应用、电力大数据应用。

通讯作者:

中图分类号:

TM769;TK018

基金项目:


Study on massive data incremental processing method based on distributed parallel computing framework
Author:
Affiliation:

(1. Lishui Power Supply Company, State Grid Zhejiang Electric Power Co., Ltd., Lishui 323000, China;2. Pinghu Power Supply Company, State Grid Zhejiang Electric Power Co., Ltd., Pinghu 315300, China;3. Zhejiang Huayun Information Technology Co., Ltd,. Hangzhou 310000, China;4. Cixi Power Supply Company, State Grid Zhejiang Electric Power Co., Ltd., Cixi 315300, China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着大数据时代的到来,各大企业已经陆续建设数据仓库,如何提升海量数据处理的效率逐渐成为数仓应用中的重要问题。分析了企业大数据平台现状,提出了基于分布式并行计算框架的数据增量处理方法,并基于此方法对海量增量数据处理进行了实践,验证结果表明,该方法提升了数据处理效率,增强了企业数据仓库数据处理的准确性。

    Abstract:

    With the arrival of the era of big data, how to improve the efficiency of mass data processing is more important in the application of enterprise data warehouse. Based on the analysis of the current situation of data sharing application platform of electric, a data incremental processing method based on a distributed parallel computing framework is proposed, and the practice of massive incremental data processing is carried out based on this method. Verification results show that the problem of low data processing efficiency is solved, and the accuracy of data processing in enterprise data warehouse is enhanced.

    参考文献
    相似文献
    引证文献
引用本文

杨世旺,钟雨星,杨春晨,孙明铎,施焕健.基于分布式并行计算框架的海量数据增量处理方法研究[J].电力需求侧管理,2019,21(S1):04-06

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-07-24
  • 最后修改日期:2019-08-15
  • 录用日期:
  • 在线发布日期: 2023-05-15
  • 出版日期:
文章二维码