一种存储优化的分布式图处理方法
施展 冯丹 单玉祥 李君浩 毛艳 张芸怡 方交凤 · 2017
收藏
阅读量:268
专利权人:
华中科技大学
申请人:
华中科技大学
通讯地址:
华中科技大学
专利类型:
发明专利
专利号:
CN107122248A
摘要:
本发明公开了一种基于存储优化的分布式图处理方法,属于图计算领域。本发明包括:数据预处理阶段进行数据划分;分发图分区数据;开始数据迭代处理;更新消息传递;工作节点扩展决策;数据处理结束。本发明提出使用一致性哈希算法对图数据进行分区和存储,并设计实现了基于外存模式的分布式图处理系统,利用动态存储优化的策略,根据负载调整图的分区存储,实现图数据处理负载平衡,加快图数据处理速度,解决现有技术存在的负载不平衡,在图数据处理过程中造成热点而引起的总体性能下降问题,从而提高图处理的性能。
相关专家
相关课题