您现的位置:首页 > 数据库检索 > 中文会议 

面向大数据处理的应用性能优化方法研究

加收藏
  • 【题名】:面向大数据处理的应用性能优化方法研究
  • 【年份】:2019
  • 【作者】:华幸成
  • 【关键词】:大数据应用  性能优化  Hadoop配置参数  数据移动
  • 【摘要】:大数据是随着信息科技的高速发展而产生的独特数据现象,其影响已经深入到人们生活的方方面面。为了获取大数据中蕴含的宝贵价值,需要采用合适的处理方式对海量数据进行处理。其中,MapReduce应用和神经网络应用是目前利用海量数据进行价值发现的代表性手段。对于MapReduce应用,Hadoop是目前最成熟的大数据处理框架,其为MapReduce应用提供了运行环境,并提供了丰富的配置参数对应用的运行进行控制。然而,在缺乏专业知识的情况下,用户难以对这些配置参数进行调优。同时,对于MapReduce应用和神经网络应用,传统体系架构中处理单元与存储单元之间频繁的数据移动限制了系统的性能和能效表现。为有效提升基于MapReduce和神经网络的大数据应用的处理性能,本文从软件框架、系统架构,以及专用加速结构等角度出发,研究大数据应用性能优化的关键核心技术。本文的主要工作和研究成果包括:1)基于性能建模的Hadoop配置参数调优方法。Hadoop中,默认配置下MapReduce应用的性能往往无法达到最优。同时,巨大的配置参数空间也使暴力搜索难有成效。为此,本文首先基于对MapReduce运行流程的分析,采用集成学习的方法构建双层模型对应用程序的性能与Hadoop配置参数之间的关系进行建模。然后,基于性能模型采用元启发式方法对配置参数优化空间进行探索,以寻找最优的配置参数组合。实验结果表明,本文的性能模型可以准确地预测MapReduce应用的运行时间,平均错误率为5.7%;相比于Hadoop默认配置以及现有研究,优化后的配置参数可以使MapReduce应用分别获得平均9.6倍和1.5倍的性能提升。2)基于动态任务迁移的近数据处理方法。为了应对大数据应用中频繁数据移动对系统性能和能耗造成的负面影响,本文基于三维(3D)存储器集成存储与逻辑电路的特点和MapReduce模型的并发特性,提出一种基于动态任务迁移的近数据处理方法。本文对MapReduce应用的工作流解耦以获取核心计算任务,提供迁移机制将计算任务动态迁移到近数据处理单元中运行。实验结果表明,对于MapReduce应用,提出的近数据处理方法将75%的数据移动约束在存储单元内部,有效减少了主处理单元与存储单元之间的数据移动。与现有工作相比,本文提出的近数据处理方法提升了 70%的性能和44%的能效。3)基于忆阻器的卷积神经网络加速方法。本文基于忆阻器同时具有存储和计算能力的特性提出适用于卷积神经网络的存算一体处理方法。基于忆阻器构建存算一体加速模块,设计专用的模块对卷积神经网络计算所需的操作进行支持。重点针对卷积操作,从提升加速模块空间和时间利用率的角度提出混合映射方法。空间上,利用卷积核并行、输入数据复用、输入通道累加等方式提高映射并行度;时间上,根据卷积层的计算量情况,权重被重映射到空闲的加速阵列中,以进行流水线平衡。实验结果表明,对于典型卷积神经网络VGG-16,相比基本模式,提出的混合映射将加速模块的性能提高了 25.1倍;相比现有工作,加速模块的能效提高了 25%。本文对面向大数据处理的应用性能优化方法进行了探索,所提出的设计与优化方法,可以为面向大数据处理的应用性能优化提供参考和解决方案。
  • 【会议名称】:博士
  • 【类别名称】:刘鹏
  • 【载体】:浙江大学
  • 【会议地点】:2019
相关文献
基于辽宁高速公路综合运营管理平台数据在指挥调度领域应用探讨
数据在税收征管中应用及问题研究
数据在税收征管中运用及存在问题研究
空间地理信息数据在智慧城市时空数据云平台建设中应用
铁路工程施工中软土地基实地处理方法应用
基于ICM法三维壳结构疲劳拓扑优化设计方法研究
基于数据环境下市场比较法对住宅项目定价研究
基于边缘计算高精度地图数据处理方法研究现状
数据背景下B公司营销策略案例研究
数据视角下基于文本挖掘电商问答系统持续使用意向研究
获取此文方式
登录后才能存到网盘,
请登录
下载请求:
   

说明:点击”存到网盘“按钮即收取费用,重复点击不收费,如果下载失败,我们会自动转为文献传递方式处理,稍侯请关注您网盘上该文献的信息,从网盘上下载该文献不用重新付费。