期刊鉴别 论文检测 免费论文 特惠期刊 学术答疑 发表流程

一种高效的遥感数据处理集群调度算法研究(2)

时间:2016-06-24 10:22 文章来源:http://www.lunwenbuluo.com 作者:方鑫 周珂 严运广 陈 点击次数:

  ⑵

  公式⑵中,r是各项参数的权值因子,反映各个参数所占的权值大小,首先设置各参数的权值相同,即r={0.25,0.25,0.25,0.25},然后根据多次周期性实验,给出一组相对最优的系数r={0.3,0.2,0.2,0.3},在实际处理过程中,该参数可以根据系统运行情况做调整,以达到最佳的效果。公式⑵中的Li是通过计算节点各种参数获取到的一个加权值,代表某个计算节点的负载量,根据负载量Li的大小,生成计算节点的队列,Li越小,优先级越高。

  由此得到了两个队列,一个是面向任务的调度队列,另一个是面向计算节点的调度队列。根据各自队列中任务和计算节点的优先级的高低,开始处理任务。

  2算法流程

  排列出任务队列和计算节点队列,将任务队列中队首任务分配到计算节点队列中队首节点,然后实时监控各节点负载情况,再进行计算节点排队,任务队列队首任务再次匹配计算节点队列队首节点,循环往复,完成集群系统平台上任务的双向动态匹配。算法流程如图1所示。

  3实验分析

  对实验结果进行对比分析,该任务调度算法在中国科学院遥感与数字地球研究所开发的集群处理系统中进行实验,集群处理系统由8台相同配置的机器组成,软硬件环境基础配置如表2所示。

  [开始][启动任务监控][进行任务分析][作业权重][根据待处理任务基本信息和先验值][根据权重对任务

  进行排序][生成任务队列][计算各计算节点

  负载量][根据负载量大小

  生成计算节点队列][任务队列和计算节点队列进行动态匹配,处理任务,并反馈处理信息到调度节点][开始]

  实验中选择高分一号卫星的瓦片数据(按照五层十五级标准对遥感原始影像经过预处理做分割后的数据),生产遥感产品中的归一化植被指数产品(NDVI产品)。当有5个,10个,20个,40个,80个任务到来的时候进行试验,分别用已有的双匹配动态模型算法和本文提出的结合先验值的动态双向实时匹配算法进行处理,得到数据如图2所示。

  分析图2中算法一,其实验结果代表集群系统采用的传统的先来先服务算法在处理NDVI产品时,不同任务量情况下所花费的时间;分析算法二,其实验结果代表本文提出的结合先验值的动态双向实时匹配算法在处理不同数量的NDVI产品时,所花费的时间,由实验结果对比分析可知:当任务量为5的时候,该算法与传统的算法相比,并不具备优越性,由于传统算法并不需要对任务和节点机的信息进行收集和处理,所以略显优越性,而随着任务量的增加,该算法的调度性能体现出较明显的优势。

  4结束语

  任务调度方法是集群调度系统的关键组成部分。本文提出结合先验值的动态双向实时匹配算法,该算法在充分考虑任务等待时间,计算节点的负载情况等多种因素下,结合任务先验值,做出更准确的任务调度,在提高系统处理效率的同时,避免了计算节点的资源浪费;通过仿真实验,在同等软硬件环境下,本文提出的调度算法比集群系统已有先来先服务算法具有更高的处理效率,执行时间更短,在遥感数据处理过程中更具有使用价值。下一步的工作是继续改进本文提出的任务算法,针对已有的双向动态匹配算法进行比较分析。

  参考文献(References):

  [1]史园莉,申文明,熊文成等.遥感数据集群处理作业调度管理系统研究[J].计算机工程与应用,2012.48(25):77-82

  [2]郑逢斌,张哲,余涛等.一种支持多任务高效处理的遥感产品生产线架构研究[J].计算机科学,2012.39(S3):181-184

  [3]夏家莉,陈辉,杨兵.一种动态优先级实时任务调度算法[J].计算机学报,2012.35(12):2685-2695

  [4]龚跃,张真真,黄小珂等.基于动态双向优先级的任务分配与调度算法[J].计算机应用,2009.29(4):1131-1134

  [5]张丽晓,袁立强,徐炜民.基于任务类型的集群调度策略[J].计算机工程,2004.30(13):63-64

  [6]苏蕊,徐炜民,钱晓竞.基于双向匹配模型的任务调度策略的研究[J].计算机工程与设计,2005.26(8):2045-2047

  [7]熊泽时,李代平.一种有效的动态任务分配方法[J].计算机技术与发展,2007.17(4):175-177

  [8]卓家靖,孟晨.任务与资源双向匹配的动态任务调度策略研究[J].计算机工程与应用,2010.46(13):66-69

  [9]李永峰,周敏奇,胡华梁.集群资源统一管理和调度技术综述[C]//华东师范大学“数据科学与工程”论坛内存计算数据管理主题报告会,2014.

  [10]程世辉,张林.先来先服务(FCFS)调度算法响应时间的计算[J].河南教育学院学报:自然科学版,2006.15(3):20-22

  [11]郑晓薇,项明,张大为等.基于节点能力的Hadoop集群任务自适应调度方法[J].计算机研究与发展,2014.51(3):618-626

  [12]王强,王宏安,金宏等.实时系统中的非定期任务调度算法综述[J].计算机研究与发展,2004.41(3):385-392

 

  •   论文部落提供核心期刊、国家级期刊、省级期刊、SCI期刊和EI期刊等咨询服务。
  •   论文部落拥有一支经验丰富、高端专业的编辑团队,可帮助您指导各领域学术文章,您只需提出详细的论文写作要求和相关资料。
  •  
  •   论文投稿客服QQ: 论文投稿2863358778 论文投稿2316118108
  •  
  •   论文投稿电话:15380085870
  •  
  •   论文投稿邮箱:lunwenbuluo@126.com

联系方式

  • 论文投稿客服QQ: 论文投稿2863358778
  • 论文投稿客服QQ: 论文投稿2316118108
  • 论文投稿电话:15380085870
  • 论文投稿邮箱:lunwenbuluo@126.com

热门排行

 
QQ在线咨询
咨询热线:
15380085870
微信号咨询:
lunwenbuluoli