一种自适应的分布式数据流处理调整技术

马元文王鹏周之敏汪卫 · 2015

阅读量：85

数据流查询

期刊名称：

计算机工程 2015 年 12 期

摘要：

由于数据流速率的不稳定特性,将数据流查询部署在固定数量的结点上会导致分布式数据流管理系统(DDSMS)难以高效地利用计算资源。为此,针对目前支持一个结点运行多个实例模式的DDSMS,提出一种基于操作符组的自适应动态调整技术,包含桶机制的路由管理、生成调整策略和调整执行计划等方法。通过监控当前执行计划的运行状态,DDSMS生成代价较小的调整策略,并对当前执行计划进行调整。在数据流处理的基准测试数据上进行实验,结果表明,该调整技术可以更加细粒度地制定调整策略,灵活应对数据流速率的变化。