给计算节点分配工作量

我们设计的新颖之处在于采用了支持MapReduce的流媒体方法。启东SMT贴片加工静态地将工作负载分配给计算节点，例如标准的MapReduce设置可能会使非对称计算节点上的有限非计算资源饱和并抵消性能。相反，我们将输入工作单元的大小取决于集群层次结构的每个别上的后端节点，以及将切片流式传输到计算节点，然后可以处理。能力意识的工作量分配传统的MapReduce设计不考虑个体组件功能，因为它们假设同质组件作为计算节点。但是，我们的设计具有何时考虑后端资源的功能分配工作量。对于自我管理的资源或驱动程序在其他配置中，此任务很简单。的管理器对输入数据进行划分并将其移交给节点直接管理。实际分配是由将数据复制到节点的本地存储或为它们提供指向分布式文件上文件的指针系统。这种方法易于实现且轻巧对于管理员来说，因为管理员不需要对加速器进行微观管理。但是，由于潜在的限制（如无法直接检索数据，文件上的瓶颈），数据切换无法用于资源受限的节点系统，或没有的存储和内存来容纳本地副本。我们采用的另一种方法是将将数据输入块中，并根据功能保护大小计算节点。我们的运行时环境控制着这些块的大小，以便可以地每个块在计算节点上处理而不会压倒它们资源，例如，没有内存跳动。代替数据的单一划分，运行时环境流块（工作单元）到计算节点，直到数据已处理。令人担忧的是，这种方法以以下为代价增加了计算节点上的性能增加经理的负担