批量计算(BatchCompute,Batch)是为有大数据计算业务的企业、科研单位等提供高性价比且易用的计算服务。批量计算 Batch 可以根据用户提供的批处理规模,智能地管理作业和调动其所需的最佳资源。有了 Batch 的帮助,您可以将精力集中在如何分析和处理数据结果上。

腾讯云 Batch 提供了海量批处理作业的计算服务。Batch 是开发人员、科学家和工程师用来处理大量计算资源的常见方法。作为一项完全安全的托管服务,Batch 使开发人员、科学家和工程师能够运行任意规模的批处理计算工作负载。

您可以使用控制台或命令行,SDK 等多种管理工具来启动、监控或终止您的批量计算。

Batch 不收取任何额外费用,您只需为存储和运行您的批处理任务而创建的资源付费。调度作业过程中会根据用户配置来创建 CVM 实例,CVM 实例以按量计费模式收费。

功能

批量处理 Batch 提供系统自动完成资源管理,作业调度和数据加载等多种强大功能,极大提高使用效率。

精细任务定义

使用 Batch,用户需要指定批处理任务需要的云服务器配置、镜像以及需要执行的代码或命令,Batch 将按照配置的信息来调度资源和启动计算任务。

  • 定义云服务器配置
    指定云服务器的 CPU、内存、磁盘大小等信息。

  • 定义执行镜像
    指定批处理任务依赖的执行环境,支持以 CVM 镜像和 Docker 的方式来指定执行环境。

  • 运行命令行和参数
    批量处理 Batch 创建好云服务器和完成镜像部署后,将会执行用户指定的命令行并添加用户配置的参数。

存储挂载

Batch 支持将常见的云存储服务挂载到本地的能力,用户在操作云存储产品上的文件与在本地操作文件无差别,在海量并发访问情况下保证每个节点的访问速度,实现快速访问文件。Batch 支持对象存储 COS 挂载,用户在 Batch 的任务定义里配置需要挂载的 COS 地址,以及需要挂载到的本地地址,Batch 在计算节点启动时会自动进行挂载操作。

任务依赖关系建模

Batch 可定义不同任务之间的依赖关系,还支持一个任务里启动多个实例完成计算任务。如您需要处理的任务可分为两个不同的阶段,每个阶段需要的资源不同。利用 Batch 的任务依赖功能,您可以创建两个不同资源需求的任务,其中下一个任务依赖于上一个任务。

  • DAG 流程编辑
    可以通过 DAG 语法,来给多个批处理任务设置依赖关系,使多个批处理共同组成一个批处理作业。

  • 多实例并发
    在任务配置里可以指定实例数目,同时可以通过环境变量的方式,让不同实例获取自己的实例序号,并发协同完成一个大型分析任务。www.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cn


  • 名称: 批量计算Batch
  • 关键词: 批量计算Batch,分布式计算,大规模计算