智能钛弹性模型服务(Tencent Intelligence Elastic Model Service,TI-EMS)是具备虚拟化异构算力和弹性扩缩容能力的无服务器化在线推理平台,能够帮助客户解决模型部署复杂、资源浪费、手工扩展资源效率低下的问题。客户通过使用智能钛弹性模型服务可以实现模型一键部署,自动调整弹性计算资源。同时,智能钛弹性模型服务具备多模型支持、版本管理和灰度升级等丰富完善的功能,其内置的 CPU/GPU 推理加速镜像为客户提供高性能、高性价比推理服务。 

智能钛弹性模型服务 TI-EMS 是具备虚拟化异构算力和弹性扩缩容能力的无服务器化在线推理平台,能够帮助客户解决模型部署复杂、资源浪费、手工扩展资源效率低下的问题。客户通过使用智能钛弹性模型服务可以实现模型一键部署,自动调整弹性计算资源,在保障线上业务稳定运行的同时节约成本。同时智能钛弹性模型服务具备的多模型支持、版本管理和灰度升级等丰富完善的功能使得客户能够轻松地对线上模型服务进行运维管理和监控。

功能

智能钛弹性模型服务 TI-EMS 提供一键部署、自动弹性扩缩容、细粒度算力分配等功能。

一键部署不同类型模型

支持 CPU、GPU 算力虚拟化,可以一键部署不同类型的机器学习模型和深度学习模型。

自动弹性扩缩容

支持手动或自动调整弹性实例扩展策略,根据业务负载情况,动态实时自动管理实例数量,以最合适的实例数量应对业务情况。

细粒度算力分配

智能钛弹性模型服务可以提供小至0.1核级粒度的算力,通过细粒度算力分配提供高性价比服务。

优化加速

智能钛弹性模型服务支持模型和框架的优化加速,可以提升模型服务运行效率,提供极致推理性能。

版本管理

智能钛弹性模型服务支持模型多版本管理,使用智能钛弹性模型服务可以对模型的不同版本进行静态配置的管理。

灰度升级

智能钛弹性模型服务的部署管理可以轻松实现带有流量管理功能的灰度发布,用户可以方便地在智能钛弹性模型服务上进行 A/B testing。

智能钛弹性模型服务(Tencent Intelligence Elastic Model Service,TI-EMS)是具备虚拟化异构算力和弹性扩缩容能力的无服务器化在线推理平台,能够帮助客户解决模型部署复杂、资源浪费、手工扩展资源效率低下的问题。客户通过使用智能钛弹性模型服务可以实现模型一键部署,自动调整弹性计算资源。同时,智能钛弹性模型服务具备多模型支持、版本管理和灰度升级等丰富完善的功能,其内置的 CPU/GPU 推理加速镜像为客户提供高性能、高性价比的推理服务。

异构算力虚拟化

CPU、GPU 算力虚拟化,一键部署不同类型的机器学习模型和深度学习模型,为用户提供最佳推理服务。

自动弹性扩缩容

您可以选择手动或自动调整弹性实例扩展策略,TI-EMS 会根据业务负载情况,动态、实时、自动管理实例数量,帮助您以最合适的实例数量应对业务情况,为您免去人工部署负担。

模型服务 QoS 保障

TI-EMS 可以帮助您及时发掘线上模型服务的瓶颈,并提供可靠的扩展策略,从而保障您的线上服务正常运行。

高性价比

TI-EMS 可以为您提供小至1/10核级粒度的算力,通过细粒度算力分配,让您随时随地享受高性价比服务体验。

优化加速

TI-EMS 支持模型和框架的优化加速,提升模型服务运行效率,为您提供优质的推理性能。

功能完善

TI-EMS 提供丰富的多模型支持、版本管理和灰度升级等使用功能,为您的各类业务保驾护航。

实时翻译

实时翻译场景下,线上业务需要应对可能的实时高请求量,TI-EMS 可快速响应并针对性地弹性扩容,高吞吐,低延迟,保障高 QPS 线上业务平稳运行。

图像分类

在大规模图像处理场景(如图像分类业务)中,TI-EMS 可以全面利用异构资源池,结合模型加速优化和框架优化技术,提高大规模图像处理服务在线推理效率。

语音识别

随着语料库的不断更新,语音识别业务面临着服务的快速更迭,TI-EMS 通过多模型支持,版本管理,支持在线灰度升级,高效应对业务的快速稳定迭代。

www.ksyuwei.cn

www.ksyuwei.cn



www.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cn

TI-EMS 是什么?

TI-EMS 是一个模型服务平台,用户可以在平台上部署自己的模型,并且可以根据自身业务的特点进行服务的弹性伸缩配置。

为什么要使用 TI-EMS?

借助 TI-EMS,您只需规定模型服务的基本配置和扩展要求,无需进行集群管理或任何基础设施管理,因此可以专注于模型服务的管理和业务情况的监控。

TI-EMS 是如何体现高性价比的?

TI-EMS 的计算资源非常灵活,用户在进行模型服务配置的时候可以按照业务需求进行弹性伸缩策略设置,使得计算资源可以跟随业务的变化进行灵活的扩展,从而提高资源利用率。

TI-EMS 是如何使用的?

首先您需要对您的模型进行基本实例单元的资源配置,其次在启动模型服务的时候根据实际业务需求选择是否添加实例扩展策略(支持手动扩展和自动扩展),最后启动模型服务并进行监控。


  • 名称: 智能钛弹性模型服务TI-EMS
  • 关键词: 智能钛弹性模型服务,模型服务,弹性伸缩,腾讯云