云 HDFS(Cloud HDFS,CHDFS)为您提供标准 HDFS 访问协议,您无需更改现有代码,即可使用高可用、高可靠、多维度安全、分层命名空间的分布式文件系统。 只需几分钟,您就可以在云端创建和挂载 CHDFS,来实现您大数据存储需求。随着业务需求的变化,您可以实时扩展或缩减存储资源,CHDFS 存储空间无上限,满足您海量大数据存储与分析业务需求。此外,通过 CHDFS,您可以实现计算与存储分离,极大发挥计算资源灵活性,同时实现存储数据永久保存,降低您大数据分析资源成本。  

腾讯云 CHDFS 为您提供标准 HDFS 访问协议,让您使用起来就像在 Hadoop 分布式文件系统(Hadoop Distributed File System)中管理和访问数据;卓越性能,满足您大数据分析的性能需求;同时提供分层命名空间,实现原子目录操作,满足您大数据存储与分析业务需求;通过权限 ACL、VPC 方式、接入 CAM 三种方式来保障 CHDFS 上数据安全。

功能

Hadoop 兼容访问

通过提供标准 HDFS 访问协议,让您就像在 Hadoop 分布式文件系统 (Hadoop Distributed File System) 中管理和访问数据,简化客户使用。

多重安全保障

通过支持权限 ACL,实现授权地址和访问类型控制;通过 VPC 方式,实现网络访问隔离;同时接入 CAM,实现不同账号授权,满足复杂授权模型;通过以上方式来保障 CHDFS 上数据安全。

计算与存储分离

在腾讯云大数据套件EMR或者在 CVM/CPM2.0 搭建 Hadoop,实现大数据计算分析,而将存储数据放在 CHDFS,实现计算与存储分离,计算资源灵活使用,数据永久保存在 CHDFS 上。

云 HDFS(Cloud HDFS,CHDFS)是腾讯云一种提供标准 HDFS 访问协议、卓越性能、分层命名空间的分布式文件系统。

CHDFS 主要解决大数据场景下海量数据存储和数据分析,能够为大数据用户在无需更改现有代码的基础上,将本地自建的 HDFS 文件系统无缝迁移至具备高可用性、高扩展性、低成本、可靠和安全的 CHDFS 上。

通过在腾讯云平台创建 CHDFS,即可在腾讯云多个 CVM、CPM 2.0或者容器等计算资源内通过 HDFS 协议接口访问 CHDFS,从而实现文件的访问及共享。

产品优势

易于使用

通过使用 CHDFS,可以极大降低维护本地 HDFS 成本,同时应用程序无需任何更改,仅仅通过修改相关配置项即可无缝迁移上云。
CHDFS SDK 可以在所有 Apache Hadoop 2.x 环境中使用,同时也支持在腾讯云大数据套件 EMR 产品中使用。

无限容量

CHDFS 存储空间无上限,满足客户海量大数据存储与分析,同时可以进行存储容量的动态扩缩容。

卓越性能

通过提供原子目录操作的分层命名空间,实现海量大数据处理时优异的存储性能。

多维度安全

CHDFS 提供多维度安全机制来保障数据安全:

  • 通过权限 ACL,实现授权地址和访问类型控制。

  • 通过 VPC 方式,实现网络访问隔离。

  • 接入 CAM,实现不同账号授权,满足客户安全且精细化的管理需求。

应用场景

CHDFS 主要适用于大数据分析及机器学习这类高数据吞吐量要求的业务场景。

针对大数据分析及机器学习场景,CHDFS 提供了高吞吐数据访问能力,通过计算与存储分离方式,可以极大的发挥计算资源的灵活性,同时实现存储数据永久保存,降低客户大数据分析及机器学习的资源成本。

所有通过自建 HDFS 存储服务的业务场景,尤其是大数据 Hadoop 离线分析类业务场景,均可使用 CHDFS 来进行适配。

www.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cn

内测期间,使用 CHDFS 有哪些限制?

  • 单用户最多创建1个 CHDFS。

  • 单个 CHDFS 最大50TB,若需要更大的存储容量,请 提交工单 申请,我们将进行评估。

可以跨地域访问 CHDFS 吗?

不能,目前只支持在 VPC 网络内,通过同地域访问 CHDFS。

使用 CHDFS 有 hadoop 环境要求吗?

所有 Hadoop 2.x 版本都可以使用。

CHDFS 支持并发读写同一个文件吗?

CHDFS 支持并发读同一个文件,但是同一个时刻,只支持一个客户端写同一个文件。


  • 名称: 云HDFS
  • 关键词: 云HDFS,云存储,腾讯云
标签: 云HDFS 云存储