存储网关(Cloud Storage Gateway,CSG)是一种混合云存储方案,可以帮助企业或个人实现本地存储与公有云存储的无缝衔接。您可以使用存储网关进行数据备份与存档、灾难恢复、数据处理与分发、冷热数据分层和数据迁移。存储网关 CSG 支持使用 NFS、CIFS/SMB 等标准存储协议。您无需担心多协议本地存储设备与云存储的兼容性,只需要在本地安装存储网关即可实现混合云部署,拥有访问速率媲美本地性能的海量云端存储。使用 CSG,您可以节省额外的硬件投入和运维成本,便于扩展您的业务。

功能

腾讯云存储网关提供协议转换、存储资源分配、访问快速、快照及数据恢复等功能。

协议转换

支持将 RESTful API 的公有云存储作为 iSCSI 存储、NFS/SMB/CIFS 文件存储或虚拟磁带库存储(VTL)直接挂载到本地网络中,即装即用。对于已经部署基础设施的企业来说,接入公有云不再需要改变现有网络结构,也无需开发对齐网络程序的接口,使用云存储网关 CSG 即可接入公有云,享受海量云端存储的低价及弹性。

加速访问

存储网关通过缓存优化算法,将经常访问的热数据存储到本地存储,而较冷数据自动传输到云端存储。相比直接连接公有云,您可以更迅速获取常用数据。同时,通过利用云端弹性存储,本地仅需提供快速访问的缓存所需存储空间,更有效地节省在基础设施和运营维护上投入的成本。

快照及数据恢复

您可以定期执行快照,以便备份变动中的卷存储内容到云端数据中心。若企业本地存储发生意外或需要恢复历史数据,您可以随时从快照恢复可挂载到网关或云服务器的卷,还原指定时刻数据。

网络资源调节

存储网关 CSG 会将本地数据压缩后再上传到云端,优化传输效率;还支持自定义时间段的上行/下行速率限制,实现定时进行数据上传,帮助您更合理地利用企业出口带宽资源,节约数据传输成本。

各类存储网关特性及场景说明

网关类型存储协议特性及适用场景
卷网关iSCSI块存储(卷),用户通过卷来存储数据。适用于混合云工作负载、异地容灾等场景。
文件网关NFS(另有 SMB 协议)文件存储(NAS),可配置用户自己的 COS Bucket,通过网关提供的 NFS 协议读写存储在 COS 上的数据,适用于数据处理及 PGC 内容分发等场景。
磁带网关Iscsi(VTL)虚拟磁带库(VTL),可搭配 NBU 等备份软件使用。成本低廉,适用于数据归档、冷备等场景。

什么是存储网关

存储网关(Cloud Storage Gateway)是一种混合云存储方案,旨在帮助企业或个人实现本地存储与公有云存储的无缝衔接。您无需关心多协议本地存储设备与云存储的兼容性,只需要在本地安装云存储网关即可实现混合云部署,并拥有媲美本地性能的海量云端存储。

网关类型

卷网关

在客户本地网络环境中或公有云环境中部署卷网关后,可以将 COS 作为 Internet 小型计算机系统接口(iSCSI)设备挂载到本地应用程序服务器上。卷网关不仅保持了对热数据访问的低延时,在为用户节省大量主数据存储费用的同时还在最大程度上减小了对于本地存储扩展的需求。

文件网关

在客户本地网络环境中或公有云环境中部署文件网关后,可以将 COS 作为网络文件系统 (NFS) 供多个服务器挂载。文件网关免去了用户自行安装文件系统的步骤,用户可以使用 POSIX 文件协议读写 COS 上的对象,同时通过网关上传到 COS 的文件可以搭配 CDN、语音识别、OCR、Mapreduce 等人工智能/大数据服务。

另有支持 CIFS/SMB 协议的网关,数据读写只能通过存储网关操作。如有需要,请 提交工单 申请试用。

磁带网关

在客户本地网络环境中或公有云环境中部署磁带网关后,可以将 CAS(归档存储)作为更经济持久的存储存放备份及归档数据。磁带网关提供了虚拟磁带基础设施(VTL),可根据您的业务需求在本地网络环境中无缝扩展,并可免去对物理磁带库的预配置、扩展和运营维护成本。

产品功能

协议转换

支持将 RESTful API 的公有云存储作为 iSCSI 存储、NFS/SMB/CIFS 文件存储或虚拟磁带库存储(VTL)直接挂载到本地网络中,即装即用。对于已经部署基础设施的企业来说,接入公有云不再需要改变现有网络结构,也无需开发对齐网络程序的接口,使用云存储网关 CSG 即可接入公有云,享受海量云端存储的低价及弹性。

加速访问

存储网关通过缓存优化算法,将经常访问的热数据存储到本地存储,而较冷数据自动传输到云端存储。相比直接连接公有云,您可以更迅速获取常用数据。同时,通过利用云端弹性存储,本地仅需提供快速访问的缓存所需存储空间,更有效地节省在基础设施和运营维护上投入的成本。

快照及数据恢复

您可以定期执行快照,以便备份变动中的卷存储内容到云端数据中心。若企业本地存储发生意外或需要恢复历史数据,您可以随时从快照恢复可挂载到网关或云服务器的卷,还原指定时刻数据。

网络资源调节

存储网关 CSG 会将本地数据压缩后再上传到云端,优化传输效率。还支持配置上行/下行速率限制,帮助您更合理地利用企业出口带宽资源,节约数据传输成本。

即装即用

云存储使用 HTTP Restful 的接口,而企业的应用程序或存储系统通常采用传统协议,无法直接访问云存储服务。使用云存储网关 CSG,您仅需下载包含存储网关的云服务器,即装即用,无需二次开发,也无需新增机架空间、供电或冷却等设备,即可将公有云存储挂载为本地 iSCSI 存储或者 NFS 存储。

海量存储

存储网关 CSG 提供海量的数据存储。单个卷/单个文件系统最大1PB,单网关最多挂载4096个卷,支持 Resize 功能。同时,通过缓存机制,实现冷热数据分离,将经常读取的热数据缓存在本地,而较冷数据根据网络配置异步同步到云端。这样,用户或程序既可以享受本地磁盘和网络的性能,平衡访问延时,又可以同时拥有云端无限存储的能力。

经济高效

您无需为硬件设施及日常运维付费,云存储根据使用量收取费用,没有最低使用限制,可随时无限扩容。卷快照每次仅保存增量部分,节省所需存储空间。

安全持久

数据在本地经过分块、压缩、加密后再传到云端,保持了数据的安全性和完整性。而由 COS 和 CAS 提供的云端存储,采用3份存储或纠删码技术,持久性达到99.999999999%,保护所有数据的稳定和安全。

存储资源分配

拓展本地 NAS 和 SAN 存储阵列不光需要耗费机器成本和人力部署成本,对存储架构设计本身也是挑战。而使用存储网关 CSG 将云存储接入到本地存储系统架构后,若您需要数据迁移、大数据分析等需求或面临业务数据激增时,就可以自动协调混合云存储工作负载。

冷热数据分离

业务数据均存储在本地设备上不仅费用较高,维护起来也比较麻烦。
存储网关 CSG 的热缓存功能,支持自动把对访问性能要求较高的热数据缓存到本地、将延迟不敏感的较冷数据上传到云端保存,实现数据的冷热分离。同时,冷、热数据比例变化时,亦可随时按需扩展或收缩本地缓冲区与云端存储的比例,降低使用成本。

备份及归档

数据上传到云端存储后,云端数据会以1.33份进行保存以保持数据的持久性。同时,用户通过制定定期快照计划可实现各个版本数据的备份及归档。

灾难恢复

您可以对卷拍摄快照,并将这些快照存储到腾讯云对象存储 COS 中,并可使用这些快照恢复可挂载到云存储网关的卷。当使用中的系统遇到意外时,您只需在云服务器或另一个数据中心上重新配置网关,还原快照数据,即可继续运行。

数据处理及分发

通过文件网关上传到 COS 对象存储中的文件,支持与其他腾讯云产品联动,包括 CDN 加速、优图处理、音视频转码、文件预览等组件,提供「存储 + 处理」一体化解决方案。

网关

用户本地运行的代理程序,根据用户选择的网关类型将 COS 或 CAS 转换为本地 iSCSI / NAS / VTL 存储设备。

卷网关提供的块存储空间,一个网关最多可挂载4096个卷,每个卷大小上限为1P。

文件系统

可将 COS 的 bucket 作为文件系统,每个文件网关可支持4096个文件系统。

磁带

可挂载到磁带网关的存储空间,一个网关最多可挂载7200个磁带,每个磁带大小上限为4TB。

快照

快照是腾讯云提供的一种数据备份方式,通过对指定卷进行完全可用的拷贝,使该备份独立于卷的生命周期。快照包括卷在拷贝开始的时间点的映像。腾讯云将以冗余的方式把用户创建的快照以分布式方式存储在 COS 上,从而进一步确保了备份的可靠性。快照属于增量备份,这意味着仅保存设备上在最新快照之后有更改的数据,这将尽可能缩短创建快照所需的时间,且可以节省存储成本。快照将作为最终存储量的一部分进行计费。
用户可以基于快照创建新的卷,这样新建的卷在初始状态就具有快照中的数据,是原始卷的精确副本。快照可以跨地域进行卷的恢复,但是由于需要跨地域拷贝数据,因此跨地域从快照恢复卷需要收取跨地域复制的费用。

存储网关磁盘

为存储网关配置磁盘,用于缓存写入数据、经常读取数据以及文件元数据信息。

缓存

本地存储(本地磁盘、DAS、SAN)中用来存放频繁访问的热数据的存储空间。卷网关及磁带网关需要设置该项目。

上传缓冲区磁盘

本地存储(本地磁盘、DAS、SAN)中暂存待上传内容的存储空间。卷网关、磁带网关、文件网关均需要设置该项目。

元数据磁盘

本地存储(本地磁盘、DAS、SAN)中,存储文件系统上保存文件的元数据信息。文件需要设置该项目。

稳定模式/高速模式

卷网关提供 "稳定" 和 "高速" 两种工作模式。两种模式区别如下,可以根据业务场景来灵活选择。

  • 高速模式:数据先写入内存,然后从内存写入磁盘。写入后即返回写入结果,适合响应速度要求较高的场景。但该模式由于是写入内存即返回成功,在数据写入到磁盘之前,如果遇到异常掉电等情况可能会造成内存中缓存数据丢失。

  • 稳定模式:数据直接写入磁盘。写入结果的返回会有一个落入磁盘的时间差,但是该模式数据写入后稳定性高,异常掉电等情况也可以从磁盘中进行数据恢复。

归档

使用磁带网关时,用户可以将不再需要频繁读取数据的磁带从 COS 中转移到 CAS 中存储,称之为磁带归档。数据存储至 CAS 中之后,将以归档磁带收取存储费用,从而进一步降低备份数据的存储成本。

取回

如果需要读取已经归档的磁带中的数据,需要将已归档磁带从 CAS 中取回到 COS 中,取回的磁带为只读(不可写)。

运行系统及网络带宽要求

以下是存储网关运行的系统最低配置和推荐配置。

注意:

如果系统低于最低机器配置要求,存储网关可能无法正常运行。

网关类型最低机器配置推荐机器配置磁盘配置
卷网关4核 CPU/8GB 内存/4Mbps 带宽8核 CPU/16GB 内存/10Mbps 带宽最少2块10G 以上磁盘
文件网关4核 CPU/4GB 内存/8Mbps 带宽8核 CPU/16GB 内存/120Mbps 带宽最少2块10G 以上磁盘
磁带网关4核 CPU/8GB 内存/4Mbps 带宽8核 CPU/16GB 内存/10Mbps 带宽最少2块10G 以上磁盘
高IO版网关(高速上传、适合于有专线连接的情况)8 核 CPU/64GB 内存/400Mbps 带宽-无需配置磁盘

CSG 客户端及网络环境要求

  1. 由于卷网关/磁带使用 iscsi 协议,因此对来访的客户端与存储网关部署的网络有如下要求:
    a. 客户端及卷网关需要同时在公网或都在内网上(网卡上必须绑定 IP)。
    b. 客户端及网关需要同时在腾讯云上(腾讯云服务器外网 IP 未绑定网卡)。

  2. 文件网关由于使用 NFS 协议,客户端可以使用 NFS 协议通过公网挂载并访问。但是,由于 NFS 协议传输未加密,处于安全考虑,不建议您的客户端与文件网关通过公网互联。

内存与本地磁盘限制关系

由于内存会限制网关的读写性能,因此,请根据网关所在虚机的内存大小配置 "缓存" 和 "上传缓冲" 磁盘。限制关系如下(文件网关无该限制)。

内存缓存磁盘上限(可多块磁盘)上传缓冲磁盘上限(可多块磁盘)
4GB(最低配置)8TB4TB
8GB16TB8TB
16GB32TB16TB
32GB64TB32TB

注意:

由于 VMware 版本限制,ESXi 5.5以下版本(不含),单个磁盘容量上限为 2TB;ESXi 5.5及以上版本单个磁盘容量上限为8TB。

本地磁盘容量推荐设置

为了让您的存储网关处于最佳的性能,建议按照您每日需要上传的数据量设置网关的上传网络带宽及用于 "上传缓冲" 的本地磁盘。同时,需要根据您对热数据读取的需求配置您的 "缓冲" 本地磁盘。

注意:

小于10GB 的磁盘不能用作 "缓存" 、 "上传缓冲区" 或 "元数据" 磁盘。

卷网关和磁带网关

项目推荐容量
本地带宽x上传时间长大于每日上传数据量
上传缓冲磁盘大于每天上传数据量
缓存磁盘大于频繁读取数据预估量
缓存磁盘:上传缓冲磁盘大于 1.5:1

例如,本地每日产生500GB 数据需要上传,并且存储网关于每日 20:00 至 06:00 上传。推荐带宽量不低于 120Mbps, 同时本地需要提供大于 500GB 磁盘作为 "上传缓冲"。 若经常读取的数据为最近 7 天的,则本地最少需要分配 7 * 500GB= 3.5TB 磁盘作为 "缓存" 。

文件网关

项目推荐容量
本地带宽x上传时间长大于每日上传数据量
缓存磁盘用于存储待上传数据及读取到本地的热数据,容量 > 每天上传数据量+频繁读取数据预估量
元数据磁盘1GB 容量可支持10万个文件,每块元数据磁盘中有512MB 空间为作为系统预留。建议按照文件系统中预计文件数量的1.2倍配置元数据磁盘。

例如,有十亿个文件存储在 COS 的 bucket 上,当用户配置该 bucket 到本地存储网关,因此推荐用户配置最小 10TB 元数据盘,但为了后续预留增长空间,建议元数据盘配置为12TB。若每日新增数据 100GB 且出口带宽每日都能上传完这100GB 数据,则本地配置120GB 磁盘为 "上传缓冲区"。

网络及网关安全组

为了保障数据安全、防止来自公网的 iSCSI 或 NFS 连接,建议运行存储网关服务的主机配置如下安全组:

端口协议用途开放建议
22 端口TCP使用该端口通过 SSH 访问并管理 CSG 主机可以选择性对内部网络内的主机开放
80 端口TCP使用该端口激活网关需要对 登录腾讯云控制台执行激活存储网关操作的主机 开放(如果是使用腾讯云 CVM ,只需要使用外网 IP 激活即可)
3260 端口TCP使用该端口连接卷对需要挂载卷的客户端开放
111,662,892,2049,8082,32803 端口TCP使用该端口连接文件系统对需要挂载文件系统的客户端开放
111,662,892,2049,32769 端口UDP使用该端口连接文件系统对需要挂载文件系统的客户端开放

注意:

使用 CVM 创建网关时,建议优先选择基础网络;如果使用 VPC 网络,网关可能会出现无法上传的情况(网关需要上传数据到COS, 而客户的 VPC 与 COS 之间可能会出现网络不通的情况)。

注意事项

重启及关机注意事项

注意:

直接重启云服务器、物理机或者机器掉电,可能会导致本地上传缓冲区数据不一致,从而导致机器重启后存储网关无法正常工作。

当存储网关在使用中时,请务必通过存储网关控制台来停止服务。操作完成后,当控制台上该网关处于停止状态后,再重启运行 CSG 的云服务器或者物理机。

如果一旦发生这种情况,导致网关无法正常工作,请及时 提交工单。

存储网关主机密码

为了保障您的存储网关程序后续能够正常升级以及与云端通讯,请不要修改存储网关主机的密码。若修改密码,可能会导致网关无法正常服务。


www.ksyuwei.cn

www.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cn

CSG 支持哪些平台上运行?

用户本地服务器,腾讯云 CVM。

CSG 如何与腾讯云连接?

可以根据实际上传、下载的需求使用公网、VPN 或者专线直连。

部署存储网关的主机异常关机时该怎么办?

如果没有通过正常程序关闭网关(例如异常掉电、直接重启或者关掉网关所在的机器。正常关机需要通过控制台发起 "停止网关" 操作),可能会导致网关无法正常启动,或者数据丢失。发生这些异常情况时,为了保障未上传的缓存数据,请立即 提交工单。

网关处于 "待配置" 状态,无法启动怎么办?

若网关在列表中仍然处于 "待配置" 状态,可以单击启动按钮,来启动存储网关。如果网关无法正常启动,请检查以下配置。

  • 网关的主机配置低于4核4G 时会造成网关无法启动,请扩容主机。

  • 缓存磁盘和上传缓冲区磁盘处于未配置状态时会造成网关无法启动,请为主机添加2块10GB 以上的磁盘,同时设置缓存区为上传缓冲区容量的1.5倍。

为什么网关主机上磁盘未出现在 "本地磁盘" 列表中?

本地磁盘列表仅会列出大于等于10GB 的磁盘,小于10GB 的磁盘不会出现在该列表中。

在购买 CVM 时所选择的云硬盘如何挂载?

由于运行存储网关的主机不提供 root 用户权限,因此在创建 CVM 流程中购买的云硬盘无法使用,需要到云服务器系统中发起挂载。建议在创建 CVM 时不要同时购买数据盘,而是在创建 CVM 完成后,在 CVM 控制台的 "云硬盘" 页面新建磁盘并挂载。

CIFS 或 SMB 文件系统挂载时目录被锁该怎么办?

若从多台机器使用相同帐号和密码访问同一文件系统,系统会视这一类操作为非法行为,因而拒绝访问。若有需要,请分别使用不同的帐号和密码登录不同主机来访问同一个文件系统。

CSG 客户端及网络环境有哪些要求?

  1. 由于卷网关和磁带使用 iscsi 协议,因此对来访的客户端与存储网关部署的网络有如下要求:
    a. 客户端及卷网关需要同时在公网或都在内网上(网卡上必须绑定 IP)。
    b. 客户端及网关需要同时在腾讯云上(腾讯云服务器外网 IP 未绑定网卡)。

  2. 文件网关由于使用 NFS 协议,客户端可以使用 NFS 协议通过公网挂载并访问。但是,由于 NFS 协议传输未加密,处于安全考虑,不建议您的客户端与文件网关通过公网互联。


  • 名称: 存储网关CSG
  • 关键词: 存储网关CSG,混合云存储,云存储网关,腾讯云