Snova 数据仓库(下文简称 Snova)为您提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。Snova 兼容 Greenplum 开源数据仓库,是一种基于 MPP(大规模并行处理)架构的数仓服务。借助于 Snova,您可以使用丰富的 PostgreSQL 开源生态工具,实现对 Snova 中海量数据的即席查询分析、ETL 处理及可视化探索;还可以借助 Snova 云端数据无缝集成特性,轻松分析位于 COS、TencentDB、ES 等数据引擎上的 PB 级数据。

Snova 数据仓库(下文简称 Snova)为您提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。Snova 兼容 Greenplum 开源数据仓库,是一种基于 MPP(大规模并行处理)架构的数仓服务。借助于 Snova,您可以使用丰富的 PostgreSQL 开源生态工具,实现对 Snova 中海量数据的即席查询分析、ETL 处理及可视化探索;还可以借助 Snova 云端数据无缝集成特性,轻松分析位于 COS、TencentDB、ES 等数据引擎上的 PB 级数据。

  • Snova 以集群为基本使用单位,一个用户可以拥有多个集群,一个集群通常由2个 master 节点和不少于2个的计算节点组成。单集群随着计算节点的增加,容量和性能将线性提升。

  • Snova 按提供计算和存储能力的节点规格和数量进行收费,包含按量计费和包月计费两种方式。

功能

Snova 为您提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。

操作简单

使用 Snova 数据仓库服务,您能够快速在云端搭建 TB 级-PB 级数据仓库,无需关注集群的管理以及繁重的运维工作。通过在控制台的操作,即可实现集群管理、监控维护等工作。Snova 支持 ANSI SQL 2008 标准,使用标准 SQL 即可对数仓中的数据以及 COS 中的数据进行分析。

弹性扩容

使用 Snova 云控制台或通过调用云 API,可对 Snova 数据仓库的节点进行扩容,提升分析能力,以应对业务增长等场景。 Snova 对节点对扩容,会提升包括 CPU、内存、存储空间的能力,并实施数据倾斜等策略,以保证新扩节点的快速使用。

数据传输

Snova 支持 COS 云存储,可对 COS 中数据直接进行分析。对云上产品如 CDB、CKafka、流计算等产品中的数据支持直接高速导入。Snova 兼容业界 PostgreSQL 生态,可使用业界的工具或方案实现数据的传输。

高性能

Snova 基于分布式大规模并行处理 MPP 框架,可线性扩展存储及计算能力。支持行列混合存储,可按业务需求选择最佳存储方案。通过对硬件、软件、算法等多维度进行加速,优化查询效率。

安全性

Snova 中节点会自动配备一份备份,以此实现故障转移以及容灾备份。同时提供了机柜、服务器、计算单元的三重防护,提高基础设施的安全性。对每个用户的集群都支持 VPC 隔离,保障数据的访问安全。

Snova 数据仓库(简称 Snova)为您提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。Snova 兼容 Greenplum 开源数据仓库,是一种基于 MPP(大规模并行处理)架构的数仓服务。借助于 Snova,您可以使用丰富的 PostgreSQL 开源生态工具,实现对 Snova 中海量数据的即时查询分析、ETL 处理及可视化探索;还可以借助 Snova 云端数据无缝集成特性,轻松分析位于对象存储(COS)、TencentDB、Elasticsearch Service(ES)等数据引擎上的 PB 级数据。

产品优势

弹性伸缩

提供便利的弹性扩容能力,通过云控制台或云 API 简单操作便可以实现数百节点的伸缩或变配。可根据业务需求,选择计算单元、CPU、内存、存储空间的等比扩展,提高性能以适配业务的发展。

简单易用

通过控制台操作,即可实现集群管理、监控维护等工作,无需关注底层基础设施的繁重运维工作。完全支持 ANSI SQL 2008 标准,使用标准 SQL 即可构建企业级数据仓库。支持直接查询 COS 数据,无需提前数据预加载。

无缝集成

支持 COS 云存储扩展,实现存储空间的无限扩展。搭配多种工具及方案支持多源数据(例如:传统关系型数据库、Ckafka、流计算等)高速导入,实现对云端多源数据的汇聚分析。

性能卓越

基于分布式大规模并行处理 MPP 框架,可线性扩展存储及计算能力。支持行列混合存储,可按业务需求选择最佳存储方案。查询引擎深度优化,查询效率数倍于传统数据仓库。

安全可靠

双节点同步冗余,实现用户无感的故障转移和容灾备份。分布式部署,计算单元、服务器、机柜三重防护,提高重要数据基础设施保障。用户集群独立部署,支持 VPC 隔离,数据访问安全多重保障。

经营分析决策

在金融、零售等领域,需要对销售、资产、供应链等业务数据进行汇总分析,以便通过数据掌握公司经营情况,提高决策精准度及效率。
通过同步或 ETL 工具将分散在 CDB、Oracle、PostgreSQL 中的数据导入到 Snova 中,利用其对多源异构数据的分析能力,辅助业务决策。
www.ksyuwei.cn

海量日志分析

在互联网金融、游戏、O2O 等领域,经济高效地分析 PB 级用户行为、系统日志、订单等结构化或半结构化数据。
可先将海量数据直接存放于对象存储 COS 中,无需提前导入到 Snova 数据仓库,只需编写 SQL 便能对 COS 中数据进行快速分析及应用。
www.ksyuwei.cn

用户行为实时洞察

在互联网、游戏领域,对用户的行为进行实时分析、优化运营策略、提升资源运营效率。
可结合流计算服务,将用户实时操作数据进行过滤排序、汇聚分析 ,然后将结果实时同步到 Snova 数据仓库,借助于云数仓强大的 SQL 分析能力和查询效率,快速感知玩家行为趋势并及时调整运营策略。
www.ksyuwei.cn

2019.01.21

Snova 1.4.0 版本发布,支持在管理控制台配置访问黑名单,并通过控制台管理资源队列。

2018.12.13

Snova 1.3.0 版本发布,支持多种实例规格的预付费和后付费,Snova 进入公测阶段。

2018.11.12

Snova 1.2.0 版本发布,支持在管理控制台创建外网 IP,并配置访问白名单。

2018.10.10

Snova 1.1.0 版本发布,支持在管理控制台一键扩容,并与 SCS(流计算)打通,用户可以在 SCS 控制台进行配置将数据实时导入 Snova。

2018.08.06

Snova 1.0.0 版本发布,支持使用标准规格节点创建数仓集群,可在管理控制台管理集群、查询集群基础性能监控数据,支持查询分析 COS 数据。

  • 计算密集型:规格名称以 nc 开始,可以提供更好的 I/O 能力,带来更高的性能。

  • 存储密集型:规格名称以 ns 开始,可以提供更大、更实惠的存储空间,满足更高的存储需求。

在选择节点规格时,建议您根据需要的存储空间和计算能力进行选择。
同时,Snova 支持基于 COS 的外部表扩展,并可通过 gzip 实现外部存储上的数据压缩,不需要参与实时计算的数据可以存放到外部存储中以进一步降低存储成本。

节点规格列表

节点规格CPU(核)内存(GB)存储量(TB)存储类型
nc.large4160.16SSD
nc.4xlarge16640.64SSD
ns.large8321.6HDD

Snova 集群架构图如下图所示,采用 Shared-Nothing 的大规模并行处理架构,其中 Master 一主一备,分布在两台机器上。
www.ksyuwei.cn

  • Master 节点:
    Master 节点不存储业务数据,只存储数据字典,负责生成、分发 SQL 执行计划到每个 Segment 节点,同时负责与客户端的交互及权限认证。

  • Segment 节点:
    Segment 节点负责存储业务数据并执行由 Master 节点分发的 SQL 语句,同时为了保证每一个 Segment 服务在同一个性能水平上,每一个 Segment 节点机器有相同的资源配置,扩容时不作机型的改变。

为了保证集群高可用,每一个 Segment 节点上分别放置一个当前节点的 Primary Segment 和一个其他节点的 Mirror Segment 作为对应的备节点。当 Segment 节点不可用时,将采用镜像节点代替。当 Master 节点不可用时会自动切换至备 Master 节点(Standby Master),以保持集群可用状态,主节点恢复启动后会自动同步变更。

集群所有的业务数据存放于所有 Segment 节点的数据库上,每一张数据表都会被切片存放于各个 Segment 节点中,当进行分析时,所有 Segment 节点同时工作计算自己部分的数据,从而大大提升计算效率。

Snova 支持数据备份及恢复功能,在开启数据备份后,每个 Segment 节点会创建包含重建数据命令的转储文件,在 Master 节点会创建几个包含系统目标、元数据文件、DDL 语句等信息的转储文件。在数据恢复时,所有的 Segment 都同时从本地备份文件恢复数据。

www.ksyuwei.cn

www.ksyuwei.cn



www.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cnwww.ksyuwei.cn

www.ksyuwei.cn

什么是 Snova 数据仓库集群?

集群是 Snova 的基本使用单位,一个集群通常由2个 Master 节点和多个计算节点组成。用户根据业务需求可在多地建立多个集群。

什么是计算节点?

计算节点是集群的基本存储和计算单元,每个集群计算节点数不少于2个,随着计算节点增加,集群的容量和性能将线性提升。

什么是节点规格?

节点规格是计算节点的资源配置,包括 CPU、内存、磁盘等,不同节点规格性能和存储量不同。

可以在哪些地域及可用区使用 Snova 数据仓库?

目前支持北京、上海、广州、新加坡4个地域,建议您选择和数据源一致的地域。

支持哪些来源的数据?

支持将 CDB、CKafka、EMR 等云产品中的数据无缝导入到 Snova 数据仓库中进行分析计算。

是否支持机器学习?

Snova 数据仓库暂不开放机器学习的扩展库。


  • 名称: Snova数据仓库
  • 关键词: Snova数据仓库,企业级云端数据仓库,海量数据分析,腾讯云