大数据

| 首页 | 文章 | 下载 | 图片 | 论坛 | 留言 | 自选风格 |

您现在的位置：晨光科技 >> 文章 >> 技术 >> IT >> 正文

大数据

大数据

［作者：佚名转贴自：本站原创点击数：17 更新时间：2023/6/6 文章录入：LA ］

[注：本站登载的某些文章并不代表本站支持或反对其观点或肯定其真实性]

运行环境

架构

Spring Boot框架

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。
Spring框架是Java平台上的一种开源应用框架，提供具有控制反转特性的容器。尽管Spring框架自身对编程模型没有限制，但其在Java应用中的频繁使用让它备受青睐，以至于后来让它作为EJB（EnterpriseJavaBeans）模型的补充，甚至是替补。Spring框架为开发提供了一系列的解决方案，比如利用控制反转的核心特性，并通过依赖注入实现控制反转来实现管理对象生命周期容器化，利用面向切面编程进行声明式的事务管理，整合多种持久化技术管理数据访问，提供大量优秀的Web框架方便开发等等。Spring框架具有控制反转（IOC）特性，IOC旨在方便项目维护和测试，它提供了一种通过Java的反射机制对Java对象进行统一的配置和管理的方法。Spring框架利用容器管理对象的生命周期，容器可以通过扫描XML文件或类上特定Java注解来配置对象，开发者可以通过依赖查找或依赖注入来获得对象。Spring框架具有面向切面编程（AOP）框架，SpringAOP框架基于代理模式，同时运行时可配置；AOP框架主要针对模块之间的交叉关注点进行模块化。Spring框架的AOP框架仅提供基本的AOP特性，虽无法与AspectJ框架相比，但通过与AspectJ的集成，也可以满足基本需求。Spring框架下的事务管理、远程访问等功能均可以通过使用SpringAOP技术实现。Spring的事务管理框架为Java平台带来了一种抽象机制，使本地和全局事务以及嵌套事务能够与保存点一起工作，并且几乎可以在Java平台的任何环境中工作。Spring集成多种事务模板，系统可以通过事务模板、XML或Java注解进行事务配置，并且事务框架集成了消息传递和缓存等功能。Spring的数据访问框架解决了开发人员在应用程序中使用数据库时遇到的常见困难。它不仅对Java:JDBC、iBATS/MyBATIs、Hibernate、Java数据对象（JDO）、ApacheOJB和ApacheCayne等所有流行的数据访问框架中提供支持，同时还可以与Spring的事务管理一起使用，为数据访问提供了灵活的抽象。Spring框架最初是没有打算构建一个自己的WebMVC框架，其开发人员在开发过程中认为现有的StrutsWeb框架的呈现层和请求处理层之间以及请求处理层和模型之间的分离不够，于是创建了SpringMVC。

Flink
Flink是一个对有界和无界数据流进行状态计算的分布式处理引擎和框架。通俗地讲，Flink就是一个流计算框架，主要用来处理流式数据。其起源于2010年德国研究基金会资助的科研项目“Stratosphere”，2014年3月成为Apache孵化项目，12月即成为Apache顶级项目。Flinken在德语里是敏捷的意思，意指快速精巧。其代码主要是由 Java 实现，部分代码由 Scala实现。Flink既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型。

HDFS

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

数据库

MongoDB

MongoDB是一个介于关系数据库和非关系数据库之间的产品，由C++语言编写。是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

HBase

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

MySQL

MySQL是一个关系型数据库管理系统，关系数据库将数据保存在不同的表中，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。
所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型和大型网站的开发都选择 MySQL 作为网站数据库。

Oracle公司（甲骨文）
Oracle开发的关系数据库产品因性能卓越而闻名，Oracle数据库产品为财富排行榜上的前1000家公司所采用，许多大型网站也选用了Oracle系统，是世界最好的数据库产品。

PostgreSQL

PostgreSQL是加州大学计算机系开发的一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统（RDBMS），有很多在大型商业RDBMS中所具有的特性，包括事务、子选择、触发器、视图、外键引用完整性和复杂锁定功能。另一方面，PostgreSQL也缺少商业数据库中某些可用的特性，如用户定义的类型、继承性和规则。
PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外，因为许可证的灵活，任何人都可以以任何目的免费使用、修改和分发PostgreSQL。

MPP DB
MPP DB，它是一款 Shared Nothing 架构的分布式并行数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统。

MPP 具备以下技术特征：
1) 低硬件成本：完全使用 x86 架构的 PC Server，不需要昂贵的 Unix 服务器和磁盘阵列；
2) 集群架构与部署：完全并行的 MPP + Shared Nothing 的分布式架构，采用 Non-Master 部署，节点对等的扁平结构；
3) 海量数据分布压缩存储：可处理 PB 级别以上的结构化数据，采用 hash分布、random 存储策略进行数据存储；同时采用先进的压缩算法，减少存储数据所需的空间，可以将所用空间减少 1~20 倍，并相应地提高 I/O 性能；
4) 数据加载高效性：基于策略的数据加载模式，集群整体加载速度可达2TB/h；
5) 高扩展、高可靠：支持集群节点的扩容和缩容，支持全量、增量的备份/恢复;
6) 高可用、易维护：数据通过副本提供冗余保护，自动故障探测和管理，自动同步元数据和业务数据。提供图形化工具，以简化管理员对数据库的管理工作；
7) 高并发：读写不互斥，支持数据的边加载边查询，单个节点并发能力大于 300 用户；
8) 行列混合存储：提供行列混合存储方案，从而提高了列存数据库特殊查询场景的查询响应耗时；
9) 标准化：支持 SQL92 标准，支持 C API、ODBC、JDBC、ADO.NET 等接口规范。

NoSQL

NoSQL，泛指非关系型的数据库，区别于关系数据库，它们不保证关系数据的ACID特性。随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。
NoSQL有如下优点：易扩展，NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。无形之间也在架构的层面上带来了可扩展的能力。大数据量，高性能，NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。
分类
键值(Key-Value)存储数据库
这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果数据库管理员(DBA)只对部分值进行查询或更新的时候，Key/value就显得效率低下了。举例如：Tokyo Cabinet/Tyrant， Redis， Voldemort， Oracle BDB。
列存储数据库
这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。如：Cassandra， HBase， Riak.
文档型数据库
文档型数据库的灵感是来自于Lotus Notes办公软件的，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储，比如JSON。文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值，在处理网页等复杂数据时，文档型数据库比传统键值数据库的查询效率更高。如：CouchDB， MongoDb. 国内也有文档型数据库SequoiaDB，已经开源。
图形(Graph)数据库
图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)，因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如：Neo4J， InfoGrid， Infinite Graph。

s3
S3 Simple Storage Service 简单存储服务
S3理论上是一个全球存储区域网络 (SAN)，它表现为一个超大的硬盘，您可以在其中存储和检索数字资产。但是，从技术上讲，Amazon 的架构有一些不同。您通过 S3 存储和检索的资产被称为对象。对象存储在存储段（bucket）中。您可以用硬盘进行类比：对象就像是文件，存储段就像是文件夹（或目录）。与硬盘一样，对象和存储段也可以通过统一资源标识符（Uniform Resource Identifier，URI）查找。
在我的硬盘中，我有一个名为 whitepaper.pdf 的文件，它位于主目录中名为 documents 的文件夹中。相应的，该 pdf 文件的 URI 为 /home/aglover/documents/whitepaper.pdf 。在 S3 中，URL 有一点不同。首先，存储段只能是顶级的 — 无法像嵌套硬盘中的文件夹（或目录）一样进行嵌套。其次，存储段必须遵循 Internet 命名法则；句点旁边没有斜杠，名称不包括下划线等等。最后，由于存储段名称已经是 Amazon 域内的 (s3.amazonaws com) 公共 URI 的一部分，存储段名称必须在所有 S3 中是惟一的。（好消息是每个帐户只能包含 100 个存储段，因此不用担心别人占用了所有的好名字）。
存储段在 S3 中是 URI 的根。也就是说，存储段的名称将是指向 S3 中某个对象的 URI 的一部分。例如，如果我有一个名为 agdocs 的存储段以及一个名为 whitepaper.pdf 的对象，URI 将是：//agdocs.s3.amazonaws.com/whitepaper.pdf 。

Membase
Membase是NoSQL家族的一个新的重量级成员。Membase是开源项目，源代码采用了Apache2.0的使用许可。该项目托管在GitHub.Source tarballs上，可以下载Beta版本的Linux二进制包。Membase容易安装、操作，可以从单节点方便地扩展到集群，Memcached已经在不同类型的领域（特别是大容量的Web应用）有了广泛的使用

MongoDB
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似Json的Bjson格式，因此可以存储比较复杂的数据类型。MongoDB最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，还支持为数据建立索引。

Redis

Redis是一个高性能的key-value数据库。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，javascript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。
Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步

Fluentd

Fluentd是一个开源的通用日志采集和分发系统，可以从多个数据源采集日志，并将日志过滤和加工后分发到多种存储和处理系统。可以从Apache/Nginx等广泛应用的系统、数据库、自定义系统中采集日志，数据进入Fluentd后可根据配置进行过滤、修改、缓存，最终分发到各种后端系统中。这些后端系统包括告警系统（Nagios）、分析系统（MongoDB、MySQL、Hadoop、ElasticSearch）、存储系统（Amazon S3）等。就是把通常的日志采集-缓存-分发-存储流程提炼出来，用户只需要考虑业务数据，至于数据的传输、容错等过程细节都交给Fluentd来做。为了统一处理各种日志，Fluentd把JSON作为内部数据格式，流入和流出的数据都是JSON格式。由于JSON是一种通用的跨平台的数据格式，这给现有系统的改造带来很大便利。

Greenplum

Greenplum是基于开源PostgreSQL的分布式数据库，采用shared-nothing架构，即主机、操作系统、内存、存储都是每台服务器独立自我控制，不存在共享。 Greenplum本质上是一个关系型数据库集群，实际上是由多个独立的数据库服务组合而成的一个逻辑数据库。与Oracle的RAC不同，这种数据库集群采取的是MPP（Massively Parallel Processing）架构。 Greenplum最大的特点就是基于低成本的开放平台基础上提供强大的并行数据计算性能和海量数据管理能力。这个能力主要指的是并行计算能力，是对大任务、复杂任务的快速高效计算。

KUDU

KUDU的定位是Fast Analytics on Fast Data，是一个既支持随机读写、又支持 OLAP 分析的大数据存储引擎。Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。

Hadoop生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用户往往需要同时部署很多Hadoop工具来解决同一个问题，这种架构称为混合架构 (hybrid architecture)。然而这种架构较为复杂，而且在维护上也十分困难。用户用Flume或Kafka等数据Ingest工具将数据导入HBase，用户可能在HBase上对数据做一些修改。然后每隔一段时间(每天或每周)将数据从Hbase中导入到Parquet文件，作为一个新的partition放在HDFS上，最后使用Impala等计算引擎进行查询，生成最终报表。这样一条工具链繁琐而复杂，而且还存在很多问题。Kudu是对HDFS和HBase功能上的补充，能提供快速的分析和实时计算能力，并且充分利用CPU和I/O资源，支持数据原地修改，支持简单的、可扩展的数据模型。从根本上，HDFS基于03年GFS，HBase基于05年BigTable，在当时系统瓶颈主要取决于底层磁盘速度。当磁盘速度较慢时，CPU利用率不足的根本原因是磁盘速度导致的瓶颈，当磁盘速度提高了之后，CPU利用率提高，这时候CPU往往成为系统的瓶颈。HBase、HDFS由于年代久远，已经很难从基本架构上进行修改，而Kudu是基于全新的设计，因此可以更充分地利用RAM、I/O资源，并优化CPU利用率。我们可以理解为，Kudu相比与以往的系统，CPU使用降低了，I/O的使用提高了，RAM的利用更充分了。

编程工具

Java

一个通用术语，用于表示 Java 软件及其组件，包括“Java 运行时环境 (JRE)”、“Java 虚拟机 (JVM)”以及“插件”。

Java是一种编程语言，被特意设计用于互联网的分布式环境。Java具有类似于C++语言的“形式和感觉”，但它要比C++语言更易于使用，而且在编程时彻底采用了一种“以对象为导向”的方式。
使用Java编写的应用程序，既可以在一台单独的电脑上运行，也可以被分布在一个网络的服务器端和客户端运行。另外，Java还可以被用来编写容量很小的应用程序模块或者applet，做为网页的一部分使用。applet可使网页使用者和网页之间进行交互式操作。
Java平台由Java虚拟机(Java Virtual Machine)和Java 应用编程接口(Application Programming Interface、简称API)构成。Java 应用编程接口为Java应用提供了一个独立于操作系统的标准接口，可分为基本部分和扩展部分。在硬件或操作系统平台上安装一个Java平台之后，Java应用程序就可运行。Java平台已经嵌入了几乎所有的操作系统。这样Java程序可以只编译一次，就可以在各种系统中运行。Java应用编程接口已经从1.1x版发展到1.2版。常用的Java平台基于Java1.8，最近版本为Java19。

Python:

由荷兰数学和计算机科学研究学会的吉多·范罗苏姆于1990年代初设计，作为一门叫做ABC语言的替代品。 Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言，随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。Python在各个编程语言中比较适合新手学习，Python解释器易于扩展，可以使用C语言或C++（或者其他可以通过C调用的语言）扩展新的功能和数据类型。 Python也可用于可定制化软件中的扩展程序语言。Python丰富的标准库，提供了适用于各个主要系统平台的源码或机器码。

Anaconda：中文大蟒蛇，是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。

NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure）结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库 [1] 。

pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

Shell https://www.cnblogs.com/jingmoxukong/p/7867397.html

Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。
Shell 既是一种命令语言，又是一种程序设计语言。
Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问 Linux 内核的服务。

SQL

(Structured Query Language) 是具有数据操纵和数据定义等多种功能的数据库语言
SQL包括了所有对数据库的操作，主要是由4个部分组成：
1.数据定义：又称为“DDL语言”，定义数据库的逻辑结构，包括定义数据库、基本表、视图和索引4部分。
2.数据操纵：又称为“DML语言”，包括插入、删除和更新三种操作。
3.数据查询：又称为“DQL语言”，包括数据查询操作。
4.数据控制：又称为“DCL语言”，对用户访问数据的控制有基本表和视图的授权及回收。
5.事务控制：又称为“TCL语言”，包括事务的提交与回滚。
6.嵌入式SQL语言的使用规定：规定SQL语句在宿主语言的程序中使用的规则。

Scala https://baike.baidu.com/item/Scala/2462287

Scala是一门多范式的编程语言，一种类似java的编程语言 [1] ，设计初衷是实现可伸缩的语言 [2] 、并集成面向对象编程和函数式编程的各种特性。Scala是一种纯粹的面向对象语言，因为每个值都是一个对象。对象的类型和行为由类和特征描述。类可以通过子类化和使用灵活的基于mixin的组合机制作为多继承的干净替代来扩展。 [4]
中文名Scala上线时间2001年，最近更新时间2023年1月20日开发商EPFL运行平台Windows、Linux、MacOS 等 [5]最新版本3.2.2 [5]
Scala是一种通用编程语言。它由Martin Odersky创建和开发。Martin于2001年在洛桑联邦理工学院（EPFL）开始研究Scala。它于2004年1月20日正式发布。 [6]

联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Funnel是把函数式编程思想和Petri网相结合的一种编程语言。Odersky先前的工作是Generic Java和javac（Sun Java编译器）。Java平台的Scala于2003年底/2004年初发布。.NET平台的Scala发布于2004年6月。该语言第二个版本，v2.0，发布于2006年3月。
截至2009年9月，最新版本是版本2.7.6 。Scala 2.8预计的特性包括重写的Scala类库（Scala collections library）、方法的命名参数和默认参数、包对象（package object），以及Continuation.
2009年4月，Twitter宣布他们已经把大部分后端程序从Ruby迁移到Scala，其余部分也打算要迁移。此外， Wattzon已经公开宣称，其整个平台都已经是基于Scala基础设施编写的。

Scala不是Java的扩展，但它完全可以与Java互操作。在编译时，Scala文件将转换为Java字节码并在JVM（Java虚拟机）上运行。Scala被设计成面向对象和函数式的。它是一种纯粹的面向对象语言。scala的名字来源于单词scalable，意思是它可以随着用户的需求而增长。 [6]

hive

https://baike.baidu.com/item/hive/67986?fr=aladdin

hive是基于Hadoop的一个开源数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

Hadoop 组件/工具

Spark Streaming

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark SQL

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

YARN

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。

Flume
Flume是一个可分布式日志收集系统，为hadoop相关组件之一。 Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。 Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。

Apache ZooKeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper包含一个简单的原语集， [1] 提供Java和C的接口。
官网：https://zookeeper.apache.org

Presto

一个分布式计算引擎（sql查询），不能存储数据，需要和别的存储系统一起使用。
可以从多种数据源读取数据，可以是非关系型的数据源，也可以是关系型的数据源。因为工作需要从不同的地方读取数据，比如hive,mysql等，所以presto很合适

Flume

Druid

Apache Storm

是一款免费开源的分布式实时计算的框架（流处理）
Apache Storm可以非常容易并且可靠的处理无界的流数据，进行实时的分析处理。
Apache Storm支持多种编程语言（1.x版本Clodure 2.x版本Java重构）。适用场景：实时分析，在线的机器学习，持续计算，分布式的RPC，ETL（数据仓库）。Storm性能极其优异：性能测试单个节点每秒能够处理百万条Tuple（类似于kafka中的record）。
Apache Storm可以非常容易和队列和数据库产品进行无缝集成。

Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。

kafka的诞生，是为了解决linkedin的数据管道问题，起初linkedin采用了ActiveMQ来进行数据交换，大约是在2010年前后，那时的ActiveMQ还远远无法满足linkedin对数据传递系统的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了能够解决这个问题，linkedin决定研发自己的消息传递系统，当时linkedin的首席架构师jay kreps便开始组织团队进行消息传递系统的研发；

Hbase

Impala

Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。

Yarn

Sqoop

Apache Flink
是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。

Flink提供现成的源和接收连接器，包括Apache Kafka、Amazon Kinesis、HDFS和Apache Cassandra等。
Flink程序可以作为集群内的分布式系统运行，也可以以独立模式或在YARN、Mesos、基于Docker的环境和其他资源管理框架下进行部署。

Flink SQL

Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。 Flink SQL 是面向用户的 API 层，在我们传统的流式计算领域，比如 Storm、Spark Streaming 都会提供一些 Function 或者 Datastream API，用户通过 Java 或 Scala 写业务逻辑，这种方式虽然灵活，但有一些不足，比如具备一定门槛且调优较难，随着版本的不断更新，API 也出现了很多不兼容的地方。

Kettle

Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，数据抽取高效稳定 (数据迁移工具)。Kettle 中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。

Kettle 中文名称叫水壶，该项目的主程序员 MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle 这个 ETL 工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle 家族目前包括 4 个产品：Spoon、Pan、CHEF、Kitchen。

SPOON 允许你通过图形界面来设计 ETL 转换过程（Transformation）。

PAN 允许你批量运行由 Spoon 设计的 ETL 转换 (例如使用一个时间调度器)。Pan 是一个后台执行的程序，没有图形界面。

CHEF 允许你创建任务（Job）。任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。

KITCHEN 允许你批量使用由 Chef 设计的任务 (例如使用一个时间调度器)。KITCHEN 也是一个后台运行的程序。

Informatica

Informatica是全球领先的数据管理软件提供商。
主要产品
数据集成
Informatica Enterprise Data Integration包括Informatica PowerCenter和Informatica PowerExchange 两大产品。
· Informatica PowerCenter用于访问和集成几乎任何业务系统、任何格式的数据，包括4个不同版本，即：标准版，实时版，高级版，云计算版。还提供多个可选的组件：数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown Optimization)、团队开发和非结构化数据等。
· Informatica PowerExchange 是一系列的数据访问产品，它确保 IT 机构能够根据需要随时随地访问并在整个企业内传递关键数据。凭该能力，IT机构可以优化有限的资源和数据的业务价值。Informatica PowerExchange支持多种不同的数据源和各类应用，包括企业应用程序、数据库和数据仓库、大型机、中型系统、消息传递系统和技术标准。
Informatica B2B Data Exchange是一款业界领先的工具，用于多企业的数据集成。它增加了安全通信、管理和监控功能，来处理来自内部和外部的数据。Informatica B2B Data Exchange为多企业数据集成、合作伙伴管理以及业务事件监控提供了一个全面的技术基础设施。它能帮助企业有效且经济高效地与其贸易合作伙伴和客户所组成的外延网络进行协作，从而帮助企业降低成本，保持并增加收入。
Informatica Advanced Data Transformation [11] 是一款高性能软件，可以将数据在结构化、非结构化格式与更常用的数据格式之间进行转换，来支持企业与企业(B2B)以及多企业的事务。这一统一的无代码环境支持几乎任意形式的数据转换，并且可供组织内多个业务级别的人员（分析师、开发人员和程序员等）进行访问。
Informatica Ultra Messaging产品使用“无中介”（nothing in the middle）架构而设计，该架构消除了对后台程序或消息代理的需要。该设计实现了超低延迟信息和高效的系统，降低了硬件基础设施的成本，同时提高了吞吐量、弹性和可用性。
· Informatica Ultra Messaging Streaming Edition是业界第一款采用“无中介”（nothing-in-the-middle）设计的消息系统。它是市场中领先的低延迟消息软件，也是一款高效、可配置、可靠且得到广泛部署的消息传送解决方案。
· Informatica Ultra Messaging Persistence Edition通过创新的并行架构提供了高质量的消息送达方式，无需使用中央消息代理，消除了对存储-转发架构的需要，同时提供传统消息系统所无法企及的弹性和性能。
· Informatica Ultra Messaging Queuing Edition扩展了Ultra Messaging的功能，包括了高效、低延迟、具有弹性的消息队列功能。对于希望实现“一次且仅有一次”的消息交付，低延迟负载平衡或智能索引队列的客户，Informatica Ultra Messaging Queuing Edition将是其首选的消息传送产品。
数据质量
Informatica Data Quality通过一个全面、统一的平台，为所有项目和应用程序的相关人士、项目和数据域（无论在内部预置，还是在云中），提供普遍深入的数据质量控制。
· Informatica Data Quality结合了强大的数据分析、清洗、匹配、报告、监控能力和易于使用的界面，使业务信息所有者能够在整个企业范围内实施和管理数据质量计划。
· Informatica Data Quality Cloud Edition (云计算版)将普遍数据质量的功效和功能与最新云计算平台的灵活性、易用性和经济性相结合，向所有相关人士、项目和数据域交付数据质量。
主数据管理
Informatica Master Data Management通过提供整合且可靠的关键业务数据，帮助企业用户来改善业务运营。它能够以独特方式识别所有关键业务主数据以及它们之间的关系，通过多域主数据管理，使客户能够从小规模起步，随着需求的增长进行扩展，并且可在同一平台上支持所有的MDM要求——数据集成、探查、质量和主数据管理。
Informatica MDM业经证明和灵活的主数据模型、解决方案框架，以及统一的产品架构最大限度降低了前期采用和实施成本，使您可以随着时间的推移来管理和逐步扩展MDM计划。
数据安全
Informatica Application ILM系列产品旨在帮助IT 部门管理数据生命周期中从开发、测试到存档、淘汰的各个阶段，同时保护数据的隐私。
· Informatica Data Archive是一款高度可扩展的高性能软件，可以帮助IT部门经济高效地管理众多企业业务应用中数据的增长。该软件使IT团队可以轻松、安全地对应用程序数据进行归档，包括主数据、参考数据和事务数据，并可根据需要随时对其进行访问。
· Informatica Data Masking是一款全面、灵活且可扩展的软件，用于管理对如信用卡信息、社会保险号、姓名、地址和电话号码等敏感数据的访问。该软件可以防止机密信息被无意中暴露，降低数据外泄的风险。
[12] Informatica动态数据脱敏产品是一个为企业级客户设计的应用程序和数据库供应商混合解决方案。Informatica DDM可在短短五分钟内完成安装和配置，并与常用的企业业务应用程序天衣无缝地集成，其中包括 Siebel、PeopleSoft、SAP、OracleApps ERP Suite、Clarify、Cognos及其他多种程序。
Informatica采用的数据脱敏方法基于终端用户的网络权限实时进行，与现有的ActiveDirectory、DAP 和IdentityAccess Management软件配合无间，确保每名用户的个人网络登录均会针对该用户有权访问的信息类型，触发响应的数据脱敏规则。这一验证流程能够随着终端用户数量的增长，轻松地扩展至额外的数据库中，所造成的延时仅为0.15毫秒，几乎不对网络资源产生任何可觉察的影响。
此外，Informatica DDM还具备针对终端用户等级的访问进行监控、登录、报告和创建审计跟踪的功能。该功能可简化遵守数据隐私法规和内部报告需求的流程，同时显著降低数据侵害风险。
云数据管理
Informatica Cloud提供了面向数据集成云应用，确保企业用户能够跨基于云的应用程序和预置系统及数据库来集成数据。Informatica Cloud利用底层的PowerCenter数据集成引擎，包括在线注册、用户和任务流管理、工作调度和监控、错误处理、压缩、加密和安全代理功能，来访问和集成预置数据源和云数据。借助Informatica Cloud，客户与合作伙伴可以在云中构建、管理和共享定制的数据集成服务。

Alluxio
Alluxio成立于2015年，是全球首创开源云原生数据编排软件开发商。 Alluxio能够在跨集群、跨区域、跨国家的任何云中将数据更紧密地编排接近数据分析和AI/ML应用程序，从而向上层应用提供内存速度的数据访问。
Alluxio的合作伙伴超过九成都是世界五百强企业，其所开创的数据编排技术已经在不同垂直领域的国内外头部公司被广泛应用，其中不乏诸如Facebook、Amazon、腾讯、阿里巴巴、百度、联通在内的行业巨头。

DataX

DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX作为一个服务于大数据的ETL工具，除了提供数据快照搬迁功能之外，还提供了丰富数据转换的功能，让数据在传输过程中可以轻松完成数据脱敏，补全，过滤等数据转换功能，另外还提供了自动groovy函数，让用户自定义转换函数。

Logstash

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

华为FusionSphere 华为自主知识产权的云操作系统
FusionSphere是华为自主知识产权的云操作系统，集虚拟化平台和云管理特性于一身，让云计算平台建设和使用更加简捷，专门满足企业和运营商客户云计算的需求。华为云操作系统专门为云设计和优化，提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的API接口等，全面支撑传统和新型的企业服务，极大地提升IT资产价值和提高IT运营维护效率，降低运维成本。
FusionSphere包括FusionCompute虚拟化引擎和FusionManager云管理等组件，能够为客户大大提高IT基础设施的利用效率，提高运营维护效率，降低IT成本。

HCS 8.0X云服务和公共组件
ECS

ECS（Elastic Cloud Server），即弹性云服务器，是由CPU、内存、镜像和云硬盘组成的一种可随时获取、弹性可扩展的计算服务器，同时结合虚拟私有云、网络ACL和云服务器备份等云服务，为用户打造一个高效、可靠和安全的计算环境，确保用户的服务持久稳定运行。

BMS

BMS（Bare Metal Server），即裸金属服务器，为租户提供专属的物理服务器，拥有卓越的计算性能，能够同时满足核心应用场景对高性能及稳定性的需求，并且可以和虚拟私有云等其他云服务灵活的结合使用，综合了传统托管主机的稳定性与云上资源高度弹性的优势。

IMS

IMS（Image Management Service），即镜像服务，是一个包含了软件及必要配置的弹性云服务器模板，至少包含操作系统，还可以包含应用软件（例如，数据库软件）和私有软件。镜像分为公共镜像、私有镜像和共享镜像。用户可以灵活便捷的使用公共镜像、私有镜像或共享镜像申请弹性云服务器。同时，用户还能通过弹性云服务器或外部镜像文件创建私有镜像。

AS（Auto Scaling），即弹性伸缩，是根据用户的业务需求，通过策略自动调整其业务资源。您可以根据业务需求自行定义伸缩配置和伸缩策略，降低人为反复调整资源以应对业务变化和高峰压力的工作量，帮助您节约资源和人力成本。

存储服务

EVS

EVS（Elastic Volume Service），即云硬盘，是一种虚拟块存储服务，主要为ECS（Elastic Cloud Server）和BMS（Bare Metal Server）提供块存储空间。用户可以在线创建云硬盘并挂载给实例，云硬盘的使用方式与传统服务器硬盘完全一致。同时，云硬盘具有更高的数据可靠性，更高的I/O吞吐能力和更加简单易用等特点，适用于文件系统、数据库或者其他需要块存储设备的系统软件或应用。

SFS

SFS（Scalable File Service），即弹性文件服务，为用户的弹性云服务器（ECS）提供一个完全托管的共享文件存储，符合标准文件协议（NFS和CIFS），能够弹性伸缩至PB规模，具备可扩展的性能，为海量数据、高带宽型应用提供有力支持。

SFS-DJ，即OceanStor DJ（Manila），作为SFS服务端，接收SFS管理控制台请求。

OBS 3.0

对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠的数据存储能力，包括：创建、修改、删除桶，上传、下载、删除对象等。

OBS系统和单个桶都没有总数据容量和对象/文件数量的限制，为用户提供了超大存储容量的能力，适合存放任意类型的文件，适合普通用户、网站、企业和开发者使用。OBS提供了基于HTTP/HTTPS协议的接口，用户可以通过OBS管理控制台或客户端访问和管理存储在OBS中的数据。此外，OBS支持OBS API接口，可使用户方便管理自己存储在OBS上的数据，以及开发多种类型的上层业务应用。

云服务实现了在多区域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定区域使用OBS，由此获得更快的访问速度。

网络服务

VPC

VPC（Virtual Private Cloud），即虚拟私有云，是一套为实例构建的逻辑隔离的、由用户自主配置和管理的虚拟网络环境，旨在提升用户资源的安全性，简化用户的网络部署。

用户可以在VPC中自由选择IP地址范围、创建多个子网、自定义安全组以及配置路由表和网关等，方便地管理和配置网络，进行安全、快捷的网络变更。同时，通过自定义安全组内与组间实例的访问规则以及防火墙等多种安全层，加强对子网中实例的访问控制。

SNAT（源地址转换）将VPC内的一段网段内的IP地址映射成为公网IP地址，它主要是为内部云服务器提供访问Internet的通道。

EIP

EIP（Elastic IP），即弹性IP，是可以通过云平台以外的网络直接访问云平台上业务的IP地址。EIP是一个静态的公共IP地址，可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡等资源灵活地绑定及解绑。

EIP-QoS是EIP外部网络流量限速特性。安装该特性后，可在ManageOne运营面对用户的EIP带宽进行调整。

ELB

ELB（Elastic Load Balance），即弹性负载均衡，是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，实现更高水平的应用程序容错性能。弹性负载均衡可以消除单点故障，提高整个系统的可用性。

Network ACL

Network ACL，即网络ACL，是虚拟私有云的安全服务，对子网或VPC进行访问控制，支持黑白名单（即允许和拒绝策略），根据与子网或VPC关联的入方向/出方向ACL（Access Control List）规则，判断数据包是否被允许流入/流出子网或VPC。

VPN

VPN（Virtual Private Network），即虚拟专用网络，用于在远端用户和虚拟私有云之间建立一条安全加密的通信隧道。当您作为远端用户需要访问VPC的业务资源时，您可以通过VPN连通VPC。

VPN-QoS是VPN外部网络流量限速特性。安装该特性后，可在ManageOne运营面对用户的VPN带宽进行调整。

Direct Connect

云专线（Direct Connect），用于搭建用户本地数据中心与云上虚拟私有云之间高速、低时延、稳定安全的专属连接通道。用户可以通过云专线将用户侧的用户网络、数据中心、主机托管区连接至云上VPC专线连接，享受高性能、低延迟、安全专用的数据网络。

VPC Endpoint

VPC终端节点（VPC Endpoint）是一项扩展VPC能力的云服务，该服务建立在VPC内，能使用户将VPC私密地连接到终端节点服务，无需弹性IP，为用户提供性能强大、组网灵活、安全稳定的网络环境。

云连接为用户提供一种能够快速构建跨区域VPC之间高速、优质、稳定的网络能力。

通过云连接将用户所需要实现互通的不同区域的网络实例加载到云连接实例中，这里的网络实例可以是同区域的VPC，也可以是不同区域经过授权的VPC，通过云连接服务，都可以实现私网互通。

DNS

云解析服务（Domain Name Service，DNS）将人们常用的域名（例如www.example.com）转换成用于服务器连接的IP地址（例如192.168.2.2），可以让用户直接在浏览器中输入域名，就可以访问网站或Web应用程序。

安全服务

SIS

SIS（Security Index Service），即安全指数服务，是关于云环境的一个安全评估服务，为用户提供统一、直观、多维度的安全视图。

CFW

CFW（Cloud Firewall），即云防火墙，其分散在每一台VM前直接提供防护，因此能进行最细粒度的微隔离访问控制。在流量可视化的辅助下，可提供基于用户业务语言的安全策略配置能力。

EdgeFW

EdgeFW（Edge Firewall），即边界防火墙，位于内、外部网络的边界处，是连接内网与外网的桥梁。边界防火墙针对云数据中心与外部网络之间的南北向流量，为用户提供边界安全防护功能，支持以弹性IP为防护对象的入侵检测防御（IPS）和网络防病毒（AV）功能。

KMS

KMS（Key Management Service），即密钥管理服务，是一种安全、可靠、简单易用的密钥托管服务，帮助用户集中管理密钥，保护密钥安全。

安全服务

DEW

DEW（Data Encryption Workshop），即数据加密服务，基于国家密码局认证的云服务器密码机（Cloud-hosted Hardware Security Module，CloudHSM）构建密码服务资源池，实现云上密码资源的统一管控调度，为用户按需提供虚拟密码机（Virtual Security Module，VSM），对接业务应用实现数据加解密、签名验签、密钥创建、密钥安全存储等安全功能。

PBH

PBH（Platform Bastion Host），即平台堡垒机，主要运用于远程运维场景。PBH部署在管理节点，作为唯一的运维入口，对管理区软硬件进行运维。同时提供运维帐户授权、操作审计等能力，保障通过PBH进行的运维操作可审计、可回溯。

WAF

Web应用防火墙（Web Application Firewall，WAF），通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击，保护Web服务安全稳定。

HSS

企业主机安全（Host Security Service，HSS）是以工作负载为中心的安全产品，旨在解决现代混合云、多云数据中心基础架构中服务器工作负载的独特保护要求。它集成了主机安全、容器安全和网页防篡改。

CBH

云堡垒机（Cloud Bastion Host，CBH）是华为云的一款4A统一安全管控平台，为企业提供集中的帐号（Account）、授权（Authorization）、认证（Authentication）和审计（Audit）管理服务。

DBAS

DBAS（Database Audit Service），即数据库审计服务，提供旁路模式数据库审计功能，通过实时记录用户访问数据库行为，形成细粒度的审计报告，对风险行为和攻击行为进行实时告警。同时，数据库审计服务可以生成满足数据安全标准的合规报告，对数据库的内部违规和不正当操作进行定位追责，保障数据资产安全。

DSC

数据安全中心服务（Data Security Center，DSC）是新一代的云化数据安全平台，提供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力，通过数据安全总览整合数据安全生命周期各阶段状态，对外整体呈现云上数据安全态势。

灾备服务

VBS

VBS（Volume Backup Service），即云硬盘备份，可为云硬盘创建备份，利用备份数据恢复云硬盘，最大限度保障用户数据的安全性和正确性，确保业务安全。

Karbor作为VBS服务端，接受VBS管理控制台请求，并调用FusionSphere OpenStack组件。
eBackup Server&Proxy作为VBS的服务端，将生产存储设备中的数据备份到备份存储设备中。
CSBS

CSBS（Cloud Server Backup Service），即云服务器备份服务，包含服务器备份和应用备份。

服务器备份为弹性云服务器和裸金属服务器创建备份（备份内容包括弹性云服务器和裸金属服务器的配置规格，系统盘和数据盘的数据），利用备份数据恢复弹性云服务器和裸金属服务器业务数据，最大限度保障用户数据的安全性和正确性，确保业务安全。
服务器备份的组件如下：

Karbor作为CSBS服务端，接受CSBS管理控制台请求，并调用eBackup Manager&Workflow组件。
eBackup Manager&Workflow作为CSBS服务端，接受Karbor的请求，并调用FusionSphere OpenStack组件。
eBackup Server&Proxy作为CSBS的服务端，将生产存储设备中的数据备份到备份存储设备中。
应用备份为用户数据中心弹性云服务器或裸金属服务器中的文件和数据库应用进行备份，无需再以整机或整盘的形式进行备份。当数据中心发生人为误删除、软硬件故障等事件时，可将数据恢复到任意备份点。
应用备份的组件如下：

Karbor作为CSBS服务端，接受CSBS管理控制台请求，并调用Karbor Proxy组件管理客户端或者调用DPA组件实现备份恢复。
Karbor Proxy，用于管理客户端，如安装、卸载等。
DPA，提供应用备份的备份恢复功能，并作为备份存储存放副本。
客户端：部署在用户主机上，包含客户端助手和应用客户端。
客户端助手用于管理应用客户端；应用客户端用于与DPA通信，获取生产数据，实现备份恢复。

说明：

服务器备份和应用备份共用Karbor和CSBS-VBS Console组件。

CSDR

CSDR（Cloud Server Disaster Recovery），即云服务器容灾，为云服务器提供异地容灾保护。当生产中心发生灾难时，可在异地灾备中心恢复受保护的云服务器。

云服务器容灾服务支持三种保护类型：

保护类型为CSDR时，可为弹性云服务器和裸金属服务器提供异地容灾保护，当生产中心发生灾难时，可在异地灾备中心恢复受保护的弹性云服务器和裸金属服务器。
保护类型为VHA+CSDR时，当生产中心单套存储设备发生故障时，数据零丢失，业务不中断。当生产中心发生灾难时，可在异地灾备中心恢复受保护的弹性云服务器和裸金属服务器。
保护类型为CSHA+CSDR时，当生产中心故障，可自动或手动切换到同城灾备中心，恢复被保护的弹性云服务器，数据零丢失。当生产中心和同城灾备中心发生灾难时，可在异地灾备中心恢复受保护的弹性云服务器。
eReplication作为CSDR服务端，接收CSDR管理控制台的请求。

CSHA

CSHA（Cloud Server High Availability），即云服务器高可用，为弹性云服务器提供同城数据中心间的高可用保护。当生产中心发生灾难时，被保护的弹性云服务器能够自动或手动切换到灾备中心。

eReplication作为CSHA服务端，接收CSHA管理控制台的请求。

VHA

VHA（Volume High Availability），即云硬盘高可用，为弹性云服务器中的云硬盘提供本地存储双活保护。当单套存储设备发生故障时，数据零丢失，业务不中断。

eReplication作为VHA服务端，接收VHA管理控制台的请求。

容器服务

CCE

云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Docker容器。借助云容器引擎，您可以在云上轻松部署、管理和扩展容器化应用程序。

SWR

容器镜像服务（Software Repository for Container，简称SWR）是一种支持镜像全生命周期管理的服务，提供简单易用、安全可靠的镜像管理功能，帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。

容器服务

ASM

应用服务网格（Application Service Mesh ，简称ASM）提供非侵入式的微服务治理解决方案，支持完整的生命周期管理和流量治理，兼容Kubernetes和Istio生态，功能包括负载均衡、熔断、限流等多种治理能力。并内置金丝雀、蓝绿灰度发布流程，提供一站式自动化的发布管理。

应用服务

SMN

SMN（Simple Message Notification），即消息通知服务，是可靠、可扩展和海量的消息通知服务。消息通知服务主要采用主题订阅模型，旨在提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。它大大简化系统耦合，能够根据用户的需求，向订阅终端主动推送消息。

ROMA Connect

ROMA Connect是一个全栈式的应用与数据集成平台，聚焦应用和数据连接，适配多种企业常见的使用场景。ROMA Connect提供轻量化消息、数据、API、设备、模型等集成能力，简化企业上云流程，支持云上云下、跨区域集成，帮助企业实现数字化转型。

DCS

分布式缓存服务（Distributed Cache Service，简称DCS）是一款内存数据库服务，兼容了Redis内存数据库引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。

AOM

应用运维管理（Application Operations Management，简称AOM）是云上应用的一站式立体化运维管理平台，实时监控您的应用及相关云资源，分析应用健康状态，提供灵活丰富的数据可视化功能，帮助您及时发现故障，全面掌握应用、资源及业务的实时运行状况。

LTS

云日志服务（Log Tank Service，简称LTS），用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。

BCS

区块链服务（Blockchain Service简称BCS）是面向企业及开发者提供的区块链技术服务平台，它可以帮助您快速部署、管理、维护区块链网络，降低您使用区块链的门槛，让您专注于自身业务的开发与创新，实现业务快速上链。

APM

应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。

ServiceStage

应用管理与运维平台（ServiceStage）是面向企业的应用管理与运维平台，提供应用发布、部署、监控与运维等一站式解决方案。支持Java、Go、PHP、Node.js、Docker、Tomcat等运行环境。支持Web应用，以及Apache ServiceComb、Spring Cloud、Dubbo、服务网格等微服务应用和通用应用，让企业应用上云更简单。

EI企业智能服务

MRS

MapReduce服务（MRS）是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的数据处理分析服务。

MRS打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以独立申请和使用托管Hadoop、Spark2x、HBase和Hive等组件，用于快速在主机上创建集群，提供实时性要求不高的海量数据的批量存储和计算能力。当数据完成存储和计算，可删除集群服务。

GaussDB(DWS)

数据仓库服务GaussDB(DWS) 是一种基于云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS)是基于融合数据仓库GaussDB产品的云原生服务，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。

EI企业智能服务

DGC

数据湖治理中心DGC（Data Lake Governance Center）是为了应对上述挑战、针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台，包含数据集成、数据开发、规范设计、数据质量监控、数据资产管理、数据服务、数据安全等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。

ModelArts

ModelArts推理平台提供了模型管理、模型部署和资源池管理能力，将训练所得的模型进行统一管理并部署为在线服务或批量服务。

ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。

GES

图引擎服务（Graph Engine Service，简称GES），使用自研的EYWA内核，是针对以“关系”为基础的“图”结构数据，进行查询、分析的服务。广泛应用于社交关系分析、营销推荐、***及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。

数据库服务

GaussDB(for openGauss)

GaussDB(for openGauss)是华为公司倾力打造的自研企业级分布式关系型数据库，该产品具备企业级复杂事务混合负载能力，同时支持优异的分布式事务，同城跨AZ部署，数据0丢失，支持1000+扩展能力，PB级海量存储等企业级数据库特性。拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。同时华为开源openGauss单机主备社区版本，鼓励更多伙伴、开发者共同繁荣中国数据库生态。

DRS

DRS（Data Replication Service），即数据复制服务，是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助您减少数据传输的成本。您可通过DRS快速解决多场景下，数据库之间的数据流通问题，以满足数据传输业务需求。

DDS

文档数据库服务（Document Database Service，简称DDS）完全兼容MongoDB协议，提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务，同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。

RDS

RDS（Relational Database Service），即关系型数据库服务，是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。RDS支持MySQL关系型数据库的发放和管理，具有完善的性能监控体系和安全防护措施。通过提供专业的数据库管理平台，让用户能够在云中轻松设置、操作和扩展关系型数据库。

管理服务

服务构建器

服务构建器（Service Builder）在开放的服务API、自动化运维能力和政企适配流程引擎基础之上，为政企客户提供极简、开放和高效的在线服务构建平台能力，实现IT资源及能力的在线申请、开通、配置和部署，统一IT能力服务化流程，提升IT能力供给效率，构建IT能力服务化生态。

物联网服务

IoTDA

华为IoT设备接入服务平台（IoT设备接入简称为IoTDA），提供海量设备连接、设备双向消息通信、设备监控运维、OTA升级、设备联动规则、数据开放等能力，可将设备数据灵活流转到其他服务或消息中间件，帮助物联网行业用户快速完成设备联网及行业应用集成。

DRIS

路网数字化服务通过车路协同、物联网等智能技术，打造人、车、路、云的全面协同，构建协作式的智慧交通，使能协同式的自动驾驶，给出行者提供更安全、更高效、更便捷的出行，给管理者提供全路段感知、全天候通行、全过程管控的智慧运营。

IoTA

IoT数据分析基于物联网资产模型，整合物联网数据集成，清洗，存储，分析，可视化，为开发者提供一站式服务，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。

HiCloud云服务

VMware/Security等

HiCloud云服务接入平台是针对多服务接入华为云Stack所提出的资源整合解决方案，主要提供VMware云服务和Security等各种云服务。

公共组件

LVS

LVS（Linux Virtual Server），即Linux服务器集群系统，为混合云公共服务提供一级负载均衡。

Nginx

Nginx为云服务Console页面提供反向代理，实现业务和数据在各个Console节点的负载均衡，达到流量分发的目的。云服务的请求会通过LVS下发，转发到Nginx，Nginx把相应云服务的请求转发到云服务Console。

NTP

NTP（Network Time Protocol）为混合云云服务、ManageOne和租户提供时间同步。

HAProxy

HAProxy对云服务提供从Console节点到Service节点的负载均衡。云服务请求由Console下发到HAProxy，HAProxy根据相应的请求转发到对应云服务的Service节点。

API Gateway

API Gateway，即API网关，提供API的管理以及API的内外网隔离。用户访问各云服务的API时，不是通过直接调用各云服务的API接口，而是各云服务的API先在API网关上进行注册，通过API网关将云服务API暴露给用户访问。这样可以屏蔽一些非法请求，并防止内部的管理API暴露。

TaskCenter

即任务中心，用于查看ECS等服务实例的创建情况。

DNS

DNS为云服务、ManageOne和租户提供域名解析服务。

SDR

SDR（Service Detail Record），即计量话单，提供各云服务计量计费的文件输出功能。

CCS

CCS（Cloud Configuration Service），即云配置服务，是基于混合云提供接入第三方云资源的云服务，该服务具有提供跨云统一管理和跨云部署的能力。

DMK

DMK（Deploy Management Kit）提供统一的部署与安装配置平台，实现所有服务的安装部署与补丁升级功能。

GaussDB

GaussDB为各云服务提供公共数据库。

Euler OS

各云服务所在的管理类虚拟机，采用Euler OS作为操作系统。

云管理

ManageOne

提供云服务的运营管理和系统的运维管理。

ManageOne_B2B：B2B大规模场景下，租户侧和管理侧隔离，并支持从内网和公网访问租户侧和管理侧。

eSight

提供服务器、存储设备和网络设备的统一管理。

FusionCare

面向运维人员的统一巡检及FusionSphere离线日志收集工具。

CloudNetDebug

面向运维人员，实现界面自动化抓包和拨测的运维工具。CloudNetDebug集成了拨测和抓包两个功能，用于处理数据中心内可能出现的各种网络问题，通过拨测功能可自动化检测业务网络是否出现断流，是否出现丢包，通过抓包功能可实现自动化抓包，支持基于业务流的多点协同抓包，支持灵活的单点虚拟机网卡抓包和主机网卡抓包。

LogCenter

统一日志提供了统一的日志收集、日志分析能力，支持收集管理侧与租户侧的操作日志、云服务的关键运行日志。

IaaS-V

虚拟化资源池云服务。华为云Stack统一管理FusionManager/FusionCompute管理的虚拟化资源池，同步FusionManager/FusionCompute管理的虚拟化资源池的弹性云服务器、云硬盘等云服务资源。为FusionManager/FusionCompute资源池的管理提供一个统一的ManageOne管理系统，从而使虚拟化用户享受到ECS、EVS、VPC服务，并提供一致的用户体验。

AutoOps

基于敏捷运维理念打造的运维自动化平台，提供基础架构到业务应用的全栈自动化运维能力。构建丰富的运维操作库，灵活编排运维流程，标准化各种运维场景，定时/立即批量执行运维操作或流程，可以根据企业的运维诉求按需扩展，最大限度的节约人力成本、降低管理风险、告别枯燥的重复工作，提升运维效率和满意度。

统一门户

统一门户为混合云统一门户，供用户访问，向用户展示混合云平台当前的云服务支持能力，包括云服务的简介、优势、解决方案等。

管理公有云

云联邦华为云
云联邦混合云通过联邦认证和用户权限设置，实现了华为云Stack和华为云帐号权限的一致性，使得华为云Stack VDC（Virtual Data Center）用户可以直接访问华为云控制台，使用华为云服务。本节介绍云联邦混合云的应用场景、特性和使用说明。

混合云市场
混合云市场是一个在线商店，用于向用户展示第三方服务提供商提供的云上或线下应用。本节介绍混合云市场的应用场景、功能、使用及后续管理的过程。

管理跨华为云Stack

云联邦华为云Stack
云联邦华为云Stack是本端华为云Stack通过云联邦的方式在对端华为云Stack上借用资源，并对对端华为云Stack服务资源进行注册、发放、创建、使用以及后续管理的过程。

两级云指南
两级云是指当本端华为云Stack资源不足时，通过对接对端的华为云Stack API Gateway的方式在对端华为云Stack上申请资源，从而实现从对端快速借用资源。

管理华为云Stack Online

云联邦混合云通过联邦认证和用户权限设置，实现了华为云Stack和华为云Stack Online帐号权限的一致性，使得华为云Stack VDC（Virtual Data Center）用户可以直接访问华为云Stack Online控制台并使用服务。本节介绍云联邦混合云的应用场景和特性，并给出了华为云Stack Online资源的接入、管理和使用说明。

资源池

FusionSphere OpenStack

FusionSphere基于开放的OpenStack架构，并针对企业云计算数据中心场景进行设计和优化，提供了强大的虚拟化功能和资源池管理能力、丰富的云基础服务组件和工具、开放标准化的API接口，可以帮助客户水平整合数据中心物理和虚拟资源，垂直优化业务平台。

Service OM

提供云服务的运维能力。

管理界面一览表
分类

中文名称

简介

资源池

FusionSphere OpenStack安装部署界面

能够将OpenStack服务的各个组件部署到不同的主机上，提供基础设施云化能力。

Service OM

提供云服务的运维能力。

管理域

ManageOne运维面

ManageOne运维管理的唯一入口，提供云服务运维管理的能力，实现对云服务端到端的监控能力，包括云服务自身、租户资源和云服务所依赖的基础设施（计算、存储、网络）。收集并展示上述监控对象的告警信息，同时基于这些监控和告警数据提供报表、大屏以及高级运维数据分析能力。同时运维面也提供各云服务运维系统的集成能力，将多个云服务的常用配置集成进来，实现运维统一入口。

ManageOne运营面

ManageOne面向租户和运营管理的入口，提供云服务的运营集成能力，支持多种云服务集成到ManageOne。通过Console Home集成各云服务Console，为用户提供统一的云服务使用界面入口。通过服务编排将各个云服务能力编排成适合用户申请的云产品，并在产品目录中进行统一展示。

ManageOne部署面

提供ManageOne产品信息查看和数据库状态查询功能。

FusionCare

作为健康检查和信息收集的运维工具。健康检查提供一键式检查相关节点健康状态的能力，并生成健康检查报告。信息收集提供快速收集日志的能力，简化运维人员的信息收集工作，方便故障定位。

eSight

面向企业数据中心、园区/分支网络、统一通信、视讯会议、视频监控的一体化融合运维管理解决方案，为企业ICT设备提供自动化配置部署、可视化故障诊断、智能化容量分析等功能。

CloudNetDebug

存储服务

华为分布式块存储自助维护平台（华为分布式块存储作为业务存储时）

提供告警、监控、日志、配置等操作维护功能。

OceanStor DeviceManager（华为分布式块存储作为业务存储时）

OceanStor DeviceManager是一款面向华为全系列存储系统的集成存储管理平台软件，可以轻松便捷地配置、管理和维护存储设备。

OceanStor DeviceManager（SAN存储作为业务存储时）

OceanStor DeviceManager是一款华为存储单设备管理软件，可以轻松便捷地配置、管理和维护存储设备。

OceanStor DeviceManager（SFS服务后端存储OceanStor 9000使用）

OceanStor DeviceManager作为OceanStor 9000的统一的网管界面，完成对集群系统的监控、配置、性能统计和告警浏览等操作。

OceanStor DJ（SFS服务的服务端使用）

OceanStor DJ管理员界面提供图形化操作界面可以快速接入物理基础设施，并创建资源池和服务等级。

灾备服务

eBackup GUI

eBackup GUI即eBackup备份管理系统，用于对受保护环境执行备份、恢复等操作。

eReplication GUI

eReplication GUI即eReplication容灾管理系统，用于对受保护对象执行容灾保护、恢复等操作。

公共组件

API Gateway

APIG配套行业解决方案，提供高性能、高可用、高安全的API托管服务，是一款涵盖API运行、管理、分析、安全为一体的端到端API产品，帮助客户实现后台服务、数据与上层应用的解耦，高效拓展业务，聚合提供后台服务和应用的合作伙伴，构建开发者生态。

DMK

DMK（Deploy Management Kit）提供统一的部署与安装配置平台，实现所有服务的安装部署与补丁升级功能。承载云服务、组件和部分运维工具的安装部署功能，降低安装工时。HCS 8.0X云服务和公共组件
ECS

BMS

IMS

存储服务

EVS

SFS

SFS-DJ，即OceanStor DJ（Manila），作为SFS服务端，接收SFS管理控制台请求。

OBS 3.0

云服务实现了在多区域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定区域使用OBS，由此获得更快的访问速度。

网络服务

VPC

SNAT（源地址转换）将VPC内的一段网段内的IP地址映射成为公网IP地址，它主要是为内部云服务器提供访问Internet的通道。

EIP

EIP-QoS是EIP外部网络流量限速特性。安装该特性后，可在ManageOne运营面对用户的EIP带宽进行调整。

ELB

Network ACL

VPN

VPN-QoS是VPN外部网络流量限速特性。安装该特性后，可在ManageOne运营面对用户的VPN带宽进行调整。

Direct Connect

VPC Endpoint

云连接为用户提供一种能够快速构建跨区域VPC之间高速、优质、稳定的网络能力。

DNS

安全服务

SIS

SIS（Security Index Service），即安全指数服务，是关于云环境的一个安全评估服务，为用户提供统一、直观、多维度的安全视图。

CFW

EdgeFW

KMS

KMS（Key Management Service），即密钥管理服务，是一种安全、可靠、简单易用的密钥托管服务，帮助用户集中管理密钥，保护密钥安全。

安全服务

DEW

PBH

WAF

HSS

CBH

DBAS

DSC

灾备服务

VBS

VBS（Volume Backup Service），即云硬盘备份，可为云硬盘创建备份，利用备份数据恢复云硬盘，最大限度保障用户数据的安全性和正确性，确保业务安全。

CSBS（Cloud Server Backup Service），即云服务器备份服务，包含服务器备份和应用备份。

说明：

服务器备份和应用备份共用Karbor和CSBS-VBS Console组件。

CSDR

CSDR（Cloud Server Disaster Recovery），即云服务器容灾，为云服务器提供异地容灾保护。当生产中心发生灾难时，可在异地灾备中心恢复受保护的云服务器。

云服务器容灾服务支持三种保护类型：

CSHA

eReplication作为CSHA服务端，接收CSHA管理控制台的请求。

VHA

eReplication作为VHA服务端，接收VHA管理控制台的请求。

容器服务

CCE

SWR

容器服务

ASM

应用服务

SMN

ROMA Connect

DCS

AOM

LTS

BCS

APM

ServiceStage

EI企业智能服务

MRS

MapReduce服务（MRS）是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的数据处理分析服务。

GaussDB(DWS)

EI企业智能服务

DGC

ModelArts

ModelArts推理平台提供了模型管理、模型部署和资源池管理能力，将训练所得的模型进行统一管理并部署为在线服务或批量服务。

GES

数据库服务

GaussDB(for openGauss)

DRS

DDS

RDS

管理服务

服务构建器

物联网服务

IoTDA

DRIS

IoTA

HiCloud云服务

VMware/Security等

HiCloud云服务接入平台是针对多服务接入华为云Stack所提出的资源整合解决方案，主要提供VMware云服务和Security等各种云服务。

公共组件

LVS

LVS（Linux Virtual Server），即Linux服务器集群系统，为混合云公共服务提供一级负载均衡。

Nginx

NTP

NTP（Network Time Protocol）为混合云云服务、ManageOne和租户提供时间同步。

HAProxy

HAProxy对云服务提供从Console节点到Service节点的负载均衡。云服务请求由Console下发到HAProxy，HAProxy根据相应的请求转发到对应云服务的Service节点。

API Gateway

TaskCenter

即任务中心，用于查看ECS等服务实例的创建情况。

DNS

DNS为云服务、ManageOne和租户提供域名解析服务。

SDR

SDR（Service Detail Record），即计量话单，提供各云服务计量计费的文件输出功能。

CCS

CCS（Cloud Configuration Service），即云配置服务，是基于混合云提供接入第三方云资源的云服务，该服务具有提供跨云统一管理和跨云部署的能力。

DMK

DMK（Deploy Management Kit）提供统一的部署与安装配置平台，实现所有服务的安装部署与补丁升级功能。

GaussDB

GaussDB为各云服务提供公共数据库。

Euler OS

各云服务所在的管理类虚拟机，采用Euler OS作为操作系统。

云管理

ManageOne

提供云服务的运营管理和系统的运维管理。

ManageOne_B2B：B2B大规模场景下，租户侧和管理侧隔离，并支持从内网和公网访问租户侧和管理侧。

eSight

提供服务器、存储设备和网络设备的统一管理。

FusionCare

面向运维人员的统一巡检及FusionSphere离线日志收集工具。

CloudNetDebug

LogCenter

统一日志提供了统一的日志收集、日志分析能力，支持收集管理侧与租户侧的操作日志、云服务的关键运行日志。

IaaS-V

AutoOps

统一门户

统一门户为混合云统一门户，供用户访问，向用户展示混合云平台当前的云服务支持能力，包括云服务的简介、优势、解决方案等。

管理公有云

管理跨华为云Stack

管理华为云Stack Online

资源池

FusionSphere OpenStack

Service OM

提供云服务的运维能力。

管理界面一览表
分类

中文名称

简介

资源池

FusionSphere OpenStack安装部署界面

能够将OpenStack服务的各个组件部署到不同的主机上，提供基础设施云化能力。

Service OM

提供云服务的运维能力。

管理域

ManageOne运维面

ManageOne运营面

ManageOne部署面

提供ManageOne产品信息查看和数据库状态查询功能。

FusionCare

eSight

CloudNetDebug

存储服务

华为分布式块存储自助维护平台（华为分布式块存储作为业务存储时）

提供告警、监控、日志、配置等操作维护功能。

OceanStor DeviceManager（华为分布式块存储作为业务存储时）

OceanStor DeviceManager是一款面向华为全系列存储系统的集成存储管理平台软件，可以轻松便捷地配置、管理和维护存储设备。

OceanStor DeviceManager（SAN存储作为业务存储时）

OceanStor DeviceManager是一款华为存储单设备管理软件，可以轻松便捷地配置、管理和维护存储设备。

OceanStor DeviceManager（SFS服务后端存储OceanStor 9000使用）

OceanStor DeviceManager作为OceanStor 9000的统一的网管界面，完成对集群系统的监控、配置、性能统计和告警浏览等操作。

OceanStor DJ（SFS服务的服务端使用）

OceanStor DJ管理员界面提供图形化操作界面可以快速接入物理基础设施，并创建资源池和服务等级。

灾备服务

eBackup GUI

eBackup GUI即eBackup备份管理系统，用于对受保护环境执行备份、恢复等操作。

eReplication GUI

eReplication GUI即eReplication容灾管理系统，用于对受保护对象执行容灾保护、恢复等操作。

公共组件

API Gateway

DMK

BMS

IMS

存储服务

EVS

SFS

SFS-DJ，即OceanStor DJ（Manila），作为SFS服务端，接收SFS管理控制台请求。

OBS 3.0

云服务实现了在多区域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定区域使用OBS，由此获得更快的访问速度。

网络服务

VPC

SNAT（源地址转换）将VPC内的一段网段内的IP地址映射成为公网IP地址，它主要是为内部云服务器提供访问Internet的通道。

EIP

EIP-QoS是EIP外部网络流量限速特性。安装该特性后，可在ManageOne运营面对用户的EIP带宽进行调整。

ELB

Network ACL

VPN

VPN-QoS是VPN外部网络流量限速特性。安装该特性后，可在ManageOne运营面对用户的VPN带宽进行调整。

Direct Connect

VPC Endpoint

云连接为用户提供一种能够快速构建跨区域VPC之间高速、优质、稳定的网络能力。

DNS

安全服务

SIS

SIS（Security Index Service），即安全指数服务，是关于云环境的一个安全评估服务，为用户提供统一、直观、多维度的安全视图。

CFW

EdgeFW

KMS

KMS（Key Management Service），即密钥管理服务，是一种安全、可靠、简单易用的密钥托管服务，帮助用户集中管理密钥，保护密钥安全。

安全服务

DEW

PBH

WAF

HSS

CBH

DBAS

DSC

灾备服务

VBS

VBS（Volume Backup Service），即云硬盘备份，可为云硬盘创建备份，利用备份数据恢复云硬盘，最大限度保障用户数据的安全性和正确性，确保业务安全。

CSBS（Cloud Server Backup Service），即云服务器备份服务，包含服务器备份和应用备份。

说明：

服务器备份和应用备份共用Karbor和CSBS-VBS Console组件。

CSDR

CSDR（Cloud Server Disaster Recovery），即云服务器容灾，为云服务器提供异地容灾保护。当生产中心发生灾难时，可在异地灾备中心恢复受保护的云服务器。

云服务器容灾服务支持三种保护类型：

CSHA

eReplication作为CSHA服务端，接收CSHA管理控制台的请求。

VHA

eReplication作为VHA服务端，接收VHA管理控制台的请求。

容器服务

CCE

SWR

容器服务

ASM

应用服务

SMN

ROMA Connect

DCS

AOM

LTS

BCS

APM

ServiceStage

EI企业智能服务

MRS

MapReduce服务（MRS）是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的数据处理分析服务。

GaussDB(DWS)

EI企业智能服务

DGC

ModelArts

ModelArts推理平台提供了模型管理、模型部署和资源池管理能力，将训练所得的模型进行统一管理并部署为在线服务或批量服务。

GES

数据库服务

GaussDB(for openGauss)

DRS

DDS

RDS

管理服务

服务构建器

物联网服务

IoTDA

DRIS

IoTA

HiCloud云服务

VMware/Security等

HiCloud云服务接入平台是针对多服务接入华为云Stack所提出的资源整合解决方案，主要提供VMware云服务和Security等各种云服务。

公共组件

LVS

LVS（Linux Virtual Server），即Linux服务器集群系统，为混合云公共服务提供一级负载均衡。

Nginx

NTP

NTP（Network Time Protocol）为混合云云服务、ManageOne和租户提供时间同步。

HAProxy

HAProxy对云服务提供从Console节点到Service节点的负载均衡。云服务请求由Console下发到HAProxy，HAProxy根据相应的请求转发到对应云服务的Service节点。

API Gateway

TaskCenter

即任务中心，用于查看ECS等服务实例的创建情况。

DNS

DNS为云服务、ManageOne和租户提供域名解析服务。

SDR

SDR（Service Detail Record），即计量话单，提供各云服务计量计费的文件输出功能。

CCS

CCS（Cloud Configuration Service），即云配置服务，是基于混合云提供接入第三方云资源的云服务，该服务具有提供跨云统一管理和跨云部署的能力。

DMK

DMK（Deploy Management Kit）提供统一的部署与安装配置平台，实现所有服务的安装部署与补丁升级功能。

GaussDB

GaussDB为各云服务提供公共数据库。

Euler OS

各云服务所在的管理类虚拟机，采用Euler OS作为操作系统。

云管理

ManageOne

提供云服务的运营管理和系统的运维管理。

ManageOne_B2B：B2B大规模场景下，租户侧和管理侧隔离，并支持从内网和公网访问租户侧和管理侧。

eSight

提供服务器、存储设备和网络设备的统一管理。

FusionCare

面向运维人员的统一巡检及FusionSphere离线日志收集工具。

CloudNetDebug

LogCenter

统一日志提供了统一的日志收集、日志分析能力，支持收集管理侧与租户侧的操作日志、云服务的关键运行日志。

IaaS-V

AutoOps

统一门户

统一门户为混合云统一门户，供用户访问，向用户展示混合云平台当前的云服务支持能力，包括云服务的简介、优势、解决方案等。

管理公有云

管理跨华为云Stack

管理华为云Stack Online

资源池

FusionSphere OpenStack

Service OM

提供云服务的运维能力。

管理界面一览表
分类

中文名称

简介

资源池

FusionSphere OpenStack安装部署界面

能够将OpenStack服务的各个组件部署到不同的主机上，提供基础设施云化能力。

Service OM

提供云服务的运维能力。

管理域

ManageOne运维面

ManageOne运营面

ManageOne部署面

提供ManageOne产品信息查看和数据库状态查询功能。

FusionCare

eSight

CloudNetDebug

存储服务

华为分布式块存储自助维护平台（华为分布式块存储作为业务存储时）

提供告警、监控、日志、配置等操作维护功能。

OceanStor DeviceManager（华为分布式块存储作为业务存储时）

OceanStor DeviceManager是一款面向华为全系列存储系统的集成存储管理平台软件，可以轻松便捷地配置、管理和维护存储设备。

OceanStor DeviceManager（SAN存储作为业务存储时）

OceanStor DeviceManager是一款华为存储单设备管理软件，可以轻松便捷地配置、管理和维护存储设备。

OceanStor DeviceManager（SFS服务后端存储OceanStor 9000使用）

OceanStor DeviceManager作为OceanStor 9000的统一的网管界面，完成对集群系统的监控、配置、性能统计和告警浏览等操作。

OceanStor DJ（SFS服务的服务端使用）

OceanStor DJ管理员界面提供图形化操作界面可以快速接入物理基础设施，并创建资源池和服务等级。

灾备服务

eBackup GUI

eBackup GUI即eBackup备份管理系统，用于对受保护环境执行备份、恢复等操作。

eReplication GUI

eReplication GUI即eReplication容灾管理系统，用于对受保护对象执行容灾保护、恢复等操作。

公共组件

API Gateway

DMK

DMK（Deploy Management Kit）提供统一的部署与安装配置平台，实现所有服务的安装部署与补丁升级功能。承载云服务、组件和部分运维工具的安装部署功能，降低安装工时。

FusionAccess
FusionAccess云电脑app是华为旗下FusionAccess云桌面的移动接入端，通过移动端来控制电脑端，更加方便快捷的实现办公需求，FusionAccess云电脑app界面简洁，同时免费向用户提供服务，可以说是同类产品中最为良心的一款之一了

FusionCube 融合基础设施一体机
华为FusionCube融合基础设施一体机（Huawei FusionCube Converged Infrastructure）是华为公司IT产品线云计算领域的旗舰产品。FusionCube遵循开放架构标准，于12U机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎、虚拟化平台及云管理软件，资源可按需调配、线性扩展。

上一篇文章：字幕测试2

下一篇文章： PyTorch——一款好用的深度学习框架