gp性能管理
1.gp数据库的性能由一组segment服务中最慢的segment决定
2.gp数据库暂时不支持触发器
3.Greenplum数据库能够很好的运行在传统的UNIX文件系统上，比如BSD/UFS/FFS文件系统上，很多操作系统支持，在linux操作系统上，XFS是被推荐的，在solaris操作系统上，ZFS是被推荐的。
4.gp数据库概述：
（1）灵活的可扩展性：在线扩展容量和性能；（2）快速接收来自不同来源的大量数据；（3）为数据库内分析提供高性能并行处理能力；（4）支持高的用户并发率；（5）极高的性能：针对快速查询执行和无可比拟的数据加载速度而优化；（6）降低的总体拥有成本：整合数据集市以降低成本；（7）高度可用：自我修复并且完全冗余；（8）高级备份和灾难恢复：利用业界领先的 Data Domain 备份和恢复；（9）可快速部署：专门构建的数据仓库应用装置。
5.硬件考虑因素：
（1）Segment服务器具有相同的硬件配置；推荐：双核，32GB Mem，高速磁盘阵列，4个以上千兆网口。
（2）Master服务器具有较高的cpu和内存资源；
（3）基准性能：3.2GB/s（综合的系统磁盘读写速度）
6.比较常用的有以下几个模块:
dblink: 类似与oracle中的dblink，但是功能要弱上一些，并且只能连接Postgresql或基于postgresql的数据库
oid2name: 获取数据库对象的oid或者根据oid得到数据库对象信息，是一个独立的可执行命令
pg_buffercache: 实时查询shared_buffer的缓存信息
pg_freespacemap: 显示FSM内容
pgrowlocks: 显示行锁信息
pgstattuple: 统计指定表中的”死行”和空闲空间
7.设置Master参数
Master参数只能在GP的master节点中设置。
多个级别中都有设置相同的参数，则以最小登记为准，session覆盖role，role覆盖database，database覆盖system
[system级参数]
步骤如下：
（1）编辑 $MASTER_DATA_DIRECTORY/postgresql.conf 文件
（2）找到你要修改的参数，去掉注释(删掉前面的#)，并且设置你想要的值
（3）保存并关闭文件
（4）对于session参数不需要重启服务，执行如下:
$ gpstop -u
（5）对于需要重启服务的参数修改，执行如下:
$ gpstop -r
[database级参数]
当session参数设置在database级别，每个session连接到数据库时都要使用这个参数。
设置的database参数会覆盖system级的参数。
设置database级参数，使用ALTER DATABASE命令
如:
=# ALTER DATABASE mydatabase SET search_path TO myschema;
[role级参数]
当session参数设置在role级别，每个session通过role初始化时将使用此参数。
设置的role参数会覆盖database级的参数。
如:
=# ALTER ROLE bob SET search_path TO bobschema;
[session级参数]
任何session参数都能在活跃的session中设置，使用 SET 命令。
设置的session参数会覆盖role级的参数。
如:
=# SET work_mem TO '200MB';
=# RESET work_mem;
8.启动master进入维护模式
维护模式(maintenance mode) 指的是 仅仅启动master。
用途 => 在不影响segment用户数据的情况下，仅用utility mode连接到master，并且在system catalog中编辑设定。
步骤 =>（1）进入维护模式：$ gpstart -m；（2）连接到master，做cata_log维护，例如：$ PGOPTIONS='-c gp_session_role=utility' psql template1；（3）完成管理任务后，在进入生产模式production mode前，必须停止工具模式utility mode
9.更新数据
GP中UPDATE的限制条件:
1.distribution key 不能被更新
2.mirror启动时，在update语句中不能使用STABLE 或 VOLATILE
3.不支持RETURNING
UPDATE SQL示例:
UPDATE products SET price = 10 WHERE price = 5; --更新单行或多行数据
10.删除数据
GP中使用DETELE的限制条件:
1.mirror启动时，在delete语句中不能使用STABLE 或 VOLATILE
2.不支持RETURNING
3.Truncate是不扫描table。
DETELE SQL示例:
DELETE FROM products WHERE price = 10; --根据where条件删除
DELETE FROM products; --删除表中所有数据
TRUNCATE mytable; --清空表
11.【事务】
BEGIN 或START TRANSACTION --开启事务
END 或 COMMIT --结束事务
ROLLBACK --回滚
SAVEPOINT -- 分段提交或回滚事务
12.【索引】
在OLTP环境中，为了追求最快的响应时间而大量的使用索引。一般都是单条命中或少量数据集。
但是GP一般都是用来做OLAP，基本都是全表扫描，故应该尽量少的使用索引。
GP推荐在没有加任何索引的情况下，查看下你的查询的消耗情况。(注：有主键的表，系统会自动创建主键索引。)
12.1建索引需考虑：
（1）查询负载：BI一般都访问大数据集，因此不能利用上索引。针对OLAP型数据库，序列读取大批量数据比用索引随机扫描的性能要好。
（2）已压缩的表：索引能提高压缩append-only表的性能
（3）不要频繁更新的字段上建索引
（4）选择性的创建B-tree索引：索引选择度 = 同列的distinct个数 / 全部行数，例如：一个表有1000行，某列有800个唯一值，索引的选择度是0.8。唯一索引的选择度是1.0，这是最好情况
（5）在低选择性的列使用Bitmap索引：GP新增Bitmap索引，在postgresql是没有的
（6）索引列通常用来做join：常常被用来join的字段，建索引可以提高join的性能。(如: 外键)
（7）索引列经常被频繁使用在where语句中
（8）避免重复列创建索引
（9）批量导入数据需删除索引：导入大量数据时,先删除索引,等数据导完后再重建。这样速度会更快。
（10）考虑一个cluster索引：clustering an index意味着物理上数据在硬盘上是被排序过的。由于数据之间物理上更近了，读取的时候更有序。
12.2索引类型：
（1）B-tree；（2）GiST --用于GIS；（3）Bitmap (psotgres中无此索引类型)
注：gp中hash和GIN索引都被停用了。
12.3创建索引
CREATE INDEX title_idx ON films (title); --默认创建B-tree索引
CREATE INDEX gender_bmp_idx ON employee USING bitmap (gender);--创建bitmap索引
12.4检查索引使用
尽管在gp中索引不用维护和优化，但是检查索引使用时的负载情况还是很重要的。
查看EXPLAIN中出现的提示：
（1）Index Scan
（2）Bitmap Heap Scan
（3）Bitmap Index Scan
（4）BitmapAnd or BitmapOr
12.5管理索引
在某些情况下，一个低性能的索引可能需要进行REBUILD。update和delete是不更新bitmap 索引的，因此如果你要update或delete一个有bitmap索引的表的话，将需要rebuild。
REINDEX my_table; --重建my_table上的所有index
REINDEX my_index; --重建my_index索引
DROP INDEX title_idx; --删除索引title_idx
13.GP支持分区表，主要用来存放大表，如fact table
目的：（1）把大数据切片,便于查询；（2）便于数据库维护；（3）分区创建时，每个分区会自带一个Check约束，来限定数据的范围。Check约束也用于执行查询时定位分区。
支持分区类型：（1）范围分区 range partition；（2）列表分区 list partition；（3）组合分区
（1）partition 和 distribution的区别
distribution -- 物理上拆分表数据、能并行执行查询
partition -- 逻辑上拆分大表数据提高查询性能、利于数据仓库维护工作
（2）查看表分区
pg_partitions --查看创建分区信息
pg_partition_templates --查看是用subpartition模板创建的子分区
pg_partition_column --查看分区字段
14.选择列的数据类型
（1）字符类型，gp中CHAR、VARCHAR、TEXT在性能上没有什么差异。但其它数据库系统中char有性能优势。在大多数情况下，可以用CHAR来替代TEXT 或 VARCHAR。
（2）数字类型，最好使用最小的数据类型。 用INT or SMALLINT 代替 BIGINT。
（3）当需要跨表做join的时候，需要保证数据类型是一致。 不然的话，gp将做数据类型转换，造成性能消耗。
（4）GP中还包含一些集合数据类型。
15.约束：兼容postgresql，包含：check、not null、unique、primary key，暂不支持Foreign Key
16.选择分布策略：DISTRIBUTED BY (哈希分布)和DISTRIBUTED RANDOMLY(随机分布 Round-Robin)
考虑条件(重要性依次排序)
（1）Even Data Distribution：为了得到最好的性能，所有segment的数据量应该是相等的。如果出现不平衡的话，在查询的时候，数据量多的segment的负载就会很大。
（2）Local and Distributed Operations：要做join、sort或aggregation的操作的话，segment-level(segment内部)比system-level(segment之间)要快。
（3）Even Query Processing：每个Segment都获得相等的查询请求负载。
17.表存储方式
（1）Heap 或 Append-Only存储：GP默认使用堆表。堆表最好用在小表，如：维表(初始化后经常更新)。Append-Only表不能update和delete。一般用来做批量数据导入。 不建议单行插入。
CREATE TABLE bar (a int, b text)
WITH (appendonly=true)
DISTRIBUTED BY (a);
（2）Row 或 Column-Oriented 存储：行存储、列存储、混合存储
a.数据需要更新
行存储 => 表数据被导入后，如果需要更新的话
列存储 => 只适合append-only表。
b.经常插入数据
行存储 => 如果频繁插入数据
列存储 => 对于写操作没有做优化 (同一行的列值必须写到磁盘的不同位置)
c.多列查询请求
行存储 => 在select或where子句中，查询所有列或大部分列
列存储 => 在where或having子句中，查询单列的值汇总或单行过滤
SELECT AVG(salary)... WHERE salary > 10000
SELECT salary, dept ... WHERE state='CA'
d.表中许多列
行存储 => 同一次请求很多列 或 行数据大小相对较小
列存储 => 使用宽表，查询时候仅仅查少数列
e.压缩
行存储 => 不可用
列存储 => 可用
如：(注：使用列存储必须是append-only表)
CREATE TABLE bar (a int, b text)
WITH (appendonly=true, orientation=column)
DISTRIBUTED BY (a);
（3）使用压缩 (Append-Only表才适用)：可以数据库内置的压缩(zlib 或 QuickLZ)。如果使用了已压缩的文件系统，建append-only表将不能使用压缩功能。
在选择append-only表的压缩类型和级别的时候需考虑一下因素：a.CPU的使用率；b.压缩率/磁盘大小；c.压缩速率；d.解压速率/扫描速率。
尽管我们为了减少数据容量大小而使用压缩功能，但是我们必须考虑到数据在压缩与解压的过程中的时间和cpu的消耗。
压缩的性能取决于硬件、查询调优设置、其它因素。
QuickLZ - 低压缩率、低cpu消耗、压缩数据块
zlib - 高压缩率、低速
CREATE TABLE foo (a int, b text)
WITH (appendonly=true, compresstype=zlib,
compresslevel=5);
(注: QuickLZ的压缩级别只有level1，zlib能够设置从1-9)
18.Schema是Database中逻辑组织object和data。
在同一Database中，不同schema的对象可以使用相同的名称。例如：A schema 中表叫tab1，B schema中表也可以叫tab1。但是在同一个schema中就会报错。
SELECT * FROM myschema.mytable;
注意：如果sql中指定了schema名字的话，就查询指定schema，否则查询search path中配置参数。
（1）用户级schema
public => GP默认安装，default schema
（2）系统级schema
pg_catalog => 包含系统数据字典表，内建的数据类型、函数和操作符。
information_schema => 包含标准视图的集合，视图都是从系统数据字典表中提出的信息。
pg_toast => 存放大对象 (GP内部使用)
pg_bitmapindex => 存放bitmap索引对象 (GP内部使用)
pg_aoseg => 存放append-only表 (GP内部使用)
pg_toolkit => 管理schema,查询系统日志文件和其它系统度量单位。包含一些外部表、视图和函数。
19.Database
GP能够创建1个或多个数据库，但是client程序每次只能访问1个数据库(不能跨库查询)。建库的时候不指定模板的话，默认使用template1(template1是在GP初始化就已经生成的)。
除这个模板以外，还有2个其它模板： template0 和 Postgres (供系统内部使用，不应该被删除和修改)。template0能创建一个完整干净的数据库，里面只有GP预定义的一些标准对象。
（1）3种建库方式
=> CREATE DATABASE new_dbname; (客户端连接,必须是superuser或有建库权限)
$ createdb -h masterhost -p 5432 mydatabase (命令行建库)
=> CREATE DATABASE new_dbname TEMPLATE old_dbname; (克隆数据库)
（2）2种删库方式
(注:删库是不能回滚,慎用！)
=> \c template1;
=> DROP DATABASE mydatabase; (客户端连接,先连接template1,然后再drop)
$ dropdb -h masterhost -p 5432 mydatabase(命令行)
（3）管理
SELECT datname FROM pg_datbase;(列出数据库清单)
=> ALTER DATABASE mydatabase SET search_path TO myschema, public, pg_catalog; (修改数据库参数)
20.Tablespace & Filespace
Tablespaces 允许每台机器使用多种文件系统，并决定如何才能使用最佳的物理存储方式。
表空间被使用的多种原因：a.针对数据使用频率来选择不同的存储类型；b.控制某些数据库对象的 I/O Performance。
filespace指的是所有组件的文件系统位置的集合。1个filespace可以被1个或多个tablespace使用。以下2个表空间使用的filespace是pg_system(GP初始化的时候指定的)：
pg_global --(存放系统元数据)
gp_default --(template0和template1库的缺省表空间)
21.【限制并发】postgresql.conf文件参数
（1）max_connection --最大连接数
要变更的话，master和segment都要修改。 segment的值必须是master的5-10倍。
（2）和max_connection相关参数，max_prepared_transactions --最大预备事务数
master的max_prepared_transactions必须设置为大于或等于max_connection, segment的max_prepared_transactions应该设置和master一样。
例如:
在$MASTER_DATA_DIRECTORY/postgresql.conf(含standby master)中:
max_connection = 100
max_prepared_transactions = 100
在$SEGMENT_DATA_DIRECTORY/postgresql.conf中:
max_connection = 500
max_prepared_transactions = 100
修改步骤如下：
a.停库 $ gpstop
b.修改master参数
c.修改每个segment参数
d.重启 $ gpstart
22.【加密的C/S连接】GP支持SSL连接。
条件如下：
1.client和master server需要安装openSSL
2.设置master中postgresql.conf参数：ssl=on。当ssl模式开启时候，将会搜索master的数据目录包含的2个文件: server.key(server private key)和server.crt (server certificate)
23.GP是通过roles来管理数据的访问控制。Roles包含2个概念：Users和Groups。
一个role可以是一个数据库的user或group，也可以是两者兼备。Role能拥有数据库的对象（例如：tables），并且能够把访问数据库对象权限开放给其它的role。一个Role也可是另一个角色的成员，子role可以继承父role的权限。
（1）每个GP数据库系统可以说是数据库roles(users和groups)的集合。一般登入时默认使用操作系统当前用户登入。Roles被定义成系统级别，意味着在系统中他们能访问所有的数据库。
（2）【gpadmin用户】：在初始化数据库的时候，一般都使用gpadmin (既是操作系统用户，又是数据库的超级用户),它拥有数据库的最高权限。gpadmin的权限太大了，一定要控制好权限，只用来做一个数据库维护工作(如：数据库升级或扩展)。
（3）Role和User的区别：ROLE + LOGIN权限 = USER
（4）【创建Groups】
Role也是一个Group，使用GRANT和REVOKE来增加和删除role。
例如：
=# CREATE ROLE admin CREATEROLE CREATEDB;
=# GRANT admin TO john, sally;
=# REVOKE admin FROM bob;
可以针对独立对象权限进行授权：
=# GRANT ALL ON TABLE mytable TO admin;
=# GRANT ALL ON SCHEMA myschema TO admin;
=# GRANT ALL ON DATABASE mydb TO admin;
24.【查询计划】：查看Query Plan的时是从底至上的。
Motion --主要是涉及到多个节点之间完成任务的话，节点之间会发生数据移动。
Slice --GP在执行查询时为了获得最优性能，把任务进行了切片。一个查询计划是根据motion来进行切分的，每个slice以motion作为边界。
Redistribute Motion --Segment之间移动数据。这个是非常之消耗性能的。在前期表设计的时候就要避免这样的操作。
Gather Motion --Segment将数据传给Master。不是所有的查询计划都调用gather motion。例如：CREATE TABLE AS SELECT ...这个就没有gather motion,结果被存储到新表里面是不需要经过master的。
25.【并行查询】
Query Dispather(QD) --Master节点查询任务处理，负责创建和分配查询计划、收集传送最终结果
Query Executor(QE) --Segment节点查询处理，负责完成数据的计算、多个QE之间的中间结果通讯。为查询计划的每个slice会被分配到至少一个worker process
Gangs --工作于相同slice的查询计划的相关process。当一个slice任务完成后,这个gang会把数据向上级gang传递。内部通信是通过内部进程来控制的。
26.GP测试加载效率达到 每小时2TB。
27.【收费方式】
1. 按容量收费，1T起步，买的越多的话价格越便宜
2. 买一体机Data Computing Appliance (DCA)，EMC的硬件和GP绑在一起卖的
28.关于interconnect冗余
为了保证网络高可用，需要部署2个千兆交换机。如果是线下测试环境的话，只要部署1个千兆交换机就行了。
Interconnect网络连接层作用：负责各segment节点进程通信，使用标准的千兆交换机。
数据传输缺省使用UDP协议。使用UPD时，GP会做额外数据包校验和对未执行的也会做检查。故在可靠性上，基本和TCP上是等价的，在性能和扩展性上，却优于TCP。
使用TCP的话，GP有1000个segment的限制，UDP则没有。
29.Greenplum数据库是在postgreSQL开发出来的，基于MPP(massively parallel processing)和shared-Nothing架构（Oracle RAC是shared everything架构）。
主要用在数据仓库中，做大规模数据和复杂的查询功能所涉及。
与现有的数据仓库解决方案(Oracle、IBM、Microsoft、Sybase和Teradata)相比有他自己的优势：1.速度更快 2.支持数据量更大，扩展性较好 3.价格更低
缺点：1.对局域网带宽要求很高，一般都是千兆交换机。2、不支持在线扩容，扩容的话至少要增加2台以上的机器。后若不是成2倍扩展，需要重新平均分布所有数据。
2.gp数据库暂时不支持触发器
3.Greenplum数据库能够很好的运行在传统的UNIX文件系统上，比如BSD/UFS/FFS文件系统上，很多操作系统支持，在linux操作系统上，XFS是被推荐的，在solaris操作系统上，ZFS是被推荐的。
4.gp数据库概述：
（1）灵活的可扩展性：在线扩展容量和性能；（2）快速接收来自不同来源的大量数据；（3）为数据库内分析提供高性能并行处理能力；（4）支持高的用户并发率；（5）极高的性能：针对快速查询执行和无可比拟的数据加载速度而优化；（6）降低的总体拥有成本：整合数据集市以降低成本；（7）高度可用：自我修复并且完全冗余；（8）高级备份和灾难恢复：利用业界领先的 Data Domain 备份和恢复；（9）可快速部署：专门构建的数据仓库应用装置。
5.硬件考虑因素：
（1）Segment服务器具有相同的硬件配置；推荐：双核，32GB Mem，高速磁盘阵列，4个以上千兆网口。
（2）Master服务器具有较高的cpu和内存资源；
（3）基准性能：3.2GB/s（综合的系统磁盘读写速度）
6.比较常用的有以下几个模块:
dblink: 类似与oracle中的dblink，但是功能要弱上一些，并且只能连接Postgresql或基于postgresql的数据库
oid2name: 获取数据库对象的oid或者根据oid得到数据库对象信息，是一个独立的可执行命令
pg_buffercache: 实时查询shared_buffer的缓存信息
pg_freespacemap: 显示FSM内容
pgrowlocks: 显示行锁信息
pgstattuple: 统计指定表中的”死行”和空闲空间
7.设置Master参数
Master参数只能在GP的master节点中设置。
多个级别中都有设置相同的参数，则以最小登记为准，session覆盖role，role覆盖database，database覆盖system
[system级参数]
步骤如下：
（1）编辑 $MASTER_DATA_DIRECTORY/postgresql.conf 文件
（2）找到你要修改的参数，去掉注释(删掉前面的#)，并且设置你想要的值
（3）保存并关闭文件
（4）对于session参数不需要重启服务，执行如下:
$ gpstop -u
（5）对于需要重启服务的参数修改，执行如下:
$ gpstop -r
[database级参数]
当session参数设置在database级别，每个session连接到数据库时都要使用这个参数。
设置的database参数会覆盖system级的参数。
设置database级参数，使用ALTER DATABASE命令
如:
=# ALTER DATABASE mydatabase SET search_path TO myschema;
[role级参数]
当session参数设置在role级别，每个session通过role初始化时将使用此参数。
设置的role参数会覆盖database级的参数。
如:
=# ALTER ROLE bob SET search_path TO bobschema;
[session级参数]
任何session参数都能在活跃的session中设置，使用 SET 命令。
设置的session参数会覆盖role级的参数。
如:
=# SET work_mem TO '200MB';
=# RESET work_mem;
8.启动master进入维护模式
维护模式(maintenance mode) 指的是 仅仅启动master。
用途 => 在不影响segment用户数据的情况下，仅用utility mode连接到master，并且在system catalog中编辑设定。
步骤 =>（1）进入维护模式：$ gpstart -m；（2）连接到master，做cata_log维护，例如：$ PGOPTIONS='-c gp_session_role=utility' psql template1；（3）完成管理任务后，在进入生产模式production mode前，必须停止工具模式utility mode
9.更新数据
GP中UPDATE的限制条件:
1.distribution key 不能被更新
2.mirror启动时，在update语句中不能使用STABLE 或 VOLATILE
3.不支持RETURNING
UPDATE SQL示例:
UPDATE products SET price = 10 WHERE price = 5; --更新单行或多行数据
10.删除数据
GP中使用DETELE的限制条件:
1.mirror启动时，在delete语句中不能使用STABLE 或 VOLATILE
2.不支持RETURNING
3.Truncate是不扫描table。
DETELE SQL示例:
DELETE FROM products WHERE price = 10; --根据where条件删除
DELETE FROM products; --删除表中所有数据
TRUNCATE mytable; --清空表
11.【事务】
BEGIN 或START TRANSACTION --开启事务
END 或 COMMIT --结束事务
ROLLBACK --回滚
SAVEPOINT -- 分段提交或回滚事务
12.【索引】
在OLTP环境中，为了追求最快的响应时间而大量的使用索引。一般都是单条命中或少量数据集。
但是GP一般都是用来做OLAP，基本都是全表扫描，故应该尽量少的使用索引。
GP推荐在没有加任何索引的情况下，查看下你的查询的消耗情况。(注：有主键的表，系统会自动创建主键索引。)
12.1建索引需考虑：
（1）查询负载：BI一般都访问大数据集，因此不能利用上索引。针对OLAP型数据库，序列读取大批量数据比用索引随机扫描的性能要好。
（2）已压缩的表：索引能提高压缩append-only表的性能
（3）不要频繁更新的字段上建索引
（4）选择性的创建B-tree索引：索引选择度 = 同列的distinct个数 / 全部行数，例如：一个表有1000行，某列有800个唯一值，索引的选择度是0.8。唯一索引的选择度是1.0，这是最好情况
（5）在低选择性的列使用Bitmap索引：GP新增Bitmap索引，在postgresql是没有的
（6）索引列通常用来做join：常常被用来join的字段，建索引可以提高join的性能。(如: 外键)
（7）索引列经常被频繁使用在where语句中
（8）避免重复列创建索引
（9）批量导入数据需删除索引：导入大量数据时,先删除索引,等数据导完后再重建。这样速度会更快。
（10）考虑一个cluster索引：clustering an index意味着物理上数据在硬盘上是被排序过的。由于数据之间物理上更近了，读取的时候更有序。
12.2索引类型：
（1）B-tree；（2）GiST --用于GIS；（3）Bitmap (psotgres中无此索引类型)
注：gp中hash和GIN索引都被停用了。
12.3创建索引
CREATE INDEX title_idx ON films (title); --默认创建B-tree索引
CREATE INDEX gender_bmp_idx ON employee USING bitmap (gender);--创建bitmap索引
12.4检查索引使用
尽管在gp中索引不用维护和优化，但是检查索引使用时的负载情况还是很重要的。
查看EXPLAIN中出现的提示：
（1）Index Scan
（2）Bitmap Heap Scan
（3）Bitmap Index Scan
（4）BitmapAnd or BitmapOr
12.5管理索引
在某些情况下，一个低性能的索引可能需要进行REBUILD。update和delete是不更新bitmap 索引的，因此如果你要update或delete一个有bitmap索引的表的话，将需要rebuild。
REINDEX my_table; --重建my_table上的所有index
REINDEX my_index; --重建my_index索引
DROP INDEX title_idx; --删除索引title_idx
13.GP支持分区表，主要用来存放大表，如fact table
目的：（1）把大数据切片,便于查询；（2）便于数据库维护；（3）分区创建时，每个分区会自带一个Check约束，来限定数据的范围。Check约束也用于执行查询时定位分区。
支持分区类型：（1）范围分区 range partition；（2）列表分区 list partition；（3）组合分区
（1）partition 和 distribution的区别
distribution -- 物理上拆分表数据、能并行执行查询
partition -- 逻辑上拆分大表数据提高查询性能、利于数据仓库维护工作
（2）查看表分区
pg_partitions --查看创建分区信息
pg_partition_templates --查看是用subpartition模板创建的子分区
pg_partition_column --查看分区字段
14.选择列的数据类型
（1）字符类型，gp中CHAR、VARCHAR、TEXT在性能上没有什么差异。但其它数据库系统中char有性能优势。在大多数情况下，可以用CHAR来替代TEXT 或 VARCHAR。
（2）数字类型，最好使用最小的数据类型。 用INT or SMALLINT 代替 BIGINT。
（3）当需要跨表做join的时候，需要保证数据类型是一致。 不然的话，gp将做数据类型转换，造成性能消耗。
（4）GP中还包含一些集合数据类型。
15.约束：兼容postgresql，包含：check、not null、unique、primary key，暂不支持Foreign Key
16.选择分布策略：DISTRIBUTED BY (哈希分布)和DISTRIBUTED RANDOMLY(随机分布 Round-Robin)
考虑条件(重要性依次排序)
（1）Even Data Distribution：为了得到最好的性能，所有segment的数据量应该是相等的。如果出现不平衡的话，在查询的时候，数据量多的segment的负载就会很大。
（2）Local and Distributed Operations：要做join、sort或aggregation的操作的话，segment-level(segment内部)比system-level(segment之间)要快。
（3）Even Query Processing：每个Segment都获得相等的查询请求负载。
17.表存储方式
（1）Heap 或 Append-Only存储：GP默认使用堆表。堆表最好用在小表，如：维表(初始化后经常更新)。Append-Only表不能update和delete。一般用来做批量数据导入。 不建议单行插入。
CREATE TABLE bar (a int, b text)
WITH (appendonly=true)
DISTRIBUTED BY (a);
（2）Row 或 Column-Oriented 存储：行存储、列存储、混合存储
a.数据需要更新
行存储 => 表数据被导入后，如果需要更新的话
列存储 => 只适合append-only表。
b.经常插入数据
行存储 => 如果频繁插入数据
列存储 => 对于写操作没有做优化 (同一行的列值必须写到磁盘的不同位置)
c.多列查询请求
行存储 => 在select或where子句中，查询所有列或大部分列
列存储 => 在where或having子句中，查询单列的值汇总或单行过滤
SELECT AVG(salary)... WHERE salary > 10000
SELECT salary, dept ... WHERE state='CA'
d.表中许多列
行存储 => 同一次请求很多列 或 行数据大小相对较小
列存储 => 使用宽表，查询时候仅仅查少数列
e.压缩
行存储 => 不可用
列存储 => 可用
如：(注：使用列存储必须是append-only表)
CREATE TABLE bar (a int, b text)
WITH (appendonly=true, orientation=column)
DISTRIBUTED BY (a);
（3）使用压缩 (Append-Only表才适用)：可以数据库内置的压缩(zlib 或 QuickLZ)。如果使用了已压缩的文件系统，建append-only表将不能使用压缩功能。
在选择append-only表的压缩类型和级别的时候需考虑一下因素：a.CPU的使用率；b.压缩率/磁盘大小；c.压缩速率；d.解压速率/扫描速率。
尽管我们为了减少数据容量大小而使用压缩功能，但是我们必须考虑到数据在压缩与解压的过程中的时间和cpu的消耗。
压缩的性能取决于硬件、查询调优设置、其它因素。
QuickLZ - 低压缩率、低cpu消耗、压缩数据块
zlib - 高压缩率、低速
CREATE TABLE foo (a int, b text)
WITH (appendonly=true, compresstype=zlib,
compresslevel=5);
(注: QuickLZ的压缩级别只有level1，zlib能够设置从1-9)
18.Schema是Database中逻辑组织object和data。
在同一Database中，不同schema的对象可以使用相同的名称。例如：A schema 中表叫tab1，B schema中表也可以叫tab1。但是在同一个schema中就会报错。
SELECT * FROM myschema.mytable;
注意：如果sql中指定了schema名字的话，就查询指定schema，否则查询search path中配置参数。
（1）用户级schema
public => GP默认安装，default schema
（2）系统级schema
pg_catalog => 包含系统数据字典表，内建的数据类型、函数和操作符。
information_schema => 包含标准视图的集合，视图都是从系统数据字典表中提出的信息。
pg_toast => 存放大对象 (GP内部使用)
pg_bitmapindex => 存放bitmap索引对象 (GP内部使用)
pg_aoseg => 存放append-only表 (GP内部使用)
pg_toolkit => 管理schema,查询系统日志文件和其它系统度量单位。包含一些外部表、视图和函数。
19.Database
GP能够创建1个或多个数据库，但是client程序每次只能访问1个数据库(不能跨库查询)。建库的时候不指定模板的话，默认使用template1(template1是在GP初始化就已经生成的)。
除这个模板以外，还有2个其它模板： template0 和 Postgres (供系统内部使用，不应该被删除和修改)。template0能创建一个完整干净的数据库，里面只有GP预定义的一些标准对象。
（1）3种建库方式
=> CREATE DATABASE new_dbname; (客户端连接,必须是superuser或有建库权限)
$ createdb -h masterhost -p 5432 mydatabase (命令行建库)
=> CREATE DATABASE new_dbname TEMPLATE old_dbname; (克隆数据库)
（2）2种删库方式
(注:删库是不能回滚,慎用！)
=> \c template1;
=> DROP DATABASE mydatabase; (客户端连接,先连接template1,然后再drop)
$ dropdb -h masterhost -p 5432 mydatabase(命令行)
（3）管理
SELECT datname FROM pg_datbase;(列出数据库清单)
=> ALTER DATABASE mydatabase SET search_path TO myschema, public, pg_catalog; (修改数据库参数)
20.Tablespace & Filespace
Tablespaces 允许每台机器使用多种文件系统，并决定如何才能使用最佳的物理存储方式。
表空间被使用的多种原因：a.针对数据使用频率来选择不同的存储类型；b.控制某些数据库对象的 I/O Performance。
filespace指的是所有组件的文件系统位置的集合。1个filespace可以被1个或多个tablespace使用。以下2个表空间使用的filespace是pg_system(GP初始化的时候指定的)：
pg_global --(存放系统元数据)
gp_default --(template0和template1库的缺省表空间)
21.【限制并发】postgresql.conf文件参数
（1）max_connection --最大连接数
要变更的话，master和segment都要修改。 segment的值必须是master的5-10倍。
（2）和max_connection相关参数，max_prepared_transactions --最大预备事务数
master的max_prepared_transactions必须设置为大于或等于max_connection, segment的max_prepared_transactions应该设置和master一样。
例如:
在$MASTER_DATA_DIRECTORY/postgresql.conf(含standby master)中:
max_connection = 100
max_prepared_transactions = 100
在$SEGMENT_DATA_DIRECTORY/postgresql.conf中:
max_connection = 500
max_prepared_transactions = 100
修改步骤如下：
a.停库 $ gpstop
b.修改master参数
c.修改每个segment参数
d.重启 $ gpstart
22.【加密的C/S连接】GP支持SSL连接。
条件如下：
1.client和master server需要安装openSSL
2.设置master中postgresql.conf参数：ssl=on。当ssl模式开启时候，将会搜索master的数据目录包含的2个文件: server.key(server private key)和server.crt (server certificate)
23.GP是通过roles来管理数据的访问控制。Roles包含2个概念：Users和Groups。
一个role可以是一个数据库的user或group，也可以是两者兼备。Role能拥有数据库的对象（例如：tables），并且能够把访问数据库对象权限开放给其它的role。一个Role也可是另一个角色的成员，子role可以继承父role的权限。
（1）每个GP数据库系统可以说是数据库roles(users和groups)的集合。一般登入时默认使用操作系统当前用户登入。Roles被定义成系统级别，意味着在系统中他们能访问所有的数据库。
（2）【gpadmin用户】：在初始化数据库的时候，一般都使用gpadmin (既是操作系统用户，又是数据库的超级用户),它拥有数据库的最高权限。gpadmin的权限太大了，一定要控制好权限，只用来做一个数据库维护工作(如：数据库升级或扩展)。
（3）Role和User的区别：ROLE + LOGIN权限 = USER
（4）【创建Groups】
Role也是一个Group，使用GRANT和REVOKE来增加和删除role。
例如：
=# CREATE ROLE admin CREATEROLE CREATEDB;
=# GRANT admin TO john, sally;
=# REVOKE admin FROM bob;
可以针对独立对象权限进行授权：
=# GRANT ALL ON TABLE mytable TO admin;
=# GRANT ALL ON SCHEMA myschema TO admin;
=# GRANT ALL ON DATABASE mydb TO admin;
24.【查询计划】：查看Query Plan的时是从底至上的。
Motion --主要是涉及到多个节点之间完成任务的话，节点之间会发生数据移动。
Slice --GP在执行查询时为了获得最优性能，把任务进行了切片。一个查询计划是根据motion来进行切分的，每个slice以motion作为边界。
Redistribute Motion --Segment之间移动数据。这个是非常之消耗性能的。在前期表设计的时候就要避免这样的操作。
Gather Motion --Segment将数据传给Master。不是所有的查询计划都调用gather motion。例如：CREATE TABLE AS SELECT ...这个就没有gather motion,结果被存储到新表里面是不需要经过master的。
25.【并行查询】
Query Dispather(QD) --Master节点查询任务处理，负责创建和分配查询计划、收集传送最终结果
Query Executor(QE) --Segment节点查询处理，负责完成数据的计算、多个QE之间的中间结果通讯。为查询计划的每个slice会被分配到至少一个worker process
Gangs --工作于相同slice的查询计划的相关process。当一个slice任务完成后,这个gang会把数据向上级gang传递。内部通信是通过内部进程来控制的。
26.GP测试加载效率达到 每小时2TB。
27.【收费方式】
1. 按容量收费，1T起步，买的越多的话价格越便宜
2. 买一体机Data Computing Appliance (DCA)，EMC的硬件和GP绑在一起卖的
28.关于interconnect冗余
为了保证网络高可用，需要部署2个千兆交换机。如果是线下测试环境的话，只要部署1个千兆交换机就行了。
Interconnect网络连接层作用：负责各segment节点进程通信，使用标准的千兆交换机。
数据传输缺省使用UDP协议。使用UPD时，GP会做额外数据包校验和对未执行的也会做检查。故在可靠性上，基本和TCP上是等价的，在性能和扩展性上，却优于TCP。
使用TCP的话，GP有1000个segment的限制，UDP则没有。
29.Greenplum数据库是在postgreSQL开发出来的，基于MPP(massively parallel processing)和shared-Nothing架构（Oracle RAC是shared everything架构）。
主要用在数据仓库中，做大规模数据和复杂的查询功能所涉及。
与现有的数据仓库解决方案(Oracle、IBM、Microsoft、Sybase和Teradata)相比有他自己的优势：1.速度更快 2.支持数据量更大，扩展性较好 3.价格更低
缺点：1.对局域网带宽要求很高，一般都是千兆交换机。2、不支持在线扩容，扩容的话至少要增加2台以上的机器。后若不是成2倍扩展，需要重新平均分布所有数据。