PostgreSQL查询SQL语义分析（1）—解析查询对象addRangeTableEntry

本文主要介绍PG在执行查询时，对SQL的语义分析重写过程中的查询对象解析过程，处理的函数为addRangeTableEntry，分析查询对象信息。

目前创新互联已为1000多家的企业提供了网站建设、域名、雅安服务器托管、网站托管、服务器租用、企业网站设计、昌乐网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

本函数是解析查询 (包含增删改查操作) 执行过程中涉及的查询对象 (表、视图、子查询等) 的信息。

每次调用只解析一个对象。

1、通过观察addRangeTableEntry的执行过程，了解SQL语义解析transformFromClause的处理过程。

2、表结构信是从缓存中结构读取，然后获取自己需要的信息。

3、语义分析后转换为relid（关联对象id），提升查询执行的处理效率。

postgresql和mysql的区别

特性 MySQL PostgreSQL

实例 通过执行 MySQL 命令（mysqld）启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mysqld 实例。一个实例管理器可以监视 mysqld 的各个实例。

通过执行 Postmaster 进程（pg_ctl）启动实例。一个实例可以管理一个或多个数据库，这些数据库组成一个集群。集群是磁盘上的一个区域，这个区域在安装时初始化并由一个目录组成，所有数据都存储在这个目录中。使用 initdb 创建第一个数据库。一台机器上可以启动多个实例。

数据库 数据库是命名的对象集合，是与实例中的其他数据库分离的实体。一个 MySQL 实例中的所有数据库共享同一个系统编目。 数据库是命名的对象集合，每个数据库是与其他数据库分离的实体。每个数据库有自己的系统编目，但是所有数据库共享 pg_databases。

数据缓冲区 通过 innodb_buffer_pool_size 配置参数设置数据缓冲区。这个参数是内存缓冲区的字节数，InnoDB 使用这个缓冲区来缓存表的数据和索引。在专用的数据库服务器上，这个参数最高可以设置为机器物理内存量的 80%。 Shared_buffers 缓存。在默认情况下分配 64 个缓冲区。默认的块大小是 8K。可以通过设置 postgresql.conf 文件中的 shared_buffers 参数来更新缓冲区缓存。

数据库连接 客户机使用 CONNECT 或 USE 语句连接数据库，这时要指定数据库名，还可以指定用户 id 和密码。使用角色管理数据库中的用户和用户组。 客户机使用 connect 语句连接数据库，这时要指定数据库名，还可以指定用户 id 和密码。使用角色管理数据库中的用户和用户组。

身份验证 MySQL 在数据库级管理身份验证。 基本只支持密码认证。 PostgreSQL 支持丰富的认证方法：信任认证、口令认证、Kerberos 认证、基于 Ident 的认证、LDAP 认证、PAM 认证

加密 可以在表级指定密码来对数据进行加密。还可以使用 AES_ENCRYPT 和 AES_DECRYPT 函数对列数据进行加密和解密。可以通过 SSL 连接实现网络加密。 可以使用 pgcrypto 库中的函数对列进行加密/解密。可以通过 SSL 连接实现网络加密。

审计 可以对 querylog 执行 grep。 可以在表上使用 PL/pgSQL 触发器来进行审计。

查询解释 使用 EXPLAIN 命令查看查询的解释计划。 使用 EXPLAIN 命令查看查询的解释计划。

备份、恢复和日志 InnoDB 使用写前（write-ahead）日志记录。支持在线和离线完全备份以及崩溃和事务恢复。需要第三方软件才能支持热备份。 在数据目录的一个子目录中维护写前日志。支持在线和离线完全备份以及崩溃、时间点和事务恢复。 可以支持热备份。

JDBC 驱动程序 可以从 参考资料 下载 JDBC 驱动程序。 可以从 参考资料 下载 JDBC 驱动程序。

表类型 取决于存储引擎。例如，NDB 存储引擎支持分区表，内存引擎支持内存表。 支持临时表、常规表以及范围和列表类型的分区表。不支持哈希分区表。 由于PostgreSQL的表分区是通过表继承和规则系统完成了，所以可以实现更复杂的分区方式。

索引类型 取决于存储引擎。MyISAM：BTREE，InnoDB：BTREE。 支持 B-树、哈希、R-树和 Gist 索引。

约束 支持主键、外键、惟一和非空约束。对检查约束进行解析，但是不强制实施。 支持主键、外键、惟一、非空和检查约束。

存储过程和用户定义函数 支持 CREATE PROCEDURE 和 CREATE FUNCTION 语句。存储过程可以用 SQL 和 C++ 编写。用户定义函数可以用 SQL、C 和 C++ 编写。 没有单独的存储过程，都是通过函数实现的。用户定义函数可以用 PL/pgSQL（专用的过程语言）、PL/Tcl、PL/Perl、PL/Python 、SQL 和 C 编写。

触发器 支持行前触发器、行后触发器和语句触发器，触发器语句用过程语言复合语句编写。 支持行前触发器、行后触发器和语句触发器，触发器过程用 C 编写。

系统配置文件 my.conf Postgresql.conf

数据库配置 my.conf Postgresql.conf

客户机连接文件 my.conf pg_hba.conf

XML 支持 有限的 XML 支持。 有限的 XML 支持。

数据访问和管理服务器 OPTIMIZE TABLE —— 回收未使用的空间并消除数据文件的碎片

myisamchk -analyze —— 更新查询优化器所使用的统计数据（MyISAM 存储引擎）

mysql —— 命令行工具

MySQL Administrator —— 客户机 GUI 工具 Vacuum —— 回收未使用的空间

Analyze —— 更新查询优化器所使用的统计数据

psql —— 命令行工具

pgAdmin —— 客户机 GUI 工具

并发控制 支持表级和行级锁。InnoDB 存储引擎支持 READ_COMMITTED、READ_UNCOMMITTED、REPEATABLE_READ 和 SERIALIZABLE。使用 SET TRANSACTION ISOLATION LEVEL 语句在事务级设置隔离级别。 支持表级和行级锁。支持的 ANSI 隔离级别是 Read Committed（默认 —— 能看到查询启动时数据库的快照）和 Serialization（与 Repeatable Read 相似 —— 只能看到在事务启动之前提交的结果）。使用 SET TRANSACTION 语句在事务级设置隔离级别。使用 SET SESSION 在会话级进行设置。

MySQL相对于PostgreSQL的劣势：

MySQL

PostgreSQL

最重要的引擎InnoDB很早就由Oracle公司控制。目前整个MySQL数据库都由Oracle控制。

BSD协议，没有被大公司垄断。

对复杂查询的处理较弱，查询优化器不够成熟

很强大的查询优化器，支持很复杂的查询处理。

只有一种表连接类型:嵌套循环连接(nested-loop),不支持排序-合并连接(sort-merge join)与散列连接(hash join)。

都支持

PostgreSQL查询SQL的语法分析（1）——词法分析

postgreSQL命令的词法分析和语法分析是由Unix工具Yacc和Lex制作的。使用的是 Bison 和

Flex。

词法分析和语法分析依赖的文件定义在src\backend\parser下的scan.l和gram.y。其中：

在raw_parser函数(在src/backend/parser/parser.c下)中，主要通过调用Lex和Yacc配合生成的base_yyparse函数来实现词法分析和语法分析的工作。

其他的重要源码文件：

辅助脚本：

SQL关键字定义及查找函数

SQL关键字列表

因为查找是采用二分查找法。如果添加关键字，需要保持name的顺序。

AntDB/PostgreSQL内部原理：表Page结构解析

PostgreSQL 中 Page 是一个磁盘 Block 上的一个抽象结构，用于描述 Block 内部的数据结构与组织形式。

所有数据块在读写时，必须按 Page 格式进行访问操作。

PostgreSQL 11 的 Page 格式（包含 3 行数据）如下：

行指针之前的 Page Header 总空间消耗为： (64 + 16 * 6 + 32) bit / 8 = 24 Byte

以下分别对这些结构以及对应的标志位的值进行说明：

Tuple 类型和行中各列数据的头部信息共享相同的数据结构，所以可以用相同的方法来构建和检查。但需求略有不同，数据不需要事务可见性信息，它需要一个长度字段和一些嵌入式类型信息。我们可以通过覆盖 Heap Tuple 上的 xmin/cmin/xmax/cmax/xvac 字段来实现数据上的需求。

Heap tuple 的头部信息，为了避免空间浪费，应该将字段以一种避免结构扩充的方式来布局。

通常，内存中所有的 tuples 都会使用数据字段进行初始化，当一个 tuple 需要写入表中时，事务相关的字段将会被写入，并覆盖数据字段。

Heap tuple 的整体结构包括：

通过 pageinspect 扩展模块，可以在低层次观察 page 中的实际数据，而不用考虑事务及相关可见性限制，这通常用于 DEBUG 目的的数据研究。

其常用函数说明如下：

创建模块

创建测试表

查看 Page Header

数据含义解析：

查看 Page 中的记录（Tuple）

数据含义解析：

解析 Tuple 数据

尝试多次更新同一条一条数据

再次查看页面数据

数据含义解析：

删除一条数据

再次查看页面数据

数据含义解析：

通过跟踪 t_xmin, t_xmax, t_ctid 三个字段的变化，可以得到 Tuple 数据的多版本变化历史，这也是 PostgreSQL 的 MVCC 实现原理

PostgreSQL 的多版本（MVCC）与 Oracle 有很大的不同，在于其将多版本信息与表数据存储在一起，这种多版本实现方式有其优势与局限性。

优势

劣势

postgreSQL的json解析(20.6.1)

已","分割json

增加key,value:形式方便取值

通过-键值对名称取json值

PostgreSQL集群篇——PostgreSQL的配置文件解析

日常中我们进行安装PostgreSQL后都需要对其进行配置基础配置，以便其能有效发挥出服务器的性能，下面是我进行整理后的postgresql.conf配置文件的相关注释，方便大家对于各个属性进行熟悉。