技术·学习·实践·人生·哲学
山是山,水是水;山不是山,水不是水;山还是山,水还是水
06
13
分布式数据库高可用方案设计 分布式数据库高可用方案设计
分布式数据库高可用的要求 数据一致性 可用性 分区容错性 通俗的来说,分布式数据库高可用要求即使仅存一个集群节点,也需要对外提供服务。 分布式数据库高可用的实现方案对于分布式数据库来说,根据存储数据库元信息的不同,大致有两种方案来实现高可
2022-06-13 growdu
13
initdb initdb
启动Breakpoint 2, bootstrap_template1 () at initdb.c:1309 1309 { (gdb) bt #0 bootstrap_template1 () at initdb.c:1
2022-06-13 growdu
13
pg_ctl pg_ctl
启动(gdb) c Continuing. [Attaching after Thread 0x7ffff7d80740 (LWP 2093) fork to child process 2100] [New inferior 2 (pro
2022-06-13 growdu
13
repmgr搭建集群 repmgr搭建集群
编译git clone git@github.com:EnterpriseDB/repmgr.git 检查pg是否安装,主要看pg_config在不在$PATH下面。 pg_config --help 然后使用如下命令编译 .&#
2022-06-13 growdu
13
数据库数据完整性问题(块折断) 数据库数据完整性问题(块折断)
数据库保证数据库完整性(解决块折断问题)当前主要有如下三种方式: 操作日志加double write机制(mysql采用该机制); 操作日志加full page write机制(postgresql同时采用这两种机制); 混合方式,既
2022-06-13 growdu
05
23
docker与宿主机共享内存通信 docker与宿主机共享内存通信
docker中的进程要与宿主机使用共享内存通信,需要在启动容器的时候指定“–ipc=host”选项。然后再编写相应的共享内存的程序,一个跑在宿主机上,另一个跑在docker上面。 宿主机程序准备 shm_data.h #ifnd
2022-05-23 growdu
23
缩短tcp超时时间的方法 缩短tcp超时时间的方法
在tcp链路中,当网络异常时,缩短tcp超时时间一般有如下方法: TCP_USER_TIMEOUT(需要内核2.6.37及其以上版本) SIOCOUTQ tcp_retries2 应用层keepalive TCP_USER_TIMEOU
2022-05-23 growdu
23
流复制心跳超时问题 流复制心跳超时问题
基本概念 walsender 主库数据发送进程 walreceiver 备库数据接收进程 问题现象在当前流复制过程中,当walreceiver进程在收到大量数据报文时会出现walsender因keepalive心跳报文超时而导致流复制断开
2022-05-23 growdu
23
pg_walreceiver pg_walreceiver
启动流程启动receiver进程graph TB main-->PostmasterMain-->StartChildProcess-->fork_process-->AuxiliaryProcessMain--&g
2022-05-23 growdu
16
程序基本构造 程序基本构造
程序的目的就是等待输入,进行处理,完成后输出。 数据模型(数据结构)全局数据 内存数据 文件数据 临时数据存储数据初始化数据模型 内存分配 处理逻辑(算法)数据存储
2022-05-16 growdu
16
codeserver_docker codeserver_docker
安装dockersudo apt install docker-ce 制作镜像dockerfile如下: FROM linuxserver/code-server WORKDIR /config RUN apt upda
2022-05-16 growdu
16
pg编译运行 pg编译运行
源码获取git clone http://git.postgresql.org/git/postgresql.git 编译sudo apt install bison yacc sudo apt i
2022-05-16 growdu
16
pg共享内存 pg共享内存
基本数据结构 PGShmemHeader typedef struct PGShmemHeader /* standard header for all Postgres shmem */ { int32
2022-05-16 growdu
16
pg源码对象管理 pg源码对象管理
pg中对于xlog、buffer等均采用全局变量的方式进行管理。 bufferBlock *LocalBufferBlockPointers = NULL; BufferDesc *LocalBufferDescriptor
2022-05-16 growdu
16
pg_checksum pg_checksum
pg在将数据写入磁盘时才会进行checksum的计算写入。 写入流程graph TB PageSetChecksumCopy-->pg_checksum_page-->pg_checksum_block char * PageS
2022-05-16 growdu
16
xlog xlog
全局变量 static XLogCtlData *XLogCtl = NULL; typedef uint64 XLogRecPtr; typedef struct XLogwrtRqst { XLogRecP
2022-05-16 growdu
04
29
C语言变长数组(柔性数组) C语言变长数组(柔性数组)
C99支持变长数组,定义时可以不指定数组长度,分配时再根据实际长度进行分配。 变长数组一般只能放在结构体的最后一个成员, 在变长数组之前至少得有一个结构体成员 且一个结构体只能有一个变长数组 变长数组实际是利用结构体的地址作为起始地址往
2022-04-29 growdu
29
29
29
pg_walsender pg_walsender
walsender分析分为两部分, 与备库建立链接前的流程 主库会监听socket,并接受备库的tcp链接请求,当收到备库walReceiver请求后,主库postgres就会fork出一个waksender进程来处理相关请求。 与备库
2022-04-29 growdu
28
pg_replication pg_replication
基本概念 逻辑复制 逻辑复制是将数据重新执行一次insert、update或delete。逻辑复制则允许在数据层面复制,并在安全性上提供更细粒度的控制。 流复制(物理复制) 实现方式是将wal日志中记录的内容按照确切的块地址逐字节的拷贝到
2022-04-28 growdu
28
25
pg_io_调优 pg_io_调优
检查点检查点是数据库的关键行为,同时也是IO敏感的;其保证了数据库的一致性状态,定期执行检查点是很重要的,确保数据变化持久保存到磁盘中并且数据库的状态是一致的。不当的检查点配置会导致IO性能问题。我们需要关注检查点的配置,确保没有任何IO的
2022-04-25 growdu
25
sql_test sql_test
TPC(事务处理性能委员会:Transaction Processing Performance Council),是由数 10 家会员公司创建的非盈利组织,总部设在美国。TPC 的主要成员是计算机软硬件厂家,其主要成员包括 IBM,HP,
2022-04-25 growdu
25
25
insert data insert data
一条数据插入的流程如下: graph TB PostgresMain-->exec_simple_query-->PortalRun-->PortalRunMulti-->ProcessQuery-->
2022-04-25 growdu
22
BgWriter BgWriter
Bgwriter是一个Background Writer进程的简称,Bgwriter会定时将缓存中一些已经更改的数据(脏缓冲区)写入到磁盘。 BgWriter是postmaster通过fork创建的子进程。 BgWriter配置参数 bgw
2022-04-22 growdu
22
WalWriter WalWriter
预写式日志WAL机制是对数据文件的修改必须是只能发生在这些修改已经记录到日志之后,即先写日志再写数据。 WalWriter进程负责定期从WAL缓冲区写出日志,并确定写出日志的起点和终点来调用XlogWriter将日志写入到磁盘。 参数配置
2022-04-22 growdu
13
pg扩展开发 pg扩展开发
pg提供了扩展机制可以在不动postgresql源代码的情况下,增强postgresql的一些功能。 在数据库shell里面,使用如下命令可以加载一个插件: create extension extension_name; 在数据库内执行上
2022-04-13 growdu
13
pgsql架构 pgsql架构
整体模式pgsql采用C/S架构(客户端/服务端)模式。应用层通过INET或者Unix Socket利用既定的协议与数据库服务器进行通信。 pgsql把客户端称为前端,把服务端称为后端。前端通过调用libpq来与后端通信
2022-04-13 growdu
18 / 20