流复制心跳超时问题


 TL;DR
在当前流复制过程中,当walreceiver进程在收到大量数据报文时会出现walsender因keepalive心跳报文超时而导致流复制断开。
难度 中等

基本概念

  • walsender 主库数据发送进程
  • walreceiver 备库数据接收进程

问题现象

在当前流复制过程中,当walreceiver进程在收到大量数据报文时会出现walsender因keepalive心跳报文超时而导致流复制断开。

原因分析

当数据报文较多时,walreceiver可能因收包或写入时间过长而导致回复keepalive报文不及时。

期望表现

当数据报文较多,walreceiver卡在处理数据报文时,仍然能回复心跳。

keepalive机制分析

流复制的大致流程如下:

  1. 主库启动,主库监听相应的端口,并等待备库的连接;
  2. 备库启动,并与主库监听的端口建立tcp连接,与主库同步wal日志状态,并发送流复制请求;
  3. 主备库建立连接后便开始数据传输,在数据传输的同时,主库会定时发送keepalive来检查备库的状态,备库收到keepalive报文后需进行回复;主库在超时时间内收到keepalive的回复后会重新计算下一次心跳报文的发送时间,若主库未在超时时间内收到keepalive回复报文则认为备库处理超时,会进行拆链;

walsender心跳发送机制

walsender通过wal_sender_timeout确认keepalive超时时间,默认为60s。其生效机制如下:

  1. 若收到walreceiver回复的报文,不论是keepalive报文还是数据文本,均会更新last_reply_time;
  2. 当last_reply_time与当前时间间隔达到wal_sender_timeout的一半时(默认为30s),walsender会发送keepalive报文;
  3. 当last_reply_time与当前时间间隔达到wal_sender_timeout值时,walsender认为walreceiver处理超时,将会断开流复制;

walreceiver心跳发送机制

  • 收到心跳报文

    walreceiver收到心跳报文后,会立马回复心跳报文,且不存在写入操作。

  • 收到数据报文

    walreceiver收到数据报文后,会在将socket的buffer缓冲区内的数据接收处理完成后回复reply报文,wlasender收到这种报文回复后同样可以重置walsender的last_reply_time;

  • 主动发送reply报文

    当walreceiver在wal_receiver_timeout/2时间内没有收到walsender的心跳报文或者数据报文,walreceiver也会主动发送reply报文,并需要walsender回复。

    同样的walreceiver在wal_receiver_timeout时间内没有收到walsender的心跳报文或者数据报文,walreceiver会认为walsender超时而断开连接。

walreceiver报文接收回复及其实现

/* See if we can read data immediately */
len = walrcv_receive(wrconn, &buf, &wait_fd);
if (len != 0)
{
    /*
     * Process the received data, and any subsequent data we
     * can read without blocking.
     */
    for (;;)
    {
        if (len > 0)
        {
            /*
             * Something was received from primary, so reset
             * timeout
             */
            last_recv_timestamp = GetCurrentTimestamp();
            ping_sent = false;
            XLogWalRcvProcessMsg(buf[0], &buf[1], len - 1,
                                 startpointTLI);
        }
        else if (len == 0)
            break;
        else if (len < 0)
        {
            ereport(LOG,
                    (errmsg("replication terminated by primary server"),
                     errdetail("End of WAL reached on timeline %u at %X/%X.",
                               startpointTLI,
                               LSN_FORMAT_ARGS(LogstreamResult.Write))));
            endofwal = true;
            break;
        }
        len = walrcv_receive(wrconn, &buf, &wait_fd);
    }

    /* Let the primary know that we received some data. */
    XLogWalRcvSendReply(false, false);

    /*
     * If we've written some records, flush them to disk and
     * let the startup process and primary server know about
     * them.
     */
    XLogWalRcvFlush(false, startpointTLI);

​


文章作者: growdu
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 growdu !
这篇还发到了
今日头条 drafted
  目录