dcf运行机制


 TL;DR
dcf通过stream的概念来运行分布式协议,每个stream是一个完整的分布式实例。 每个stream可以由多个节点组成。
难度 中等

dcf通过stream的概念来运行分布式协议,每个stream是一个完整的分布式实例。
每个stream可以由多个节点组成。

外部应用启动接口

dcf在初次启动后,会将传入的配置文件信息写入到metadata里,也就是说dcf为了设计成一个通用的库,是不需要配置文件的。
整个运行启动都是通过传参的方式来启动,这样就可以把参数配置放在外部应用程序内。

应用通过json字符串数组传入参数,在初次传入时dcf会将元信息持久化到文件中,默认在应用执行目录下面,并按照节点id命名目录存储。
当应用再次启动时,就会直接读取持久化到文件的信息,而不会再读取传入的json字符串。
其中json字符串数组实例如下:

[{
  "stream_id": 1,
  "node_id": 1,
  "ip": "x.x.x.21",
  "port": 1712,
  "role": "LEADER"
}, {
  "stream_id": 1,
  "node_id": 2,
  "ip": "x.x.x.22",
  "port": 1713,
  "role": "FOLLOWER"
}, {
  "stream_id": 1,
  "node_id": 3,
  "ip": "x.x.x.23",
  "port": 1714,
  "role": "FOLLOWER"
}]

内部启动流程

dcf内部从dcf_start开启启动,dcf_start需要每个节点都运行,并且需要传入节点id和集群配置json字符串。

int dcf_start(unsigned int node_id, const char *cfg_str);

dcf内部采用的是多线程模型,在启动后需要初始化各个线程。具体包括如下几个方面:

  • metadata(元数据,简称md)
  • network(消息通信,简称mec)
  • log store(日志持久化存储,简称stg)
  • election(投票,简称elc)
  • replication(流复制,简称rep)

metadata

若元数据目录已存在,直接从文件中读取元数据。若元数据目录不存在,则根据传入的json字符串解析元数据信息并写入文件。
同时会将流的相关配置信息加载到内存中,后续会根据这些配置进行初始化。

network

mec模块主要是负责网络通信的,采用自己管理内存的方式申请分配内存,因而需要先初始化内存池,并且采用伙伴算法进行内存分配。
网络模块有一个全局实例g_mec,用于保存mec相关的数据结构。

typedef struct st_mec_instance {
    mec_profile_t      profile; ///< mec主要信息
    mq_context_t       send_mq; ///< 发送队列
    mq_context_t       recv_mq; ///< 接收队列
    mec_context_t      mec_ctx; ///< mec上下文
    fragment_ctx_t     fragment_ctx; ///< 分片上下文
    thread_t           daemon_thread;///< 守护线程id
    reactor_pool_t     reactor_pool[PRIV_CEIL]; ///< epoll反应堆数组
    agent_pool_t       agent_pool[PRIV_CEIL]; ///< 代理池
    ssl_ctx_t         *ssl_acceptor_fd; ///< ssl接受器
    ssl_ctx_t         *ssl_connector_fd;///< ssl连接器
} mec_instance_t;
static mec_instance_t *g_mec = NULL;

mec模块会初始化g_mec,首先是需要设置其配置,也就是profile,其中profile需要设置如下信息:

typedef struct st_mec_profile {
    spinlock_t           lock; ///< 自旋锁
    uint16               inst_id; ///< mec实例id
    volatile uint16      inst_count; ///< mec实例个数
    mec_addr_t           inst_arr[CM_MAX_NODE_COUNT]; ///< mec地址数组
    int16                maps[CM_MAX_NODE_COUNT];     ///< 节点数组
    uint8                pipe_type; ///< 管道类型
    uint8                reserved;  ///< 预留
    uint16               channel_num; ///< 通道数
    uint64               msg_pool_size; ///< 消息池大小
    uint32               frag_size; ///< 分片大小
    uint32               batch_size; ///< 批量包大小
    uint32               agent_num; ///< 代理数量
    uint32               reactor_num; ///< 反应堆数量
    compress_algorithm_t algorithm; ///< 压缩算法
    uint32               level;  
    int32                connect_timeout;  // ms
    int32                socket_timeout;   // ms
} mec_profile_t;

mec通信层面使用reactor模型,并将其分为agent和reactor,agent+reactor=mec,同时mec又分为高优先级和低优先级。
而agent和reactor的个数则由上面提到的配置传入。agent和reacor都是线程池,有任务来的时候就会attach到对应的线程上去执行。

log store

election

replication


文章作者: growdu
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 growdu !
这篇还发到了
今日头条 drafted
  目录