1、在多智能深度强化学习里，智能体和环境交互产生大量的样本，神经网络需要利用这些样本来进行更新，对这些样本的处理，传统的方法是用1个缓存池来保存所有智能体的样本数据，池子里面每条样本数据也就是每条记录为一个数组，里面存的存所有智能体同一时刻的联合状态和动作，然后对这些样本进行均匀采样，一般采样的batch_size也就是采集多少条数据，一般设置为1024条，然后是缓存池的大小一般是10的六次方然后这种方***存在一些问题，首先是这些较大规模的样本里面有些是有利于神经网络训练的，有些是不利用神经网络训练，那我们当然希望能够采集到更多有利于神经网络训练的样本，但是传统的均匀采样随机性太强了，无法保...

Sentinel工作方式 1)：每个Sentinel以每秒钟一次的频率向它所知的Master，Slave以及其他 Sentinel 实例发送一个 PING 命令 2)：如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel 标记为主观下线。 3)：如果一个Master被标记为主观下线，则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。 4)：当有足够数量的 Sentinel（大于等于配置文件指定的值）在指定...