昨天，学习了c++函数的基本知识，函数的参数和按值传递，函数和数组。

简单学习了动态数组代替品vector和定长数组代替品array，这两个模板类。vector是动态数组，使用new和delete管理内存，内存空间来自堆（自由存储区），特点就是可以动态调整容量，缺点效率会低。array是定长数组，内存来在栈。

学习了C++的指针、数组和指针算术，具体包含：声明指针，给指针赋值，解引用，数组名，指针加减操作，动态编联和静态编联（运行时，编译时分配内存），数组和指针的联系，指针和字符串，箭头成员运算符，自动存储，静态存储和动态存储。

学习了概率论

学习了C++指针：声明，初始化，new和delete

1. 学习了C++中的字符串、string类：初始化，赋值，拼接，附加，输入。2. 学习了C++的结构（体）：结构体类型的定义，初始化3. 读了Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets：本文首先发现：当数据集中存在大量非最优轨迹时，SOTA offlineRL算法难以显著的超过数据集中的平均return。本文认为这可能是因为当前的SOTA offlineRL算法总是贴近于数据集，而过度的贴近将导致策略模仿次优动作。本文的解决方式是提出一种采样方式使得策略仅被限制在好的数据中而不是数据集中的所有动作（均匀采样）。

1. 学习了设计模式：适配器模式。2. 读完论文Adaptive Policy Learning for Offline-to-Online Reinforcement Learning：本文考虑了在线数据和离线数据的差异，如何有效利用在线和离线数据。提出了一种适应策略学习框架。在线微调时，对离线数据采用悲观更新，对在线数据采用乐观更新。

1. 总结了一下昨天读的论文。2. 学习了C++的运算符：优先级和结合性、除法分支、求模运算、类型转换、auto。3. 读Adaptive Policy Learning for Offline-to-Online Reinforcement Learning

1. 学习了C++浮点数：浮点数的书写、浮点数类型、浮点数常量、浮点数的优缺点。2. 精度了一篇强化学习论文DECISION CONVFORMER: LOCAL FILTERING INMETAFORMER IS SUFFICIENT FOR DECISION MAKING：本文是在Decision Transformer的工作上做的改进。保留了原来的Meta Former架构，将token mixer换成卷积，从而更好地提取建模为MDP的强化学习中的局部关联。

学习了一下docker。然后就是搞科研

学习c++打卡

今天，读了IN-CONTEXT REINFORCEMENT LEARNING WITH ALGORITHM DISTILLATION。其将强化学习建模成了顺序预测问题，通过历史预测下一个动作，同时历史可以看成context。算法步骤就是通过source RL算法生成数据，然后在给定先前learning history作为context，通过自回归与预测action，来训练causal Trasnformer（这个过程就是文中说地算法蒸馏）。然后，又看了离线强化学习经典论文CQL。

1.学英语2.读论文

打卡：今天学习强化学习。- actor-critc：策略学习和价值学习相结合- A2C：添加baseline，降低方差，使得采样和均值之间误差不会太大。- importance sampling：通过另一个分布（已知表达式的分布）来采样，求某一分布（该分布表达式未知，如神经网络）的期望。- off-polcy actor-critic：通过importance sampling 将on-policy 转化为off-policy。