组里做特定领域的文生图模型，会涉及到语言模型的微调和出图底模训练，八股拷问不多，重点记录一下值得思考的问题。1.DALLE和SD技术路线的不同？ 自回归/diffusion2.SD的lora微调原理和位置？除了注意力投影还有Unet的卷积层。lora还有loCon/loha/lokr。3.SDXL的双文本特征怎么处理？SD3不同文本端具有的不同token量怎么处理？CLIP-77/T5-5124.除了交叉注意力的方式还有哪些文本信息注入？ DiT涉及到的in-context/cross attention/adaLN5.为什么生成模型选用Unet？一是保留了相同分辨率上的信息，二是跳跃连接允许存在bottleneck的情况下保留信息（VAE生成会因为压缩造成部分消息丢失）6.长文本输入怎么处理？通过切分成77（CLIP）长度分别抽取特征后拼接再投影。那0号和77号相同的位置编码怎么解决？讲了BERT给不同句子设置了区分的embedding，涉及到对于语言模型的微调。如果是在训练UNet时（冻结语言模型）该怎么处理？ 以插值的方式去构造新的位置编码，但效果不好。还有一些其他的方法，需要进一步了解。还有一些不了解的点：1.解耦（adapter）和非解耦（？）方式对模型微调的影响？2.有没有了解过controlnet的condition的预处理的pipeline？工作重点：长文本处理，文本图像的高度一致性，生成图像的精确性和美观度

视觉算法实习生-组内做图像生成，拷问了很全面的图像生成知识，记录一下，也方便后续回顾。1.Stable Diffusion的1.x/2.x/XL/3.x 各个版本的区别2.SDXL的双文本信息处理/采样方式的改进/Refiner结构/训练集的多尺度3.Stable Diffusion的结构和各个模块的功能4.VAE的输入输出维度、编解码器施加的约束（KL/patch对抗）5.CLIP的pipeline/loss6.Unet的输入：时间步/随机噪声/条件-交叉注意力，输出：噪声期望7.采样器：DDPM-重参数化/DDIM/EDM8.微调：Lora/Adapter/Dreambooth/Text inversionlora和prompt engineering能否达到相同效果lora的label咋来？BLIP  为什么用BLIP？ BLIPv1v2 区别10.CFG的训练和推理11.Transformer结构：解码器的交叉注意力QKV是谁？12:Vision Transformer结构13.GAN和Diffusion优缺点