分类: Diffusion Model

3 篇文章

thumbnail
Cross attention
相同点: 机制:两者都使用了点积注意力机制(scaled dot-product attention)来计算注意力权重。 参数:无论是自注意力还是交叉注意力,它们都有查询(Query)、键(Key)和值(Value)的概念。 计算:两者都使用查询和键之间的点积,然后应用softmax函数来计算注意力权重。 输出:在计算完注意力权重后,两者都将这些权…