分类: 未分类

4 篇文章

thumbnail
[pytorch] An error and mechanism of torch.autograd it leads
省流 pytorch内置一个名为autograd的engine, 负责隐式执行所有梯度计算工作. 在计算图的根部call backwark(), DAG(directed acyclic graph)会计算图中每一个叶子节点的grad并累加到名为grad的属性上, 期间引用链式法则 DAGs are dynamic in PyTorch An im…
thumbnail
[pytorch] einsum
参考notebook: https://github.com/chunhuizhang/llm_aigc/blob/main/tutorials/nn_basics/einsum_numpy_torch.ipynb
thumbnail
[Paper reading]DDPM
参考视频:[论文速览]Denoising Diffusion Probabilistic Models / DDPM[2006.11239] 在线原理展示:click here 简明数学原理 正向过程: 添加噪声 小e代表重N(0, 1)中采样得到的高斯噪声, x代表某一timestep的图像. 为什么要添加根号? 因为添加了根号可以在后面的推到中…