简介

本篇文章来自于：
Deep Unsupervised Learning using Nonequilibrium Thermodynamics，arXiv:1503.03585v8 [cs.LG] 18 Nov 2015

该篇文章为首次提出Deffusion Model的概念。算法的主要目标是构造一个前向传播、扩散的过程，通过这个过程可以将复杂的分布逐渐变为一个简单的分布。

简介

这篇文章主要描述基于得分匹配（Score matching model）的想法，以及之后主要的修改思路。这种思路是生成模型的一种，与GAN、normal-flow等模型具备同样的功能。

本篇文章大量借鉴棒棒生博客，推荐阅读原文博客。本文章在其基础上加入一些作者本人的思考，并且统一符号，增加阅读流畅性。

波尔兹曼机是物理模型，同时也是早期的机器学习模型。

Reference:

• 神经网络的统计力学 — 受限制玻尔兹曼机的统计力学

利用复本方法计算 Sherrington-Kirkpatrick（SK） 模型。目的是掌握和熟悉复本方法的使用。

Reference:

• Statistical Physics of Spin Glasses and Information Processing. Nishimori
• Replica calculations for the SK model笔误有点多

Link:

• Hopfield Model
• Replica
• The Parisi solution of Sherrington-Kirkpatrick Model

Reference:

• Hopfield模型的统计物理视频
• Analytic and Algorithmic Solution of Random Satisfiability Problems
• Gibbs states and the set of solutions of random constraint satisfaction problems