Hopfield Model 相图

Phase Diagram

根据“Hopfield 自由能”中的讨论，可知：

$$\begin{align} & q=\int D z \tanh ^2 \beta(\sqrt{\alpha r} z+m) \label{860} \\ & m=\int D z\langle\xi \tanh \beta(\sqrt{\alpha r} z+m \xi)\rangle=\int D z \tanh \beta(\sqrt{\alpha r} z+m) \label{861} \\ & r=\frac{q}{(1-\beta+\beta q)^2} \label{862}\\ \end{align}$$

通过数值求解 $\eqref{860},\eqref{861},\eqref{862}$ 可以得到Hopfield的相图：

在高温的情况下，热噪音阻碍了模式恢复的过程，因此$m=0,q=0,r=0$；当温度下降，参数开始在临界线$T_g$不稳定，可以通过$\eqref{860}$分析得到；随着温度继续下降，Spin Glass相变成亚稳定态，相变线$T_M$，恢复的模式是局域稳定的，这个相变是一阶相变。当记忆率下降，转变为稳定的态，对应相变线为$T_c$。

在温度$T=0$的时候，每个自旋的平均熵值为$S=-\left.\frac{\partial f}{\partial T}\right|_{T \rightarrow 0}=-\frac{1}{2} \alpha[\ln (1-C)+C /(1-C)]$，其中$C=\beta(1-q)$，可知自旋平均值是负数，这是非物理的。

Hopfield Model with Arbitrary Hebbian Length

Hebbian learning 是一种学习算法和理论，用于解释神经网络中的突触可塑性。其核心思想可以用一句话概括，即“同步触发的神经元会连线在一起”（”Cells that fire together, wire together”）。这个概念最早由加拿大心理学家Donald Hebb在1949年提出，故称为Hebbian学习。

具体来说，Hebbian学习的基本原则如下：

1. 联结权重的更新：如果一个神经元A经常且重复地激活神经元B，那么神经元A和神经元B之间的突触连接会变得更强。这意味着两个神经元之间的联结权重会增加。

2. 时间一致性：为了使联结权重增加，神经元A的发火必须在神经元B的发火之前或同时发生。这种时间上的一致性被认为是形成记忆和学习的基础。

3. 局部性：Hebbian学习是一种局部学习规则，即每个突触的权重更新只依赖于连接的两个神经元的活动，而不依赖于整个网络的状态。

在数学上，Hebbian学习规则可以表示为：

$$\begin{align} \Delta w_{ij} = \eta x_i y_j \end{align}$$

其中，$\Delta w_{ij}$ 表示神经元 $i$ 和神经元 $j$ 之间的突触权重变化，$\eta$ 是学习率，$x_i$ 和 $y_j$ 分别是神经元 $i$ 和神经元 $j$ 的激活状态。

Hebbian学习在神经科学和人工神经网络领域都有重要影响，特别是在理解神经网络如何通过经验和环境进行学习和调整方面。

Hebbian strength 指的是神经元之间突触连接的强度，定义如下的神经元权重：

$$\begin{align} J_{i j}=\frac{1}{N} \sum_{\mu=1}^P\left[c \xi_i^\mu \xi_j^\mu+\gamma \sum_{r=1}^d\left(\xi_i^\mu \xi_j^{\mu+r}+\xi_i^{\mu+r} \xi_j^\mu\right)\right] \end{align}$$

其中$c$是标准Hebbian strength；$\gamma$是不同记忆模式之间的强度；$d$是模型的Hebbian 长度，之前讨论的是$d=1$的情形，只记忆其中一个模式，$d=0$是标准的Hopfield Model。$\xi_i^\mu$是二值变量，例如$p\left(\xi_i^\mu= \pm 1\right)=\frac{1}{2} \delta\left(\xi_i^\mu+1\right)+\frac{1}{2} \delta\left(\xi_i^\mu-1\right)$。讨论的是$P$与$N$的极限情形，$\alpha=\frac{P}{N}$是memory load。

Computation of the Disorder-Averaged Free Energy

将$\mathbf{J}$重新写为：

$$\begin{align} \mathbf{J}&=\frac{1}{N} \xi^{\mathrm{T}} \mathbf{X} \xi \\ X_{\mu \eta} & =c \delta_{\mu \eta}+\gamma \sum_{r=1}^d\left(\delta_{\mu,(\eta+r) \bmod P}+\delta_{\mu,(\eta-r) \bmod P}\right) \\ & =(c-\gamma) \delta_{\mu \eta}+\gamma \sum_{r=-d}^d \delta_{\mu,(\eta+r) \bmod P} \end{align}$$

$\mathbf{X}$的第$m$个本征值为，解的思路：

$$\begin{align} \lambda_m&=\sum_{k=0}^{P-1} X_{1(k+1)} e^{-2 \pi i m k / P} \\ & =\sum_{k=0}^{P-1} X_{1(k+1)} \cos \left(2 \pi \frac{m k}{P}\right) \\ & =\sum_{k=0}^{P-1}\left[c \delta_{0 k}+\gamma \sum_{r=1}^d\left(\delta_{0,(k+r) \bmod P}+\delta_{0,(k-r) \bmod P)}\right] \cos \left(2 \pi \frac{m k}{P}\right)\right. \\ & =c+\gamma \sum_{r=1}^d\left[\cos \left(-2 \pi \frac{m r}{P}\right)+\cos \left(2 \pi \frac{m r}{P}\right)\right] \\ & =c+2 \gamma \sum_{r=1}^d \cos \left(2 \pi \frac{m r}{P}\right) \end{align}$$

其中$m=0,1, \ldots, P-1$。

Hamiltonian和配分函数为：

$$\begin{align} \mathcal{H}(\mathbf{s})&=-\frac{1}{2} \sum_{i \neq j} J_{i j} s_i s_j \\ Z&=\operatorname{Tr} \exp \left[\frac{\beta}{2 N} \mathbf{s}^{\mathrm{T}} \boldsymbol{\xi}^{\mathrm{T}} \mathbf{X} \boldsymbol{\xi} \mathbf{s}\right] \end{align}$$

其中 $\mathrm{Tr}$ 表示对分立 $\mathbf{s}$ 的求和。使用复本技巧：

$$\begin{align} \langle\ln Z\rangle=\lim _{n \rightarrow 0} \frac{\ln \left\langle Z^n\right\rangle}{n}, \end{align}$$

其中$\langle\cdot\rangle$表示对$\boldsymbol{\xi}$的求和。因此有：

$$\begin{align} Z^n=\operatorname{Tr} \exp \left[\frac{\beta}{2 N} \sum_{a=1}^n\left(\mathbf{s}^a\right)^{\mathrm{T}} \boldsymbol{\xi}^{\mathrm{T}} \mathbf{X} \boldsymbol{\xi} \mathbf{s}^a\right] . \end{align}$$

考虑$S$个凝聚（foreground）模式$P-S$个非凝聚（background）模式。这里这两个模式的类别，表示什么含义？每次恢复的模式不应该只有一个么？根据以上定义，可以将$\mathbf{X}$分为：

$$\begin{align} \mathbf{X}=\left[\begin{array}{ll} \mathbf{X}_{F F} & \mathbf{X}_{F B} \\ \mathbf{X}_{B F} & \mathbf{X}_{B B} \end{array}\right] \end{align}$$

其中 $\mathbf{X}_{F F} \in \mathbb{R}^{S \times S}, \mathbf{X}_{B F}^{\mathrm{T}}=\mathbf{X}_{F B} \in \mathbb{R}^{S \times(P-S)}$ and $\mathbf{X}_{B B} \in \mathbb{R}^{(P-S) \times(P-S)}$。

将$\mathbf{X}_{B B}$ 对角化 $\mathbf{X}_{B B}^{\mu \nu}=\sum_\sigma \lambda_\sigma \eta_\mu^\sigma \eta_\nu^\sigma$，其中 $\lambda_\sigma$ 与 $\eta_\mu^\sigma$ 是本征值与本征态。

使用Hubbard-Stratonovich transformation：$\exp \left[\frac{1}{2} b^2\right]=$ $\int D x \exp [ \pm b x]$, 其中 $D x=\frac{1}{\sqrt{2 \pi}} \exp \left(-\frac{x^2}{2}\right) d x$，因此有：

$$\begin{align} Z^n=&\operatorname{Tr} \exp \left[ \frac{\beta}{2 N} \sum_{a, i, j, \mu \in B, v \in B} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^v s_j^a+\frac{\beta}{N} \sum_{a, i, j, \mu \in B, v \in F} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^v s_j^a +\frac{\beta}{2 N} \sum_{a, i, j, \mu \in F, v \in F} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^v s_j^a\right] \\ =&\operatorname{Tr} \exp {\left[\frac{\beta}{2 N} \sum_{a, \sigma} \lambda_\sigma\left(\sum_{i, \mu \in B} s_i^a \xi_i^\mu \eta_\mu^\sigma\right)^2+\frac{\beta}{N} \sum_{a, i, j, \mu \in B, v \in F} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^v s_j^a +\frac{\beta}{2 N} \sum_{a, i, j, \mu \in F, v \in F} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^\nu s_j^a\right]} \\ = & \operatorname{Tr} \prod_{a, \sigma} \int D x_\sigma^a \exp \left[\sum_{i, \mu \in B} \frac{\xi_i^\mu}{\sqrt{N}}\left(\sum_{a, \sigma} s_i^a \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\frac{\beta}{\sqrt{N}} \sum_{a, j, v \in F} s_i^a X_{\mu \nu} \xi_j^v s_j^a\right)+\frac{\beta}{2 N} \sum_{a, i, j, \mu \in F, v \in F} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^v s_j^a\right] \end{align}$$

定义：

$$\begin{align} \Phi_B=&\exp \left[\sum_{i, \mu \in B} \frac{\xi_i^\mu}{\sqrt{N}}\left(\sum_{a, \sigma} s_i^a \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\frac{\beta}{\sqrt{N}} \sum_{a, j, v \in F} s_i^a X_{\mu \nu} \xi_j^v s_j^a\right)\right] \\ \Phi_F=&\exp \left[\frac{\beta}{2 N} \sum_{a, i, j, \mu \in F, v \in F} s_i^a \xi_i^\mu X_{\mu \nu} \xi_j^v s_j^a\right] \end{align}$$

计算无序平均$\left\{\xi_i^\mu\right\}$，可以有：

$$\begin{align} \left\langle Z^n\right\rangle=\left\langle\operatorname{Tr} \prod_{a, \sigma} \int D x_\sigma^a \Phi_B \Phi_F\right\rangle \end{align}$$

首先分析$\left\langle\Phi_B\right\rangle$，结合两个序参量$q_{a b}=\frac{1}{N} \sum_i^N s_i^a s_i^b \quad\text{for}\quad a \neq b$ 和 $m_\mu^a=\frac{1}{N} \sum_i \xi_i^\mu s_i^a$ 有：

$$\begin{aligned} \left\langle\Phi_B\right\rangle=&\exp \left\{\frac{1}{2 N} \sum_{i, \mu \in B}\left[\sum_a s_i^a\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\frac{\beta}{\sqrt{N}} \sum_{j, v \in F} X_{\mu \nu} \xi_j^v s_j^a\right)\right]^2\right\} \\ \left\langle\Phi_B\right\rangle= & \int \prod_{a \neq b} \frac{d q_{a b} d \hat{q}_{a b}}{2 \pi / N} \prod_{a, \mu \in F} \frac{d m_\mu^a d \hat{m}_\mu^a}{2 \pi / N} \\ & \times \exp \left[-\frac{1}{2} N \sum_{a \neq b} \hat{q}_{a b} q_{a b}+\frac{1}{2} \sum_{a \neq b} \hat{q}_{a b} \sum_i s_i^a s_i^b-N \sum_{a, \mu \in F} m_\mu^a \hat{m}_\mu^a+\sum_{a, \mu \in F} \hat{m}_\mu^a \sum_i \xi_i^\mu s_i^a\right] \\ & \times \exp \left[\frac{1}{2} \sum_{\mu \in B} \sum_a\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_v^a\right)^2\right] \\ & \times \exp \left[\frac{1}{2} \sum_{\mu \in B} \sum_{a \neq b} q_{a b}\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_v^a\right)\right. \\ & \left.\times\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^b+\beta \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_v^b\right)\right] \end{aligned}$$

再结合$\delta$函数傅里叶变换与复本对称的应用：

$$\begin{aligned} \left\langle\Phi_B\right\rangle=&\int \frac{d q d \hat{q}}{(2 \pi / N)^{n(n-1)}} \frac{d m d \hat{m}}{(2 \pi / N)^{n S}}-N n \sum_{\mu \in F} m_\mu \hat{m}_\mu \exp \left[-\frac{1}{2} N n(n-1) \hat{q} q \quad+\frac{1}{2} \hat{q} \sum_{a \neq b} \sum_i s_i^a s_i^b+\sum_{a, \mu \in F} \hat{m}_\mu \sum_i \xi_i^\mu s_i^a\right] \exp \left[\frac { 1 } { 2 } \sum _ { \mu \in B } \sum _ { a } \left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a\right.\left.\quad+\beta \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_v\right)^2\right] \\ &\times \exp \left[\frac{q}{2} \sum_{\mu \in B} \sum_{a \neq b}\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta \sqrt{N} \sum_{v \in F} X_{\mu \nu} m_\nu\right) \times\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^b+\beta \sqrt{N} \sum_{v \in F} X_{\mu \nu} m_v\right)\right] \\ =&\int \frac{d q d \hat{q}}{(2 \pi / N)^{n(n-1)}} \frac{d m d \hat{m}}{(2 \pi / N)^{n S}} \exp \left[-\frac{1}{2} N n(n-1) \hat{q} q+\frac{1}{2} \hat{q} \sum_{a \neq b} \sum_i s_i^a s_i^b-N n \sum_{\mu \in F} m_\mu \hat{m}_\mu +\sum_{a, \mu \in F} \hat{m}_\mu \sum_i \xi_i^\mu s_i^a\right] \\ &\times \exp \left[\frac{1-q}{2} \sum_{\mu \in B} \sum_a\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_v\right)^2\right] \\ & \times \exp \left[\frac{q}{2} \sum_{\mu \in B}\left(\sum_{a, \sigma} \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta n \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_\nu\right)^2\right] \\ = & \int \frac{d q d \hat{q}}{(2 \pi / N)^{n(n-1)}} \frac{d m d \hat{m}}{(2 \pi / N)^{n S}} \prod_{\mu, a} D y_\mu^a \prod_\mu D z_\mu \\ & \times \exp \left[-\frac{1}{2} N n(n-1) \hat{q} q+\frac{1}{2} \hat{q} \sum_{a \neq b} \sum_i s_i^a s_i^b-N n \sum_{\mu \in F} m_\mu \hat{m}_\mu+\sum_{a, \mu \in F} \hat{m}_\mu \sum_i \xi_i^\mu s_i^a\right] \\ & \times \exp \left[\sqrt{1-q} \sum_{\mu \in B} \sum_a\left(\sum_\sigma \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_\nu\right) y_\mu^a\right] \\ & \times \exp \left[\sqrt{q} \sum_{\mu \in B}\left(\sum_{a, \sigma} \eta_\mu^\sigma \sqrt{\beta \lambda_\sigma} x_\sigma^a+\beta n \sqrt{N} \sum_{\nu \in F} X_{\mu \nu} m_\nu\right) z_\mu\right] \\ = & \int \frac{d q d \hat{q}}{(2 \pi / N)^{n(n-1)}} \frac{d m d \hat{m}}{(2 \pi / N)^{n S}} \prod_{\mu, a} D y_\mu^a \prod_\mu D z_\mu \\ & \times \exp \left[-\frac{1}{2} N n(n-1) \hat{q} q+\frac{1}{2} \hat{q} \sum_{a \neq b} \sum_i s_i^a s_i^b-N n \sum_{\mu \in F} m_\mu \hat{m}_\mu+\sum_{a, \mu \in F} \hat{m}_\mu \sum_i \xi_i^\mu s_i^a\right] \\ & \times \exp \left[\sum_{a, \sigma} x_\sigma^a \sqrt{\beta \lambda_\sigma} \sum_{\mu \in B} \eta_\mu^\sigma\left(\sqrt{1-q} y_\mu^a+\sqrt{q} z_\mu\right)\right] \\ & \times \exp \left[\beta \sqrt{N} \sum_{a, \mu \in B} \sum_{v \in F} X_{\mu \nu} m_\nu\left(\sqrt{1-q} y_\mu^a+\sqrt{q} z_\mu\right)\right] \end{aligned}$$ 参考原书