Hopfield Model 自由能

Link:

• Hopfield 相图
• Replica

根据前文已知：

$$\begin{equation} \begin{aligned} \omega_{ij}&=\frac{1}{N}\xi_i\xi_j \quad i\neq j\\ \omega_{ii}&=0 \end{aligned} \label{omega} \end{equation}$$ $$\begin{equation} H=-\frac{1}{2} \sum_{i, j}^N w_{i j} S_i S_j \label{hamiltonian} \end{equation}$$

Free Energy

假定能够存储$P=\alpha N$个随机模式。结合$\eqref{omega}$与$\eqref{hamiltonian}$有：

$$\begin{aligned} \left\langle Z^n\right\rangle & =\left\langle\operatorname{Tr} \exp \left[\frac{\beta}{2 N} \sum_{i, j}^N \sum_{\mu=1}^P \sum_{\rho=1}^n \xi_i^\mu \xi_j^\mu S_i^\rho S_j^\rho\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \exp \left[\frac{\beta}{2 N} \sum_{\rho, \mu}\left(\sum_i \xi_i^\mu S_i^\rho\right)\left(\sum_j \xi_j^\mu S_j^\rho\right)\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \exp \left[\frac{\beta N}{2} \sum_{\rho, \mu}\left(\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho\right)^2\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \prod_{\rho, \mu} \exp \left[\frac{\beta N}{2}\left(\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho\right)^2\right]\right\rangle, \end{aligned}$$

其中$\operatorname{Tr}$表示对所有构型${\mathbf{S}}$求和，$\langle\cdot\rangle$表示淬火无序平均。使用Hubbard-Stratonovich transformation技巧，将其中指数中的二次项转化为高斯积分：

$$\begin{align} e^{a b^2}=\sqrt{\frac{a}{\pi}} \int e^{-a x^2+2 a b x} d x \end{align}$$

设定这些参数为：

$$\begin{align} \left\{\begin{array}{l} b \rightarrow \frac{1}{N} \sum_i \xi_i^\mu S_i^\rho \\ x \rightarrow m_\rho^\mu \\ a \rightarrow \frac{\beta N}{2} \end{array} \right. \end{align}$$

通过对$m_\rho^\mu$积分得到：

$$\begin{align} \left\langle Z^n\right\rangle & =\left\langle\operatorname{Tr} \int \prod_{\rho, \mu} \sqrt{\frac{\beta N}{2 \pi}} d m_\rho^\mu \exp \left[-\frac{\beta N}{2}\left(m_\rho^\mu\right)^2+\beta m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \int \prod_{\rho', \mu'} \sqrt{\frac{\beta N}{2 \pi}} d m_{\rho'}^{\mu'} \exp \left[-\frac{\beta N}{2} \sum_{\rho, \mu}\left(m_\rho^\mu\right)^2+\beta \sum_{\rho, \mu} m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \int \prod_{\rho', \mu'} \sqrt{\frac{\beta N}{2 \pi}} d m_{\rho'}^{\mu'} \exp \left[-\frac{\beta N}{2} \sum_{\mu \geq 2} \sum_\rho\left(m_\rho^\mu\right)^2+\right.\left.\beta \sum_{\mu \geq 2} \sum_\rho m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho\right]\right\rangle . \end{align}$$

最后假设只有第一个模式被恢复$\mu=1$，在表达式中将其单独分出来，因此交错项$m_\rho^\mu \sim O(1)$。

接下来考虑没有被恢复的模式($\mu \geq 2$)，由于没有被恢复，因此$\left\langle\sum_i \xi_i^\mu S_i^\rho\right\rangle_{\xi}=0$并且$\left\langle\left(\sum_i \xi_i^\mu S_i^\rho\right)^2\right\rangle_{\xi}=N+\left\langle\sum_{i \neq j} \xi_i^\mu \xi_j^\mu S_i^\rho S_j^\rho\right\rangle_{\xi}=N$。$m_\rho^\mu(\mu \geq 2)$的大小数量级为（可以将这个过程认为是一维链上的随机游走过程，计算的是绝对值的期望）：

$$\begin{align} m_\rho^\mu=\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho \approx O\left(\frac{1}{\sqrt{N}}\right) \end{align}$$

为了将整个数量级变为$O(1)$，因此将$m^\mu_\rho$进行变换$m_\rho^\mu \rightarrow \frac{m_\rho^\mu}{\sqrt{\beta N}}$。变化之后为：

$$\begin{align} \left\langle Z^n\right\rangle= & \left(\frac{1}{\sqrt{2 \pi}}\right)^{n(P-1)}\left\langle\operatorname { T r } \int \prod _ { \rho' , \mu' > 1 } d m _ { \rho' } ^ { \mu' } \prod _ { \rho } \sqrt { \beta N } d m _ { \rho } ^ { 1 } \operatorname { e x p } \left[-\frac{1}{2} \sum_{\mu \geq 2} \sum_\rho\left(m_\rho^\mu\right)^2+ \sqrt{\frac{\beta}{N}} \sum_{\mu \geq 2} \sum_\rho m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho\right]\right\rangle \label{znstart} \end{align}$$

接下来将其中的每一部分进行分解化简。

对于$\mu \geq 2$的部分，由于模式$\xi$是随机选取的，在模式的数量较多的情况下可以认为存在$\langle\exp (A \xi)\rangle_{\{\xi= \pm 1\}}=\exp (-A)+\exp (A)= 2 \cosh (A) \propto \exp (\ln \cosh (A))$，再结合近似$\ln \cosh x=\frac{x^2}{2}+\cdots$ 在 $x \rightarrow 0$：

$$\begin{aligned} & \left\langle\exp \left[\sqrt{\frac{\beta}{N}} \sum_{\mu \geq 2} \sum_\rho m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]\right\rangle_{\xi_i^\mu: \mu>1} \\ & \propto \exp \left[\sum_{\mu \geq 2, i} \ln \cosh \left(\sqrt{\frac{\beta}{N}} \sum_\rho m_\rho^\mu S_i^\rho\right)\right] \\ & \cong \exp \left[\sum_{\mu \geq 2} \sum_i \frac{\beta}{2 N}\left(\sum_\rho m_\rho^\mu S_i^\rho\right)^2\right] \end{aligned}$$

然后将平方项$(m_\rho^\mu)^2$改写：

$$\begin{align} \sum_\rho\left(m_\rho^\mu\right)^2&=\sum_{\rho, \sigma} m_\rho^\mu \delta_{\rho \sigma} m_\sigma^\mu \\ \frac{1}{N} \sum_i\left(\sum_\rho m_\rho^\mu S_i^\rho\right)^2 & =\frac{1}{N} \sum_i \sum_\rho m_\rho^\mu S_i^\rho \sum_\sigma m_\sigma^\mu S_i^\sigma \\ & =\sum_{\rho, \sigma} m_\rho^\mu \frac{1}{N} \sum_i S_i^\rho S_i^\sigma m_\sigma^\mu \\ & :=\sum_{\rho, \sigma} m_\rho^\mu q_{\rho \sigma} m_\sigma^\mu \end{align}$$

为了进一步化简该表达式：

$$\begin{align} \kappa_{\rho \sigma}=\delta_{\rho \sigma}-\frac{\beta}{N} \sum_i S_i^\rho S_i^\sigma:=\delta_{\rho \sigma}-\beta q_{\rho \sigma} \end{align}$$

写为矩阵形式：

$$\begin{align} \mathbf{K}&=\mathbf{I}-\beta \mathbf{Q} \\ q_{\rho \sigma}&=\left\{\begin{array}{ll} \frac{1}{N} \sum_i S_i^\rho S_i^\sigma & \rho \neq \sigma \\ 1 & \rho=\sigma \end{array}\right. \label{q} \end{align}$$

$\mathbf{K}, \mathbf{Q}$ 是对称的 $n \times n$ 矩阵。因此有：

$$\begin{equation} \begin{aligned} \left\langle Z^n\right\rangle & \propto \operatorname{Tr} \int \prod_{\rho, \sigma} d q_{\rho \sigma} \delta\left(q_{\rho \sigma}-\frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right) \\ & \times \prod_{\mu \geq 2, \rho} d m_\rho^\mu \exp \left[-\frac{1}{2} \sum_{\mu \geq 2} \sum_{\rho, \sigma} m_\rho^\mu \kappa_{\rho \sigma} m_\sigma^\mu\right] \\ & \times\left\langle\int \prod_\rho d m_\rho^1 \exp \left[-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho\right]\right\rangle_{\xi^1} \end{aligned} \label{zn} \end{equation}$$

式$\eqref{zn}$中第一行的作用，将$\eqref{q}$关系明确的写进计算公式中，忽略不相关因子。利用多变量高斯积分：

$$\int_{R^n} d \mathbf{m} e^{-\mathbf{M}^{\mathrm{T}} \mathbf{K M}}=\sqrt{\frac{\pi^n}{\operatorname{det}(\mathbf{K})}},$$

可以得到：

$$\begin{align} \int \prod_{\mu \geq 2, \rho} d m_\rho^\mu \exp \left[-\frac{1}{2} \sum_{\mu \geq 2} \sum_{\rho, \sigma} m_\rho^\mu \kappa_{\rho \sigma} m_\sigma^\mu\right]=\frac{C}{(\operatorname{det} \mathbf{K})^{\frac{P-1}{2}}} \end{align}$$

其中$C$是常量。

由于$\operatorname{det}\left(e^{\mathbf{K}}\right)=e^{\operatorname{Tr} \mathbf{K}}$，可得$\operatorname{det} \mathbf{K}=e^{\operatorname{Tr} \ln \mathbf{K}}$，因此有：

$$\begin{align} (\operatorname{det} \mathbf{K})^{-\frac{P-1}{2}}=e^{-\frac{P-1}{2} \operatorname{Tr} \ln \mathbf{K}}=e^{-\frac{P-1}{2} \operatorname{Tr} \ln [\mathbf{I}-\beta \mathbf{Q}]} \end{align}$$

再结合Dirac函数的傅里叶分解：

$$\begin{align} \delta(x)=\frac{1}{2 \pi} \int_{-\infty}^{+\infty} e^{-\mathrm{i} k x} d k, \end{align}$$

将$\eqref{zn}$中第一行Dirac函数进行变换：

$$\begin{aligned} \delta\left(q_{\rho \sigma}-\frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right) \propto \int_{-\infty}^{+\infty} d r_{\rho \sigma} \exp \left[-i r_{\rho \sigma} q_{\rho \sigma}+ i r_{\rho \sigma} \frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right] \end{aligned}$$

将$r$进行重标度$r_{\rho \sigma} \rightarrow -\frac{\mathrm{i} N \alpha \beta^2}{2} r_{\rho \sigma}$，使得$r_{\rho \sigma} \sim O(1)$，这种操作对计算结果没有影响。上式变换忽略了因子项。

这样操作使得最后的结果变得简洁。其中$\alpha=P/N$。

$$\begin{align} \delta\left(q_{\rho \sigma}-\frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right) \propto \int_{-\infty}^{+\infty} d r_{\rho \sigma} \exp \left[-\frac{N \alpha \beta^2}{2} r_{\rho \sigma} q_{\rho \sigma}+\frac{\alpha \beta^2}{2} \sum_{i} r_{\rho \sigma} S_i^\rho S_i^\sigma\right] \label{fuliye} \end{align}$$

接下来将$\eqref{zn}$中的最后一项与$\eqref{fuliye}$中最后一项组合一起：

$$\begin{align} \left\langle\operatorname{Tr} \exp \left[\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho+\frac{\alpha \beta^2}{2} \sum_{i} r_{\rho \sigma} S_i^\rho S_i^\sigma\right]\right\rangle_{\xi^1} = & \left\langle\exp \left\{\sum_i \ln \operatorname{Tr} \exp \left(\beta \sum_\rho m_\rho^1 \xi_i^1 S^\rho+\frac{\alpha \beta^2}{2} r_{\rho \sigma} S^\rho S^\sigma\right)\right\}\right\rangle_{\xi^1} \\ = & \exp \left\{N\left\langle\ln \operatorname{Tr} \exp \left(\beta \sum_\rho m_\rho^1 \xi^1 S^\rho+\frac{\alpha \beta^2}{2} r_{\rho \sigma} S^\rho S^\sigma\right)\right\rangle_{\xi^1}\right\} \\ := & \exp \left\{N\left\langle\ln \operatorname{Tr} \exp \left(\beta H_{\xi^1}\right)\right\rangle_{\xi^1}\right\} \end{align}$$

定义，因为上面分析的是一个$q_{\rho \sigma}$的$\delta$函数展开，原来表达式中在积分符号中含有$\prod_{\rho \sigma}$，在指数中将会增加求和符号$\sum_{\rho \sigma}$：

$$\begin{align} \beta H_{\xi^1}=\frac{1}{2} \alpha \beta^2 \sum_{\rho \sigma}r_{\rho \sigma} S^\rho S^\sigma+\beta \sum_\rho m_\rho^1 \xi^1 S^\rho, \end{align}$$

最终$\eqref{zn}$转化为：

$$\begin{equation} \begin{aligned} & \left\langle Z^n\right\rangle \propto \int \prod_\rho d m_\rho^1 \prod_{\rho, \sigma} d q_{\rho \sigma} d r_{\rho \sigma} \exp \left[-\frac{N}{2} \alpha \beta^2 \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}\right] \\ & \times \exp \left[-\frac{P-1}{2} \operatorname{Tr} \ln [\mathbf{I}-\beta \mathbf{Q}]\right] \exp \left[-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+N\left\langle\ln \operatorname{Tr} e^{\beta H_{\xi^1}}\right\rangle_{\xi^1}\right] \end{aligned} \label{zn2} \end{equation}$$

因为假定$N$足够大，使用 Laplace’s Method：

$$\int_a^b e^{N f(z)} d z \approx \sqrt{\frac{2 \pi}{-N f^{\prime \prime}\left(z_0\right)}} e^{N f\left(z_0\right)}$$

其中$Z_0$表示$f(z)$的极值点，这样就把积分转化为在极值点起作用的标量。采用近似 $\left\langle Z^n\right\rangle \sim e^{N F\left(\theta^*\right)}$，其中用$\theta$表示序参量。

$$\begin{equation} F(\theta^{*})=\max_\theta F(\theta) \end{equation}$$

淬火无序平均值变为：

$$\begin{align} \langle\ln Z\rangle=\lim _{n \rightarrow 0} \frac{\ln \left\langle Z^n\right\rangle}{n}=\lim _{n \rightarrow 0} \frac{\ln e^{N F\left(\theta^*\right)}}{n}=N \lim _{n \rightarrow 0} \frac{F\left(\theta^*\right)}{n} \label{847} \end{align}$$

当$n$足够大时，近似有$P-1 \simeq P=\alpha N$：

$$\begin{align} F\left(r_{\rho \sigma}, q_{\rho \sigma}, m_\rho^1\right)= & -\frac{\alpha \beta^2}{2} \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}-\frac{\alpha}{2} \operatorname{Tr} \ln [\mathbf{I}-\beta \mathbf{Q}] -\frac{\beta}{2} \sum_\rho\left(m_\rho^1\right)^2+\left\langle\ln \operatorname{Tr} e^{\beta H_{\xi^1}}\right\rangle_{\xi^1} \label{freeenergy1} \end{align}$$

序参量分析

通过以上讨论已经得到与相变相关的序参量$\left(r_{\rho \sigma}, q_{\rho \sigma}, m_\rho^1\right)$，即其满足的方程$\eqref{freeenergy1}$。在继续进行极值分析前，先回顾一下其中每一个变量的含义。$\alpha$是存储模式的比例；$\beta$是逆温度；$r$是在进行傅里叶变换的时候引入的变量；$q$是在进行变量替换时候引入的变量；$\mathbf{Q}$是$q$矩阵形式；$m$是在进行高斯积分引入的变量；$H_\xi$是将$S$重新组合之后的表达形式。

接下来计算$F\left(r_{\rho \sigma}, q_{\rho \sigma}, m_\rho^1\right)$的极值，首先处理$q_{\rho \sigma}$，结合$\eqref{zn}$：

$$\begin{align} \frac{\partial F}{\partial q_{\rho \sigma}}=0 \Rightarrow \frac{\partial}{\partial q_{\rho \sigma}}\left[-\frac{N \alpha \beta^2}{2} \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}+\frac{\beta}{2}(\sqrt{\beta N})^2 \sum_{\mu \geq 2} \sum_{\rho, \sigma} m_\rho^\mu q_{\rho \sigma} m_\sigma^\mu\right]=0 \text {, } \end{align}$$

得到解为：

$$\begin{align} r_{\rho \sigma}=\frac{1}{\alpha} \sum_{\mu \geq 2} m_\rho^\mu m_\sigma^\mu \end{align}$$

从表达式中可以看出，之前进行标度的变换，目的是为了使得最终的共轭关系变得更直观。

然后处理$m_\rho^\mu$，结合最开始的$\eqref{znstart}$：

$$\begin{align} \frac{\partial F}{\partial m_\rho^\mu}=0 \Rightarrow \frac{\partial}{\partial m_\rho^\mu}\left[-\frac{\beta N}{2}\left(m_\rho^\mu\right)^2+\beta m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]=0 \end{align}$$

可以得到：

$$\begin{align} m_\rho^\mu=\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho \end{align}$$

可以看出$m_\rho^\mu$在处理不同的模式之间影响的作用，也称作交叠项。

最后处理$r_{\rho\sigma}$，结合$\eqref{zn2}$：

$$\begin{align} \frac{\partial F}{\partial r_{\rho \sigma}}=0 \Rightarrow \frac{\partial}{\partial r_{\rho \sigma}}\left[-\frac{N \alpha \beta^2}{2} \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}+\frac{\alpha \beta^2}{2} \sum_{i, \rho, \sigma} r_{\rho \sigma} S_i^\rho S_i^\sigma\right]=0, \end{align}$$

得到序参量：

$$\begin{align} q_{\rho \sigma}=\frac{1}{N} \sum_i S_i^\rho S_i^\sigma \end{align}$$

$q_{\rho \sigma}$通常理解为两个纯态之间的相互重叠。如果一个单一状态主导了相空间，爱德华兹-安德森序参量就用来表征该状态的大小。

Append

行列式与迹的关系证明

M = {{a, b}, {c, d}};
Sum[Det[MatrixPower[M, k]]/(k!), {k, 0, Infinity}] // FullSimplify