Link: * Hopfield 相图 * Replica
根据前文已知： $$\begin{equation} \begin{aligned} \omega_{ij}&=\frac{1}{N}\xi_i\xi_j \quad i\neq j\\ \omega_{ii}&=0 \end{aligned} \label{omega} \end{equation} $$ $$\begin{equation} H=-\frac{1}{2} \sum_{i, j}^N w_{i j} S_i S_j \label{hamiltonian} \end{equation}$$
Free Energy
假定能够存储P = αN个随机模式。结合$\eqref{omega}$与$\eqref{hamiltonian}$有：
$$\begin{aligned} \left\langle Z^n\right\rangle & =\left\langle\operatorname{Tr} \exp \left[\frac{\beta}{2 N} \sum_{i, j}^N \sum_{\mu=1}^P \sum_{\rho=1}^n \xi_i^\mu \xi_j^\mu S_i^\rho S_j^\rho\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \exp \left[\frac{\beta}{2 N} \sum_{\rho, \mu}\left(\sum_i \xi_i^\mu S_i^\rho\right)\left(\sum_j \xi_j^\mu S_j^\rho\right)\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \exp \left[\frac{\beta N}{2} \sum_{\rho, \mu}\left(\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho\right)^2\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \prod_{\rho, \mu} \exp \left[\frac{\beta N}{2}\left(\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho\right)^2\right]\right\rangle, \end{aligned}$$
其中Tr 表示对所有构型S求和，⟨⋅⟩表示淬火无序平均。使用Hubbard-Stratonovich transformation技巧，将其中指数中的二次项转化为高斯积分：
$$\begin{align} e^{a b^2}=\sqrt{\frac{a}{\pi}} \int e^{-a x^2+2 a b x} d x \end{align}$$
设定这些参数为：
$$\begin{align} \left\{\begin{array}{l} b \rightarrow \frac{1}{N} \sum_i \xi_i^\mu S_i^\rho \\ x \rightarrow m_\rho^\mu \\ a \rightarrow \frac{\beta N}{2} \end{array} \right. \end{align}$$
通过对mρμ积分得到： $$\begin{align} \left\langle Z^n\right\rangle & =\left\langle\operatorname{Tr} \int \prod_{\rho, \mu} \sqrt{\frac{\beta N}{2 \pi}} d m_\rho^\mu \exp \left[-\frac{\beta N}{2}\left(m_\rho^\mu\right)^2+\beta m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \int \prod_{\rho', \mu'} \sqrt{\frac{\beta N}{2 \pi}} d m_{\rho'}^{\mu'} \exp \left[-\frac{\beta N}{2} \sum_{\rho, \mu}\left(m_\rho^\mu\right)^2+\beta \sum_{\rho, \mu} m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]\right\rangle \\ & =\left\langle\operatorname{Tr} \int \prod_{\rho', \mu'} \sqrt{\frac{\beta N}{2 \pi}} d m_{\rho'}^{\mu'} \exp \left[-\frac{\beta N}{2} \sum_{\mu \geq 2} \sum_\rho\left(m_\rho^\mu\right)^2+\right.\left.\beta \sum_{\mu \geq 2} \sum_\rho m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho\right]\right\rangle . \end{align}$$
最后假设只有第一个模式被恢复μ = 1，在表达式中将其单独分出来，因此交错项mρμ ∼ O(1)。
接下来考虑没有被恢复的模式(μ ≥ 2)，由于没有被恢复，因此⟨∑iξiμSiρ⟩ξ = 0并且⟨(∑iξiμSiρ)2⟩ξ = N + ⟨∑i ≠ jξiμξjμSiρSjρ⟩ξ = N。mρμ(μ ≥ 2)的大小数量级为（可以将这个过程认为是一维链上的随机游走过程，计算的是绝对值的期望）： $$\begin{align} m_\rho^\mu=\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho \approx O\left(\frac{1}{\sqrt{N}}\right) \end{align}$$
为了将整个数量级变为O(1)，因此将mρμ进行变换$m_\rho^\mu \rightarrow \frac{m_\rho^\mu}{\sqrt{\beta N}}$。变化之后为：
$$ \begin{align} \left\langle Z^n\right\rangle= & \left(\frac{1}{\sqrt{2 \pi}}\right)^{n(P-1)}\left\langle\operatorname { T r } \int \prod _ { \rho' , \mu' > 1 } d m _ { \rho' } ^ { \mu' } \prod _ { \rho } \sqrt { \beta N } d m _ { \rho } ^ { 1 } \operatorname { e x p } \left[-\frac{1}{2} \sum_{\mu \geq 2} \sum_\rho\left(m_\rho^\mu\right)^2+ \sqrt{\frac{\beta}{N}} \sum_{\mu \geq 2} \sum_\rho m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho\right]\right\rangle \label{znstart} \end{align} $$
接下来将其中的每一部分进行分解化简。
对于μ ≥ 2的部分，由于模式ξ是随机选取的，在模式的数量较多的情况下可以认为存在⟨exp (Aξ)⟩{ξ = ±1} = exp (−A) + exp (A) = 2cosh (A) ∝ exp (ln cosh (A))，再结合近似$\ln \cosh x=\frac{x^2}{2}+\cdots$ 在 x → 0：
$$\begin{aligned} & \left\langle\exp \left[\sqrt{\frac{\beta}{N}} \sum_{\mu \geq 2} \sum_\rho m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]\right\rangle_{\xi_i^\mu: \mu>1} \\ & \propto \exp \left[\sum_{\mu \geq 2, i} \ln \cosh \left(\sqrt{\frac{\beta}{N}} \sum_\rho m_\rho^\mu S_i^\rho\right)\right] \\ & \cong \exp \left[\sum_{\mu \geq 2} \sum_i \frac{\beta}{2 N}\left(\sum_\rho m_\rho^\mu S_i^\rho\right)^2\right] \end{aligned}$$
然后将平方项(mρμ)2改写： $$\begin{align} \sum_\rho\left(m_\rho^\mu\right)^2&=\sum_{\rho, \sigma} m_\rho^\mu \delta_{\rho \sigma} m_\sigma^\mu \\ \frac{1}{N} \sum_i\left(\sum_\rho m_\rho^\mu S_i^\rho\right)^2 & =\frac{1}{N} \sum_i \sum_\rho m_\rho^\mu S_i^\rho \sum_\sigma m_\sigma^\mu S_i^\sigma \\ & =\sum_{\rho, \sigma} m_\rho^\mu \frac{1}{N} \sum_i S_i^\rho S_i^\sigma m_\sigma^\mu \\ & :=\sum_{\rho, \sigma} m_\rho^\mu q_{\rho \sigma} m_\sigma^\mu \end{align}$$
为了进一步化简该表达式：
$$\begin{align} \kappa_{\rho \sigma}=\delta_{\rho \sigma}-\frac{\beta}{N} \sum_i S_i^\rho S_i^\sigma:=\delta_{\rho \sigma}-\beta q_{\rho \sigma} \end{align}$$
写为矩阵形式：
$$\begin{align} \mathbf{K}&=\mathbf{I}-\beta \mathbf{Q} \\ q_{\rho \sigma}&=\left\{\begin{array}{ll} \frac{1}{N} \sum_i S_i^\rho S_i^\sigma & \rho \neq \sigma \\ 1 & \rho=\sigma \end{array}\right. \label{q} \end{align}$$
K, Q 是对称的 n × n 矩阵。因此有：
$$\begin{equation} \begin{aligned} \left\langle Z^n\right\rangle & \propto \operatorname{Tr} \int \prod_{\rho, \sigma} d q_{\rho \sigma} \delta\left(q_{\rho \sigma}-\frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right) \\ & \times \prod_{\mu \geq 2, \rho} d m_\rho^\mu \exp \left[-\frac{1}{2} \sum_{\mu \geq 2} \sum_{\rho, \sigma} m_\rho^\mu \kappa_{\rho \sigma} m_\sigma^\mu\right] \\ & \times\left\langle\int \prod_\rho d m_\rho^1 \exp \left[-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho\right]\right\rangle_{\xi^1} \end{aligned} \label{zn} \end{equation}$$
式$\eqref{zn}$中第一行的作用，将$\eqref{q}$关系明确的写进计算公式中，忽略不相关因子。利用多变量高斯积分：
$$ \int_{R^n} d \mathbf{m} e^{-\mathbf{M}^{\mathrm{T}} \mathbf{K M}}=\sqrt{\frac{\pi^n}{\operatorname{det}(\mathbf{K})}}, $$
可以得到：
$$\begin{align} \int \prod_{\mu \geq 2, \rho} d m_\rho^\mu \exp \left[-\frac{1}{2} \sum_{\mu \geq 2} \sum_{\rho, \sigma} m_\rho^\mu \kappa_{\rho \sigma} m_\sigma^\mu\right]=\frac{C}{(\operatorname{det} \mathbf{K})^{\frac{P-1}{2}}} \end{align}$$ 其中C是常量。
由于det (eK) = eTr K，可得det K = eTr ln K，因此有：
$$\begin{align} (\operatorname{det} \mathbf{K})^{-\frac{P-1}{2}}=e^{-\frac{P-1}{2} \operatorname{Tr} \ln \mathbf{K}}=e^{-\frac{P-1}{2} \operatorname{Tr} \ln [\mathbf{I}-\beta \mathbf{Q}]} \end{align}$$
再结合Dirac函数的傅里叶分解：
$$\begin{align} \delta(x)=\frac{1}{2 \pi} \int_{-\infty}^{+\infty} e^{-\mathrm{i} k x} d k, \end{align}$$
将$\eqref{zn}$中第一行Dirac函数进行变换：
$$ \begin{aligned} \delta\left(q_{\rho \sigma}-\frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right) \propto \int_{-\infty}^{+\infty} d r_{\rho \sigma} \exp \left[-i r_{\rho \sigma} q_{\rho \sigma}+ i r_{\rho \sigma} \frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right] \end{aligned} $$
将r进行重标度$r_{\rho \sigma} \rightarrow -\frac{\mathrm{i} N \alpha \beta^2}{2} r_{\rho \sigma}$，使得rρσ ∼ O(1)，这种操作对计算结果没有影响。上式变换忽略了因子项。 这样操作使得最后的结果变得简洁。其中α = P/N。
$$\begin{align} \delta\left(q_{\rho \sigma}-\frac{1}{N} \sum_i S_i^\rho S_i^\sigma\right) \propto \int_{-\infty}^{+\infty} d r_{\rho \sigma} \exp \left[-\frac{N \alpha \beta^2}{2} r_{\rho \sigma} q_{\rho \sigma}+\frac{\alpha \beta^2}{2} \sum_{i} r_{\rho \sigma} S_i^\rho S_i^\sigma\right] \label{fuliye} \end{align}$$
接下来将$\eqref{zn}$中的最后一项与$\eqref{fuliye}$中最后一项组合一起： $$\begin{align} \left\langle\operatorname{Tr} \exp \left[\beta \sum_\rho m_\rho^1 \sum_i \xi_i^1 S_i^\rho+\frac{\alpha \beta^2}{2} \sum_{i} r_{\rho \sigma} S_i^\rho S_i^\sigma\right]\right\rangle_{\xi^1} = & \left\langle\exp \left\{\sum_i \ln \operatorname{Tr} \exp \left(\beta \sum_\rho m_\rho^1 \xi_i^1 S^\rho+\frac{\alpha \beta^2}{2} r_{\rho \sigma} S^\rho S^\sigma\right)\right\}\right\rangle_{\xi^1} \\ = & \exp \left\{N\left\langle\ln \operatorname{Tr} \exp \left(\beta \sum_\rho m_\rho^1 \xi^1 S^\rho+\frac{\alpha \beta^2}{2} r_{\rho \sigma} S^\rho S^\sigma\right)\right\rangle_{\xi^1}\right\} \\ := & \exp \left\{N\left\langle\ln \operatorname{Tr} \exp \left(\beta H_{\xi^1}\right)\right\rangle_{\xi^1}\right\} \end{align}$$
定义，因为上面分析的是一个qρσ的δ函数展开，原来表达式中在积分符号中含有∏ρσ，在指数中将会增加求和符号∑ρσ： $$\begin{align} \beta H_{\xi^1}=\frac{1}{2} \alpha \beta^2 \sum_{\rho \sigma}r_{\rho \sigma} S^\rho S^\sigma+\beta \sum_\rho m_\rho^1 \xi^1 S^\rho, \end{align}$$
最终$\eqref{zn}$转化为： $$\begin{equation} \begin{aligned} & \left\langle Z^n\right\rangle \propto \int \prod_\rho d m_\rho^1 \prod_{\rho, \sigma} d q_{\rho \sigma} d r_{\rho \sigma} \exp \left[-\frac{N}{2} \alpha \beta^2 \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}\right] \\ & \times \exp \left[-\frac{P-1}{2} \operatorname{Tr} \ln [\mathbf{I}-\beta \mathbf{Q}]\right] \exp \left[-\frac{\beta N}{2} \sum_\rho\left(m_\rho^1\right)^2+N\left\langle\ln \operatorname{Tr} e^{\beta H_{\xi^1}}\right\rangle_{\xi^1}\right] \end{aligned} \label{zn2} \end{equation}$$
因为假定N足够大，使用 Laplace’s Method：
$$ \int_a^b e^{N f(z)} d z \approx \sqrt{\frac{2 \pi}{-N f^{\prime \prime}\left(z_0\right)}} e^{N f\left(z_0\right)} $$
其中Z0表示f(z)的极值点，这样就把积分转化为在极值点起作用的标量。采用近似 ⟨Zn⟩ ∼ eNF(θ*)，其中用θ表示序参量。
F(θ*) = maxθF(θ)
淬火无序平均值变为： $$\begin{align} \langle\ln Z\rangle=\lim _{n \rightarrow 0} \frac{\ln \left\langle Z^n\right\rangle}{n}=\lim _{n \rightarrow 0} \frac{\ln e^{N F\left(\theta^*\right)}}{n}=N \lim _{n \rightarrow 0} \frac{F\left(\theta^*\right)}{n} \label{847} \end{align}$$ 当n足够大时，近似有P − 1 ≃ P = αN：
$$\begin{align} F\left(r_{\rho \sigma}, q_{\rho \sigma}, m_\rho^1\right)= & -\frac{\alpha \beta^2}{2} \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}-\frac{\alpha}{2} \operatorname{Tr} \ln [\mathbf{I}-\beta \mathbf{Q}] -\frac{\beta}{2} \sum_\rho\left(m_\rho^1\right)^2+\left\langle\ln \operatorname{Tr} e^{\beta H_{\xi^1}}\right\rangle_{\xi^1} \label{freeenergy1} \end{align}$$
序参量分析
通过以上讨论已经得到与相变相关的序参量(rρσ, qρσ, mρ1)，即其满足的方程$\eqref{freeenergy1}$。在继续进行极值分析前，先回顾一下其中每一个变量的含义。α是存储模式的比例；β是逆温度；r是在进行傅里叶变换的时候引入的变量；q是在进行变量替换时候引入的变量；Q是q矩阵形式；m是在进行高斯积分引入的变量；Hξ是将S重新组合之后的表达形式。
接下来计算F(rρσ, qρσ, mρ1)的极值，首先处理qρσ，结合$\eqref{zn}$：
$$\begin{align} \frac{\partial F}{\partial q_{\rho \sigma}}=0 \Rightarrow \frac{\partial}{\partial q_{\rho \sigma}}\left[-\frac{N \alpha \beta^2}{2} \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}+\frac{\beta}{2}(\sqrt{\beta N})^2 \sum_{\mu \geq 2} \sum_{\rho, \sigma} m_\rho^\mu q_{\rho \sigma} m_\sigma^\mu\right]=0 \text {, } \end{align}$$
得到解为： $$\begin{align} r_{\rho \sigma}=\frac{1}{\alpha} \sum_{\mu \geq 2} m_\rho^\mu m_\sigma^\mu \end{align}$$
从表达式中可以看出，之前进行标度的变换，目的是为了使得最终的共轭关系变得更直观。
然后处理mρμ，结合最开始的$\eqref{znstart}$：
$$\begin{align} \frac{\partial F}{\partial m_\rho^\mu}=0 \Rightarrow \frac{\partial}{\partial m_\rho^\mu}\left[-\frac{\beta N}{2}\left(m_\rho^\mu\right)^2+\beta m_\rho^\mu \sum_i \xi_i^\mu S_i^\rho\right]=0 \end{align}$$
可以得到： $$\begin{align} m_\rho^\mu=\frac{1}{N} \sum_i \xi_i^\mu S_i^\rho \end{align}$$
可以看出mρμ在处理不同的模式之间影响的作用，也称作交叠项。
最后处理rρσ，结合$\eqref{zn2}$： $$\begin{align} \frac{\partial F}{\partial r_{\rho \sigma}}=0 \Rightarrow \frac{\partial}{\partial r_{\rho \sigma}}\left[-\frac{N \alpha \beta^2}{2} \sum_{\rho, \sigma} r_{\rho \sigma} q_{\rho \sigma}+\frac{\alpha \beta^2}{2} \sum_{i, \rho, \sigma} r_{\rho \sigma} S_i^\rho S_i^\sigma\right]=0, \end{align}$$
得到序参量： $$\begin{align} q_{\rho \sigma}=\frac{1}{N} \sum_i S_i^\rho S_i^\sigma \end{align}$$
qρσ通常理解为两个纯态之间的相互重叠。如果一个单一状态主导了相空间，爱德华兹-安德森序参量就用来表征该状态的大小。
Append
行列式与迹的关系证明
1 | M = {{a, b}, {c, d}}; |