Yixiong's Blog

介绍Active Learning的基本概念与算法，以及相关python库——ALiPy的使用。

The key idea behind active learning is that a machine learning algorithm can achieve greater accuracy with fewer labeled training instances if it is allowed to choose the data from which is learns.

Reference:

• Active Learning Literature Survey
• ALiPy: Active Learning in Python
• GitHub:ALiPy

Tensor Network Monte Carlo (TNMC) method将张量网络和蒙特卡洛模拟结合，是一种新的模拟方法。本文分为两个部分，介绍TNMC方法，以及其在随机二维Ising模型上的实验。

Link:

• Tensor network Monte Carlo simulations for the two-dimensional random-bond Ising model
• Unbiased Monte Carlo for the age of tensor networks

Code:

• TNMC

在数值分析和科学计算中，Newton-Raphson方法是一个非常重要的工具，它被广泛用于求解方程的根。然而，经典的Newton-Raphson方法在面对复杂的非线性方程和多个根的情况下，可能会出现收敛性差、振荡或发散的情况。为了解决这些问题，研究者们提出了一种基于物理学启发的新方法，该方法在保留Newton-Raphson方法优点的同时，通过引入一个新的参数$\beta$，有效提升了算法的收敛速度和稳定性。

Link:

• Annealing approach to root finding

文章主要讨论在持续学习任务中，损失具有弹性是很关键，进而指出在深度学习中，仅仅依靠反向传播是不够的，需要结合随机、非梯度的优化方式（例如演化计算等）。

Link:

• Loss of plasticity in deep continual learning
• Nature正刊（演化深度持续学习）Loss of plasticity in deep continual learning

对于ReLU激活层单向性的分析，得到变化的上下界。

Link:

• Injectivity of ReLU networks: perspectives from statistical physics

在之前的游戏引擎中存在仅适用于单一游戏的问题，虽然AlphaZero解决对于完全完美信息的通用性，但是对于扑克等依旧不存在通用算法。这篇文章提出一种新的通用算法Student of Games（SoG），该算法类似于AlphaZero通过自博弈的方式完成训练，同时拓展了适用边界——适用于非完全信息博弈，例如扑克。

Link:

• Student of Games:Aunified learning algorithm forboth perfect andimperfect information games

通过构建三个网络学习实空间重整化过程中的参数变化。

Reference:

• Machine learning renormalization group for statistical physics

Parisi关于组合优化问题的分析。

reference:

• Analytic and Algorithmic Solution of Random Satisfiability Problems

主要用于实现我对 Hexo 各种奇奇怪怪的需求。