模拟退火算法简单理解

模拟退火算法

算法流程图

1. 引言

模拟退火算法（Simulate Anneal，SA）是一种通用概率演算法，用来 在一个大的搜寻空间内找寻命题的最优解 。模拟退火是由S.Kirkpatrick, C.D.Gelatt和M.P.Vecchi在1983年所发明的。V.Černý在1985年也独立发明此演算法。模拟退火算法是解决 TSP问题的有效方法之一。

模拟退火的出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法是一种通用的优化算法，其物理退火过程由加温过程、等温过程、冷却过程这三部分组成理论上以概率1收敛于全局最优，在工程中有比较广泛的应用，如VLSI、生成调度、控制工程、机器学习、神经网络、信号处理等领域。

2. 原理

模拟退火的原理也和金属退火的原理近似：将热力学的理论套用到统计学上，将搜寻空间内每一点想像成空气内的分子；分子的能量，就是它本身的动能；而搜寻空间内的每一点，也像空气分子一样带有“能量”，以表示该点对命题的合适程度。演算法先以搜寻空间内一个任意点作起始：每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。

3. 基本要素

状态空间与状态产生函数

搜索空间也称为状态空间，它由经过编码的可行解的集合组成。
状态产生函数（邻域函数）应尽可能保证产生的候选解遍布全部解空间。通常由两部分组成，即产生候选解的方式和候选解产生的概率分布。
候选解一般采用按照某一概率密度函数对解空间进行随机采样来获得。
概率分布可以是均匀分布、正态分布、指数分布等。

状态转移概率

状态转移概率是指从一个状态向另一个状态的转移概率。
通俗的理解是接受一个新解为当前解的概率。
它与当前的温度参数T有关，随温度下降而减小。
一般采用Metropolis准则。

内循环终止准则

也称Metropolis抽样稳定准则，用于决定在各温度下产生候选解的数目。常用的抽样稳定准则包括：

检验目标函数的均值是否稳定。
连续若干步的目标值变化较小。
按一定的步数抽样。

外循环终止准则

即算法终止准则，常用的包括：

设置终止温度的阈值。
设置外循环迭代次数。
算法搜索到的最优值连续若干步保持不变。
检验系统熵是否稳定。

4. 模型概述

模拟退火算法新解的产生和接受可分为如下四个步骤：

第一步是由一个产生函数从当前解产生一个位于解空间的新解；为便于后续的计算和接受，减少算法耗时，通常选择由当前新解经过简单地变换即可产生新解的方法，如对构成新解的全部或部分元素进行置换、互换等，注意到产生新解的变换方法决定了当前新解的邻域结构，因而对冷却进度表的选取有一定的影响。
第二步是计算与新解所对应的目标函数差。因为目标函数差仅由变换部分产生，所以目标函数差的计算最好按增量计算。事实表明，对大多数应用而言，这是计算目标函数差的最快方法。
第三步是判断新解是否被接受，判断的依据是一个接受准则，最常用的接受准则是Metropolis准则: 若Δt′<0则接受S′作为新的当前解S，否则以概率exp(-Δt′/T)接受S′作为新的当前解S。
第四步是当新解被确定接受时，用新解代替当前解，这只需将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。此时，当前解实现了一次迭代。可在此基础上开始下一轮试验。而当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。

模拟退火算法与初始值无关，算法求得的解与初始解状态S(是算法迭代的起点)无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率收敛于全局最优解的全局优化算法；模拟退火算法具有并行性。

5. 参数控制

模拟退火算法的应用很广泛，可以求解NP完全问题，但其参数难以控制，其主要问题有以下三点：
(1) 温度T的初始值设置问题。
温度T的初始值设置是影响模拟退火算法全局搜索性能的重要因素之一、初始温度高，则搜索到全局最优解的可能性大，但因此要花费大量的计算时间；反之，则可节约计算时间，但全局搜索性能可能受到影响。实际应用过程中，初始温度一般需要依据实验结果进行若干次调整。

(2) 退火速度问题。
模拟退火算法的全局搜索性能也与退火速度密切相关。一般来说，同一温度下的“充分”搜索(退火)是相当必要的，但这需要计算时间。实际应用中，要针对具体问题的性质和特征设置合理的退火平衡条件。

(3) 温度管理问题。
温度管理问题也是模拟退火算法难以处理的问题之一。实际应用中，由于必须考虑计算复杂度的切实可行性等问题，常采用如下所示的降温方式：
式中k为正的略小于1.00的常数，t为降温的次数。

6. 算法改进

设计合适的状态产生函数，使其根据搜索进程的需要表现出状态的全空间分散性或局部区域性；
设计高效的退火策略；
避免状态的迂回搜索；
采用并行搜索结构；
为避免陷入局部极小，改进对温度的控制方式；
选择合适的初始状态；
设计合适的算法终止准则。

利用退火算法英文分词例子

7. 小结

可以对比梯度下降算法去理解模拟退火算法（~~这里引入的梯度下降博客文章介绍不是太生动，有问题的话可以直接问百度~~~~ ）。梯度下降法和模拟退火算法都是求最优解的方法，但它们也有所不同。利用一阶导数去求极值的梯度下降法，可以求得局部最优解，但不能直接搜索到全局最优解；由于退火算法加入候选解，候选解由一定的概率密度分布从解空间随机采样获得，故可以取到全局最优解。

参考：
百度百科模拟退火
文献：模拟退火算法及其应用研究