✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。
🍎 往期回顾关注个人主页：Matlab科研工作室
👇 关注我领取海量matlab电子书和数学建模资料
🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。
🔥 内容介绍
本文聚焦于算术优化算法（AOA）在求解精度与收敛速度上的局限性，提出了一种融合强化Q学习与随机精英池策略的改进算法（QL-REP-AOA）。通过构建基于迭代过程的状态空间、设计具有阶段适应性的非线性奖励函数，算法实现了动态策略选择；同时引入随机精英池策略，通过多搜索算子的协同作用提升种群多样性与搜索效率。实验在27个经典基准函数、CEC2020测试集及实际工程问题中验证了QL-REP-AOA的优越性，其精度与收敛速度均显著优于对比算法，展现了解决复杂优化问题的潜力。 关键词 算术优化算法；强化Q学习；随机精英池；动态策略选择；复杂优化问题 1. 引言 1.1 研究背景与意义 优化问题广泛存在于工程、经济、物流等领域，如结构优化设计、生产调度、路径规划等。传统优化方法（如梯度下降法）在处理非线性、高维、多峰等复杂问题时，易陷入局部最优或收敛缓慢。元启发式算法（如遗传算法、粒子群优化）通过模拟自然现象或生物行为，为复杂优化问题提供了有效求解途径。算术优化算法（AOA）作为一种新型元启发式算法，通过模拟算术运算中的数学逻辑进行搜索，具有原理简单、参数少的优点，但在处理复杂问题时，存在求解精度不足与收敛速度较慢的缺陷。 1.2 研究目标与创新点 本文旨在通过融合强化Q学习与随机精英池策略，改进AOA的求解性能。创新点包括： 动态策略选择机制：基于强化Q学习，构建状态空间与阶段适应性奖励函数，使算法能根据优化阶段特征动态调整搜索策略。 随机精英池策略：通过多搜索算子的协同作用，增强种群多样性，提升全局搜索能力。 实验验证全面性：在经典基准函数、CEC2020测试集及实际工程问题中验证算法有效性。 2. 算术优化算法（AOA）基础 2.1 AOA原理 AOA模拟算术运算中的数学逻辑，通过“数学运算符概率”（MOP）控制搜索方向。MOP随迭代次数动态调整，初期较大以促进全局探索，后期较小以增强局部开发。算法流程包括： 初始化种群：随机生成候选解。 计算适应度：评估每个解的优劣。 更新MOP：根据迭代次数调整探索与开发比例。 生成新解：通过算术运算（加、减、乘、除）生成候选解。 选择最优解：保留适应度更高的解进入下一代。 2.2 AOA的局限性 求解精度不足：固定策略难以适应优化问题不同阶段的需求，易陷入局部最优。 收敛速度较慢：全局探索与局部开发的平衡依赖MOP的线性调整，缺乏动态适应性。 种群多样性不足：单一搜索算子易导致种群早熟，降低搜索效率。 3. QL-REP-AOA算法设计 3.1 强化Q学习框架 3.1.1 状态空间构建 状态空间基于迭代过程设计，包含以下维度： 当前迭代次数：反映优化进程。 种群多样性指标：如平均距离、熵值。 最优解改进率：最近几次迭代中最优解的变化幅度。 搜索阶段标识：通过聚类分析划分探索、过渡、开发阶段。 3.1.2 动作空间设计 动作空间包含四种搜索策略： 全局探索策略：大步长随机搜索，增强全局覆盖。 局部开发策略：小步长精细搜索，提升解精度。 混合策略：结合全局与局部搜索，平衡探索与开发。 精英引导策略：以当前最优解为中心进行局部搜索。 3.1.3 奖励函数设计 奖励函数需反映策略选择的优劣，设计为非线性形式，包含以下部分： 即时奖励：基于当前迭代中解的质量提升。 延迟奖励：考虑未来几步的潜在收益，避免短视行为。 阶段适应性：根据搜索阶段调整奖励权重，如探索阶段侧重多样性，开发阶段侧重精度。
3.2 随机精英池策略
3.2.1 精英解选择
每代迭代中，选择适应度最高的前k个解作为精英解，存入精英池。
3.2.2 多搜索算子协同
精英池中的解通过以下算子生成新解：
差分变异：以精英解为基础，引入差分向量进行变异。
高斯扰动：对精英解添加高斯噪声，增强局部搜索能力。
交叉操作：两两精英解进行交叉，生成新解。
反向学习：生成精英解的反向解，扩大搜索范围。
3.2.3 动态权重分配
根据搜索阶段动态调整各算子的使用概率，如探索阶段增加差分变异与反向学习的概率，开发阶段提升高斯扰动与交叉操作的概率。
3.3 QL-REP-AOA算法流程
初始化：随机生成初始种群，初始化Q表。
评估适应度：计算每个解的适应度。
状态感知：根据当前迭代信息构建状态。
策略选择：基于Q表选择最优搜索策略。
生成新解：
若选择精英引导策略，从精英池中随机选择解进行局部搜索。
若选择其他策略，通过对应算子生成新解。
精英池更新：将新解中适应度较高的解存入精英池。
Q表更新：根据新解的适应度更新Q值。
终止条件判断：若满足最大迭代次数或适应度阈值，输出最优解；否则返回步骤3。
⛳️ 运行结果
📣 部分代码
function [lb,ub,dim,fobj] = Get_Functions_details(F)
switch F
case 'F1'
fobj = @F1;
lb=-100;
ub=100;
dim=30;
case 'F2'
fobj = @F2;
lb=-10;
ub=10;
dim=30;
case 'F3'
fobj = @F3;
lb=-100;
ub=100;
dim=30;
case 'F4'
fobj = @F4;
lb=-10;
ub=10;
dim=30;
case 'F5'
fobj = @F5;
lb=-30;
ub=30;
dim=30;
case 'F6'
fobj = @F6;
lb=-100;
ub=100;
dim=30;
case 'F7'
fobj = @F7;
lb=-1.28;
ub=1.28;
dim=30;
case 'F8'
fobj = @F8;
lb=-10;
ub=10;
dim=30;
case 'F9'
fobj = @F9;
lb=-10;
ub=10;
dim=30;
case 'F10'
fobj = @F10;
lb=-1;
ub=1;
dim=30;
case 'F11'
fobj = @F11;
lb=-100;
ub=100;
dim=30;
case 'F12'
fobj = @F12;
lb=-5;
ub=10;
dim=30;
case 'F13'
fobj = @F13;
lb=-500;
ub=500;
dim=30;
case 'F14'
fobj = @F14;
lb=-5.12;
ub=5.12;
dim=30;
case 'F15'
fobj = @F15;
lb=-32;
ub=32;
dim=30;
case 'F16'
fobj = @F16;
lb=-600;
ub=600;
dim=30;
case 'F17'
fobj = @F17;
lb=-50;
ub=50;
dim=30;
case 'F18'
fobj = @F18;
lb=-50;
ub=50;
dim=30;
case 'F19'
fobj = @F19;
lb=-500;
ub=500;
dim=30;
case 'F20'
fobj = @F20;
lb=-5;
ub=5;
dim=4;
case 'F21'
fobj = @F21;
lb=-5.12;
ub=5.12;
dim=2;
case 'F22'
fobj = @F22;
lb=-10;
ub=10;
dim=2;
case 'F23'
fobj = @F23;
lb=-100;
ub=100;
dim=2;
case 'F24'
fobj = @F24;
lb=-65.536;
ub=65.536;
dim=2;
case 'F25'
fobj = @F25;
lb=-5;
ub=5;
dim=4;
case 'F26'
fobj = @F26;
lb=-5;
ub=5;
dim=2;
case 'F27'
fobj = @F27;
lb=[-5,0];
ub=[10,15];
dim=2;
case 'F28'
fobj = @F28;
lb=-2;
ub=2;
dim=2;
case 'F29'
fobj = @F29;
lb=0;
ub=1;
dim=3;
case 'F30'
fobj = @F30;
lb=0;
ub=1;
dim=6;
case 'F31'
fobj = @F31;
lb=0;
ub=10;
dim=4;
case 'F32'
fobj = @F32;
lb=0;
ub=10;
dim=4;
case 'F33'
fobj = @F33;
lb=0;
ub=10;
dim=4;
case 'F34'
fobj = @F34;
lb=-100;
ub=100;
dim=2;
case 'F35'
fobj = @F35;
lb=-4;
ub=5;
dim=30;
end
end
% F1
function o = F1(x)
o=sum(x.^2);
end
% F2
function o = F2(x)
o=sum(abs(x))+prod(abs(x));
end
% F3
function o = F3(x)
dim=size(x,2);
o=0;
for i=1:dim
o=o+sum(x(1:i))^2;
end
end
% F4
function o = F4(x)
o=max(abs(x));
end
% F5
function o = F5(x)
dim=size(x,2);
o=sum(100*(x(2:dim)-(x(1:dim-1).^2)).^2+(x(1:dim-1)-1).^2);
end
% F6
function o = F6(x)
o=sum(abs((x+.5)).^2);
end
% F7
function o = F7(x)
dim=size(x,2);
o=sum([1:dim].*(x.^4))+rand;
end
% F8
function o = F8(x)
dim = size(x, 2);
o = sum([1:dim].*(x.^2));
end
% F9
function o = F9(x)
o=sum(abs(x.*sin(x)+0.1*x));
end
% F10
function o = F10(x)
dim = size(x, 2);
o = 0;
for i = 1:dim
o = o+abs(x(i))^(i+1);
end
end
% F11
function o = F11(x)
dim=size(x,2);
o = 0;
for i = 1:dim
o = o+(10^6)^((i-1)/(dim-1))*x(i)^2;
end
end
% F12
function o = F12(x)
dim = size(x, 2);
p = 0;
o = sum(x.^2);
for i = 1:dim
p = p+0.5*i*x(i);
end
o = o+p^2+p^4;
end
% F13
function o = F13(x)
o=sum(-x.*sin(sqrt(abs(x))));
end
% F14
function o = F14(x)
dim=size(x,2);
o=sum(x.^2-10*cos(2*pi.*x))+10*dim;
end
% F15
function o = F15(x)
dim=size(x,2);
o=-20*exp(-.2*sqrt(sum(x.^2)/dim))-exp(sum(cos(2*pi.*x))/dim)+20+exp(1);
end
% F16
function o = F16(x)
dim=size(x,2);
o=sum(x.^2)/4000-prod(cos(x./sqrt([1:dim])))+1;
end
% F17
function o = F17(x)
dim=size(x,2);
o=(pi/dim)*(10*((sin(pi*(1+(x(1)+1)/4)))^2)+sum((((x(1:dim-1)+1)./4).^2).*...
(1+10.*((sin(pi.*(1+(x(2:dim)+1)./4)))).^2))+((x(dim)+1)/4)^2)+sum(Ufun(x,10,100,4));
end
% F18
function o = F18(x)
dim=size(x,2);
o=.1*((sin(3*pi*x(1)))^2+sum((x(1:dim-1)-1).^2.*(1+(sin(3.*pi.*x(2:dim))).^2))+...
((x(dim)-1)^2)*(1+(sin(2*pi*x(dim)))^2))+sum(Ufun(x,5,100,4));
end
% F19
function o = F19(x)
o = 418.9829*size(x, 2)-sum(x.*sin(sqrt(abs(x))));
end
% F20
function o = F20(x)
aK=[.1957 .1947 .1735 .16 .0844 .0627 .0456 .0342 .0323 .0235 .0246];
bK=[.25 .5 1 2 4 6 8 10 12 14 16];bK=1./bK;
o=sum((aK-((x(1).*(bK.^2+x(2).*bK))./(bK.^2+x(3).*bK+x(4)))).^2);
end
% F21
function o = F21(x)
o = -(1+cos(12*sqrt(x(1)^2+x(2)^2)))/(0.5*(x(1)^2+x(2)^2)+2);
end
% F22
function o = F22(x)
o = 0.26*(x(1)^2+x(2)^2)-0.48*x(1)*x(2);
end
% F23
function o = F23(x)
o = 0.5+((sin(sqrt(x(1)^2+x(2)^2))^2)-0.5)/(1+0.001*(x(1)^2+x(2)^2)^2);
end
% F24
function o = F24(x)
aS=[-32 -16 0 16 32 -32 -16 0 16 32 -32 -16 0 16 32 -32 -16 0 16 32 -32 -16 0 16 32;,...
-32 -32 -32 -32 -32 -16 -16 -16 -16 -16 0 0 0 0 0 16 16 16 16 16 32 32 32 32 32];
for j=1:25
bS(j)=sum((x'-aS(:,j)).^6);
end
o=(1/500+sum(1./([1:25]+bS))).^(-1);
end
% F25
function o = F25(x)
aK=[.1957 .1947 .1735 .16 .0844 .0627 .0456 .0342 .0323 .0235 .0246];
bK=[.25 .5 1 2 4 6 8 10 12 14 16];bK=1./bK;
o=sum((aK-((x(1).*(bK.^2+x(2).*bK))./(bK.^2+x(3).*bK+x(4)))).^2);
end
% F26
function o = F26(x)
o=4*(x(1)^2)-2.1*(x(1)^4)+(x(1)^6)/3+x(1)*x(2)-4*(x(2)^2)+4*(x(2)^4);
end
% F27
function o = F27(x)
o=(x(2)-(x(1)^2)*5.1/(4*(pi^2))+5/pi*x(1)-6)^2+10*(1-1/(8*pi))*cos(x(1))+10;
end
% F28
function o = F28(x)
o=(1+(x(1)+x(2)+1)^2*(19-14*x(1)+3*(x(1)^2)-14*x(2)+6*x(1)*x(2)+3*x(2)^2))*...
(30+(2*x(1)-3*x(2))^2*(18-32*x(1)+12*(x(1)^2)+48*x(2)-36*x(1)*x(2)+27*(x(2)^2)));
end
% F29
function o = F29(x)
aH=[3 10 30;.1 10 35;3 10 30;.1 10 35];cH=[1 1.2 3 3.2];
pH=[.3689 .117 .2673;.4699 .4387 .747;.1091 .8732 .5547;.03815 .5743 .8828];
o=0;
for i=1:4
o=o-cH(i)*exp(-(sum(aH(i,:).*((x-pH(i,:)).^2))));
end
end
% F30
function o = F30(x)
aH=[10 3 17 3.5 1.7 8;.05 10 17 .1 8 14;3 3.5 1.7 10 17 8;17 8 .05 10 .1 14];
cH=[1 1.2 3 3.2];
pH=[.1312 .1696 .5569 .0124 .8283 .5886;.2329 .4135 .8307 .3736 .1004 .9991;...
.2348 .1415 .3522 .2883 .3047 .6650;.4047 .8828 .8732 .5743 .1091 .0381];
o=0;
for i=1:4
o=o-cH(i)*exp(-(sum(aH(i,:).*((x-pH(i,:)).^2))));
end
end
% F31
function o = F31(x)
aSH=[4 4 4 4;1 1 1 1;8 8 8 8;6 6 6 6;3 7 3 7;2 9 2 9;5 5 3 3;8 1 8 1;6 2 6 2;7 3.6 7 3.6];
cSH=[.1 .2 .2 .4 .4 .6 .3 .7 .5 .5];
o=0;
for i=1:5
o=o-((x-aSH(i,:))*(x-aSH(i,:))'+cSH(i))^(-1);
end
end
% F32
function o = F32(x)
aSH=[4 4 4 4;1 1 1 1;8 8 8 8;6 6 6 6;3 7 3 7;2 9 2 9;5 5 3 3;8 1 8 1;6 2 6 2;7 3.6 7 3.6];
cSH=[.1 .2 .2 .4 .4 .6 .3 .7 .5 .5];
o=0;
for i=1:7
o=o-((x-aSH(i,:))*(x-aSH(i,:))'+cSH(i))^(-1);
end
end
% F33
function o = F33(x)
aSH=[4 4 4 4;1 1 1 1;8 8 8 8;6 6 6 6;3 7 3 7;2 9 2 9;5 5 3 3;8 1 8 1;6 2 6 2;7 3.6 7 3.6];
cSH=[.1 .2 .2 .4 .4 .6 .3 .7 .5 .5];
o=0;
for i=1:10
o=o-((x-aSH(i,:))*(x-aSH(i,:))'+cSH(i))^(-1);
end
end
% F34
function o = F34(x)
o = x(1)^2+2*x(2)^2-0.3*cos(3*pi*x(1))-0.4*cos(4*pi*x(2))+0.7;
end
% F35
function o = F35(x)
o = 0;
for i = 1:floor(size(x, 2)/4)
o = o+(x(4*i-3)+10*x(4*i-2))^2+5*(x(4*i-1)-x(4*i))^2+(x(4*i-2)-2*x(4*i-1))^4+10*(x(4*i-3)-x(4*i))^4;
end
end
function o=Ufun(x,a,k,m)
o=k.*((x-a).^m).*(x>a)+k.*((-x-a).^m).*(x<(-a));
end
🔗 参考文献
🎈 部分理论引用网络文献，若有侵权联系博主删除
🏆团队擅长辅导定制多种科研领域MATLAB仿真，助力科研梦：
🌈 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化、背包问题、 风电场布局、时隙分配优化、 最佳分布式发电单元分配、多阶段管道维修、 工厂-中心-需求点三级选址问题、 应急生活物质配送中心选址、 基站选址、 道路灯柱布置、 枢纽节点部署、 输电线路台风监测装置、 集装箱调度、 机组优化、 投资优化组合、云服务器组合优化、 天线线性阵列分布优化、CVRP问题、VRPPD问题、多中心VRP问题、多层网络的VRP问题、多中心多车型的VRP问题、 动态VRP问题、双层车辆路径规划（2E-VRP）、充电车辆路径规划（EVRP）、油电混合车辆路径规划、混合流水车间问题、 订单拆分调度问题、 公交车的调度排班优化问题、航班摆渡车辆调度问题、选址路径规划问题、港口调度、港口岸桥调度、停机位分配、机场航班调度、泄漏源定位
🌈 机器学习和深度学习时序、回归、分类、聚类和降维
2.1 bp时序、回归预测和分类
2.2 ENS声神经网络时序、回归预测和分类
2.3 SVM/CNN-SVM/LSSVM/RVM支持向量机系列时序、回归预测和分类
2.4 CNN|TCN|GCN卷积神经网络系列时序、回归预测和分类
2.5 ELM/KELM/RELM/DELM极限学习机系列时序、回归预测和分类
2.6 GRU/Bi-GRU/CNN-GRU/CNN-BiGRU门控神经网络时序、回归预测和分类
2.7 ELMAN递归神经网络时序、回归\预测和分类
2.8 LSTM/BiLSTM/CNN-LSTM/CNN-BiLSTM/长短记忆神经网络系列时序、回归预测和分类
2.9 RBF径向基神经网络时序、回归预测和分类
