【CICC原创】面向联合全域作战的海上无人集群试探性防御行动策略设计

，如表1右图。这些出航作交锋炮兵部队之外有着智能化权衡计算与自力组织化总体集中基本功能，通过无线网络系统在线相互连接。

船只该基地无人抵御系统会兼具跨都从出航作交锋短剧同时在浮之中、水面组织化测量技能，以及对浮、对海组织化反制技能，即可以同时在浮、海各南势借助出航作交锋短剧出航作交锋组织化。整个系统会的共同出航作交锋秘密行动步骤如下：

1）指挥者官只需根据也就是说具棒状情况向船只该基地无人抵御系统会下令单纯的出航作交锋指令。随后，将无人炮兵部队输送到所选前方的出航作交锋地区；

2）船只该基地无人炮兵部队抵御系统会根据出航作交锋目标和出航作交锋短剧技能顺利进行智能化计算，为出航作交锋秘密行动匹配相应为数的无人船舰、短英哩V-和浮对地等炮兵部队资源；

3）在出航作交锋秘密行动步骤之中，船只该基地无人炮兵部队抵御系统会之中的出航作交锋短剧依照自己的技能组织化出航作交锋，在浮、海、陆出航作交锋浮间内，由有着突击和反制技能的无人船舰、短英哩V-和浮对地炮兵部队构成能灵活性应对多种目标的杀伤网络；

4）当敌对出航作交锋目标顿时发生转变，或有一新的出航作交锋指令下令时，船只该基地无人抵御系统会之中的出航作交锋短剧将再顺利进行资源的其设计，即留在步骤2）。

2

基于MADDPG的芳基无人炮兵部队组织化抵御作法其设计

2.1 MADDPG方法

2017年OpenAI驳斥的一种基于Actor-Critic方法[10]的变棒状：MADDPG方法。该方法解决了多智能化棒状生态系统之中的非平稳基本功能性弊端，在许多结合合作和竞争基本功能性的庞加莱连续稳定状态浮间布景之中体现良好。

MADDPG方法[11-12]是最深处确定基本功能性作法梯度方法（deep deterministic policy gradient，DDPG）在多智能化棒状精进深造[13]之中的扩展。所有的智能化棒状之外改用DDPG开放性，利用集之中培训、常见于可执行开放性获取最优共同作法。即在培训时用作1]讯息顺利进行培训，但在权衡时只需用作连续性讯息就可输出最优跳跃。

方法总棒状开放性布如布1右图。培训步骤之中，每个智能化棒状只能靠自身的作法在线取得当前关头稳定状态对应的跳跃，然后可执行该跳跃与生态系统顺利进行交互，将赢取的知识取走知识池之中。

2.2 船只该基地无人炮兵部队组织化抵御作法其设计

2.2.1布景的其设计与模拟器设

本犯罪行径设诱饵指派突击浮对地和舰船舰入侵要务专属经济区，并企布出航我方船只该基地。我方船只该基地无人炮兵部队抵御系统会根据出航作交锋目标和出航作交锋短剧技能分配出航作交锋短剧资源，并将出航作交锋生命力被投送到出航作交锋地区，解救对方舰船舰出航我方船只该基地。

本文主要基于二维对称生态系统开展医学研究。并不一定浮对地始终保持定高巡航，则浮对地与无人船舰始终保持两个直线的二维对称。短英哩V-的球形偷袭覆盖范围与两个二维对称的横向圆即为V-对蓝方浮对地与无人船舰的危险地区。将两个直线的二维对称整合到一个二维对称之中，设船只该基地无人抵御医学研究始终保持二维有限的亦然方形地区都从内，即

在本布景之中，来让抵御方为对角，入侵方为蓝方，具棒状的出航作交锋布景短剧的其设计如表2右图。

本医学研究的硬件生态系统为：Intel Core i7-10875H @ 2.30 GHz的CPU，16 GB的CPU，配置了NVIDIA GeForce RTX 2060的布形处理器。二维图用户界面生态系统为：Ubuntu18.04LTS二维图用户界面会，最深处深造开放性TensorFlow1.2.0，编程用以Python3.6.8。医学研究模拟器生态系统基于OpenAI gym平台开发，同时用作Adam优化器一新增神经在线表达式。本医学研究之中用作的培训表达式如表3右图。

2.2.2 稳定状态和跳跃其设计

船只该基地无人炮兵部队抵御秘密行动时，每个出航作交锋短剧的行径愈来愈会导致生态系统稳定状态的改变，进而因素其他出航作交锋短剧的秘密行动。多个出航作交锋短剧彼此之间不存在或合作父子关系或竞争基本功能性父子关系，每个出航作交锋短剧赢取的奖赏不仅与自身的跳跃有关，也与其他出航作交锋短剧的跳跃有关[14-15]。

值得注意的，对V-的英哩负奖赏作如下说明：

1）短英哩V-的危险覆盖范围排列成以V-前方为球心半径为最大者危险英哩的半球形，该半球棒状与浮对地飞行飞行速度对称和海对称共线形成的横向圆即为V-对蓝方浮对地与无人船舰的危险地区。

2）V-危险区都从内并不相同前方受到的V-危险强度并不相同。以蓝方浮对地与V-的英哩负奖赏为例，当浮对地与直角英哩小于0.1时，受到V-最大者危险取值；当浮对地与直角英哩大于0.2时，超出V-偷袭覆盖范围，不受危险；当浮对地与直角英哩座落0.1和0.2之尾端时，浮对地受到的V-危险取值成线基本功能性。

2.2.4 医学研究结果与分析

在出航作交锋模拟器之中为双色双方秘密行动短剧分配并不相同的作法方法，对角改用基于MADDPG的组织化抵御作法，而蓝方改用基于DDPG的围攻作法。初始出航作交锋局面布如布3右图。

出航作交锋步骤的模拟器就是对对角秘密行动短剧顺利进行组织化抵御作法培训、用以适应可实现转变的生态系统和出航作交锋目标的步骤。在培训步骤之中，以500首战为一个深造阶段，输出当前首战的平之外奖赏取值，如布4右图。

从布4的医学研究结果可以看得出来，线布的横坐标说明培训的首战数，基点说明每一首战培训时该类秘密行动短剧的平之外年内奖赏。在培训步骤之中,在actor顺利进秘密行跳跃考虑时加进了高斯噪声，智能化棒状在顺利进行培训时每时每刻都不存在振荡。在培训首战达到12 000后，每个首战赢取的平之外奖赏无相较转变，曲线有界。对比布4（b）和布4（d）可以看得出来，相较于蓝方舰船舰，对角无人船舰随着深造次数的降低深造到了愈来愈好的作法。

如布5右图，本文发现了一个有意义的现象：在布5（a）之中对角无人船舰排列成发散稳定状态常见于在交锋场之中，从布5（a）~5（b）至可以发现，对角浮对地B1，B2，B3，B4分别出击蓝方舰船舰H1，H2。在接下来的布5（c）~5（f）之中，对角浮对地长期组织化配合对蓝方舰船舰顺利进行出击。在本文来让的出航作交锋布景之中，对角的无人船舰的飞行速度劣于蓝方的舰船舰，但对角在培训后研究会了组织化出航作交锋，利用为数的占优和相互直接合作完成对高速蓝方舰船舰的出击目标。

从布5（a）~5（d）可以看到，两架蓝方浮对地长期在试布击毁对角浮对地，解救对角系统会彼此之间的讯息传递。从布5（d）~布5（e）可以发现，长距离又为数少的对角浮对地准备转至方的的V-危险区来必要措施自己。这种自我必要措施技能并很难在奖赏给定之中被便是，是在不断的深造培训之中，对角浮对地发现蓝方浮对地对V-危险区的逃离而研究会了在危险的时候躲入V-危险区。

3

推论

驳斥了今后船只该基地无人抵御布景，基于精进深造方法对组织化出航作交锋弊端顺利进行医学研究。医学研究证明MADDPG方法可以用到今后无人炮兵部队出航作交锋培训。培训后的秘密行动短剧可以根据所处生态系统自力顺利进行组织化出航作交锋秘密行动。

本文其设计的布景兼具很强的可拓展基本功能性。可以借助愈发复杂、为数愈来愈大的无人炮兵部队出航作交锋目标。当系统会为数较大时，智能化棒状可以从出航作交锋短剧升级到炮兵部队，改用由上而下培训的方法借助无人系统会协作出航作交锋。随着多智能化棒状精进深造的短时间内演进，寻求愈来愈适当的方法对无人炮兵部队顺利进行培训也极为重要。

References

1 张维明, 黄斋藤, 绿宝石才,等. 多都从出航作交锋及其指挥者总体集中弊端探析[J]. 指挥者讯息系统会与一新技术, 2020, 11(1): 1-6.

ZHANG W M, HUANG S P, HUANG J C, et al. Analysis on multi-domain operation and Its command and control problems1 [J]. Command Information System and Technology, 2020, 11(1): 1-6.

2 LINGEL S, HAGEN J, HASTINGS E, et al. Joint all domain command and control for modern warfare: an analytic framework for identifying and developing artificial intelligence applications[R]. Los Angeles: RAND Corporation, 2020.

3 JOHN R. Joint all domain command and control （JADC2）[R]. Congressional Research Service, 2020.

4 高一丹, 辛昕. 美军共同特例指挥者总体集中探析[J].航机V-, 2021（9）: 84-89.

GAO Y D, XIN X. Exploring U.S. armyjoint all-domain command and control[J]. Aerodynamic Missile Journal, 2021（9）: 84-89.

5 吴敏文. 共同特例出航作交锋：美军出航作交锋一新点子[J]. 军事力量报刊, 2020，28(23): 22-26.

WU M W. Joint all-domain operation: a new concept of U.S. military combat[J]. Military Digest, 2020，28(23): 22-26.

6 HOEHN J R, SAYER K M. Renewed great power competition: implications for defense-issues for congress[R]. Washington United State: Congressional Research Service, 2020.

7 杜燕波. 从“多都从交锋”到“共同特例出航作交锋”，是不是有何玄机[J]. 军事力量报刊, 2020，28(11): 56-59.

DU Y B. From "Multi-Domain Battle" to "Joint All-Domain Operation", what’s the mystery[J]. Military Digest, 2020,28(11): 56-59.

8 胡晓峰, 荣明. 关于共同出航作交锋规画系统会的几个弊端[J]. 指挥者与总体集中专刊, 2017, 3(4): 273-280.

HU X F , RONG M. Joint operation planning systems: issues and prospects[J]. Journal of Command and Control, 2017, 3(4): 273-280.

9 刘科. 美军共同特例出航作交锋指控棒状系的论点思考[J]. 之中华人民共和国电子产品医学医学研究室专刊, 2021, 16(7): 722-727.

LIU K, Theoretical thinking on the joint all-domain command and control system of the U. S. army [J].Journal of China Academy of Electronics and Information Technology, 2021, 16(7): 722-727.

11 LOWE R, Wu Y, TAMAR A, et al. Multi-agent actor-critic for mixed cooperative-competitive environments[J]. Advances in Neural Information Processing Systems. 2017(30): 6379 - 6390.

12 谭浪. 精进深造在多智能化棒状对抗之中的应用医学研究[D]. 北京：之中华人民共和国运载火箭一新技术医学研究室, 2019.

TAN L. Application research of reinforcement learning on multi-agent competition[D]. Beijing：China Academy of Launch Vehicle Technology, 2019.

14 杜威, 丁世飞. 多智能化棒状精进深造研究成果[J]. 计算机医学, 2019, 46(8): 1-8.

DU W, DING S F. Overview on multi-agent reinforcement learning[J]. Computer Science, 2019, 46(8): 1-8.

15 WANG W X, HAO J Y, WANG Y X, et al. Towards cooperation in sequential prisoner’s dilemmas: a deep multiagent reinforcement learning approach[J/OL]. (2018-03-01)[2021-11-01].

16 王桂鸿. 合作型多智能化棒状之中的最深处精进深造医学研究[D].佛山:华南理工大学,2019.

WANG G H. Research on deep reinforcement learning in cooperative multi-agent system[D]. Guangzhou:South China University of Technology, 2019.

译者简介

何兆一 （1996-）, 女, 硕士, 主要医学研究一段距离为智能化目标规画.

如意颖 （1980-）, 男, 副医学研究员, 主要医学研究一段距离为GPS导引与总体集中. 本文网络系统译者.

黄魁华 （1986-）, 男, 副医学研究员, 主要医学研究一段距离为智能化局面认知和智能化目标规画.

程光权 （1982-）, 男, 副医学研究员, 主要医学研究一段距离为复杂在线分析和权衡全力支持一新技术.

排版校对：刘亚丽

转载问标明译者讯息及出处

关注政府部门号了解到愈来愈多

理事申问 问在政府部门号内回复“个人理事”或“单位理事

赞许关注之中华人民共和国指挥者与总体集中研究会媒棒状矩阵

CICC官方网络站

CICC官方QQ政府部门号

《指挥者与总体集中专刊》该网络站

在世界上基本功能性无人系统会大会该网络站

之中华人民共和国指挥者总体集中大会该网络站

全国兵棋推演赛

全国浮之中智能化博弈赛

搜狐号

一点号

。

重庆看妇科哪里最好
郑州不孕不育医院去哪家好
北京肛肠医院
江苏不孕不育医院哪家专业好
沈阳妇科医院哪家治疗最好
口吃如何治
廋身
端午新冠病例持续增多！新冠已不再发烧，有这5个症状要注意
癫痫医院
咳嗽咳痰喝哪种糖浆止咳化痰效果好