大家好,欢迎来到IT知识分享网。
0. 前言
我们已经通过函数逼近问题学习了深度学习 ( Deep learning
, DL
) 模型手动超参数优化 (Hyperparameter Optimization, HPO) 的方法,并使用不同的超参数生成比较结果。我们已经知道了,手动超参数优化极其耗时。目前,有许多工具可以自动执行 HPO
,我们可以使用这些工具与进化计算 (Evolutionary Computation
, EC
) 方法的基准比较,但是为了深入了解它们背后的原理,我们将详细介绍自动搜索过程。
1. 随机搜索
随机搜索超参数优化 (Hyperparameter Optimization
, HPO
) ,是从给定范围内的已知超参数集中随机取样值,然后评估有效性的过程。随机搜索的目标是最终找到最佳或所需的解决方案。这个过程类似于有人戴上眼罩扔飞镖,希望能命中靶心。戴眼罩的人可能不会在几次投掷中命中靶心,但是在多次投掷中,也可能会命中靶心。
2. 将随机搜索应用于超参数优化
在本节中
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/125482.html