Optuna自动调参

适用场景：单卡，多卡均适合；留给机器寻参的时间足够充裕；机器资源足够，单次寻参的时间不会过长。

基本概念与安装

深度学习中，调参是实验中一个很重要的环节。一般情况下，调参的流程都是手动设置一组超参数，放到机器上面运行结果，然后根据结果好坏再重新凭经验设计一组新的超参数组合。然而当需要调参的超参数组合很多时，常见的调参方法如网格搜索因耗时过长使得调参变得漫长而繁琐。Optuna作为调参工具，目的在于使用贝叶斯优化搜索的过程，使得可以根据当前超参数组合的结果选择下一组合适的超参数组合，更快接近最优的超参组合，避免手动设计的繁琐与漫长。

• Study：就是一个研究对象，这个研究对象有多组可能的超参数组合。
• Trial：一次实验，对应一组超参数组合，一个Study包含多个Trial。
• Objective Function：目标函数，用于定义需要优化的任务。Optuna将会调用这个函数来评估不同的超参数组合。
• Sampler：用于生成超参数的策略。默认的 TPESampler 使用树结构的Parzen估计（TPE）算法进行优化。
• Pruner：