仕事上、機械学習に関して技術的な助言をする機会が多いが、パラメータチューニングの類型や使い所、その効果について聞かれることは多い。英語文献であればいくらでも選択肢はあるが、SE出身で機械学習に慣れていないような人であれば、英語は読めても文献を探す事に慣れていない。日本語の良いサーベイ論文は少ないが、以下は非常に内容が良く、今後しばらくは以下の論文を勧めようと思っている。
論文では、パラメータチューニング（論文の表記ではハイパパラメータ最適化手法）に望まれる性質を、
- 目的関数評価から得られる情報を活用する．
- 並列化に適する．
- 複雑な探索空間を扱える．
- LED(Low Effective Dimensionality)に強い．
- 目的関数評価の不確実性を扱える．
と整理した上で、最適化手法のうち、ブラックボックス最適化については、
- グリッドサーチ
- ランダムサーチ
- ベイズ最適化（GP-EI: Gaussian Process Expected Improvementなど）
- 進化計算（GA: Genetic Algorithmなど）
- Nelder-Mead法
の節に分けて全部で8種類の手法について、前記の性質がどの程度満たされているかが比較されている。
また最近のトレンドのグレーボックス最適化については、
- データセットのサブサンプリング
- 学習の早期打ち切り
- ウォームスタート
について比較されている。
更に、最適化手法の選択について、
- 逐次評価回数の上限値
- 並列計算リソース
- ハイパパラメータの種類
の条件ごとに、一般的によく使われる最適化手法も整理されている。
つまり、代表的な最適化手法とその特徴が最近のトレンドまで含めて整理されている上、実務上問題となりやすい選択方法についての指針も整理されており、サーベイ論文としては申し分ない内容となっている。
