[AI머신러닝] hyperparameter optimization- Bayesian optimization

4) Bayesian optimization

Bayesian optimization은 단순히 무작위 추출을 반복하는 것보다, 기존에 추출되어 평가된 결과를 바탕으로 앞으로 탐색할 범위를 더욱 좁혀 효율적이게 시행하는 아이디어에서 시작됨.

이 아이디어를 Bayesian theory 및, Gaussian process(GP)를 통해 구현한 구현한 것이 베이지안 최적화 방법.

불필요한 파라미터의 반복 탐색을 줄여 시간 대비 탁월한 성능을 보인다는 장점.

hyperparameter최적화의 주류 이론으로 자리잡고 있다. 최근에는 베이지안 최적화의 속도 향상을 목적으로 한 연구가 주로 진행되고 있음. 

Bayesian optimization은 알려지지 않은 목적 함수를 최대/최소로 하는 최적해를 찾는 기법, surrogate model과 acquistion function로 구성됨.