[AutoML] Multivariate Bayesian Optimization

HPO(Hyper Parameter Optimization) 문제는 다수의 하이퍼 파라미터를 다룬다. 때문에, 단일 변수가 아닌 다변량을 다룰수 있는 코드가 필요하다. 이번 글은 다변량 베이지안 최적화를 수행하는 Python 코드를 공유하고자 한다. 이 때 만들어진 코드는 다음글을 토대로 작성되었다. [AutoML] Searching algorithm for HPO: Bayesian Optimization 본 글은 다음의 글을 참조하여 작성되었습니다. 1. [2019] 하이퍼파라미터 튜닝으로 모델 성능 개선하기 2. 베이즈 확률론 이번 글은 Bayesian Optimization에 대하여 간략히 소개하며, 이를 실행할 수 optilog.tistory.com * 참고: 다변량이 되니, 결과값의 변차가 꽤 ..

2021.08.04

[AutoML] Searching algorithm for HPO: Bayesian Optimization

본 글은 다음의 글을 참조하여 작성되었습니다. 1. [2019] 하이퍼파라미터 튜닝으로 모델 성능 개선하기 2. 베이즈 확률론 이번 글은 Bayesian Optimization에 대하여 간략히 소개하며, 이를 실행할 수 있는 Python 코드 예시를 공유하고자 한다. 하이퍼 파라미터 최적화(HPO, Hyper-Parameter Optimization)를 수행하기 위해 사용되는 Searching algorithm은 대표적으로 다음 3가지가 일반적으로 소개 된다. - Grid Search - Random Search - Bayesian Optimization 그 중 Grid Search와 Random Search는 다음 글에 소개하였다. Blackbox HPO(1): Grid search와 Random se..

2021.08.02

Blackbox HPO(1): Grid search와 Random search

이 글은 * Automated Machine Learning(2019; Hutter F., Kotthoff L., Vanschoren J., Springer) * 을 참조하여 작성되었습니다. 또한, 그림은 제가 직접 작성하였음을 알려드립니다. 안녕하세요 :) 이번 글에서는 Blackbox Hyperparameter Optimization에 대해 정리하고자 합니다. 우선 포스팅에서 다루는 모든 방법론을 아우르는 개념인 Blackbox Optimization이 무엇인지 간략히 살펴보고, 몇 가지 방법론에 대해 알아보도록 할게요. 1. Blackbox Optimization Blackbox 모델은 입출력 값이 아닌 모델 내부의 인과관계와 같은 구조를 명확히 알 수 없는 모델을 의미합니다. 때문에 모델을 통해 ..

2020.04.18