DaCrew 2기 - MAT (AutoML Study) 후기

Dacrew를 시작한 김에 조금 더 공부해보고 싶어서, 2기를 계속하기로 했다. 수업을 다 들어서, 이제 학기 중엔 방학과 비슷하게 바쁠 것이라 생각했는데 이래저래 수업에 관여하다보니 더 정신이 없다. 그래서 생각보다 많은 시간을 투입하고 있지는 못하고 있지만, 그래도 다시 힘내서 끝까지 잘 마무리해봐야겠다. 많은 사람이 모이다 보니 생각과는 다른 점도 있지만 시너지도 아주 큰 것 같다. 짧은 시간 내 공부를 할 수 있어서 나름대로 만족 중 우선은 이번에 진행하는 내용을 잘 정리하려고 다양한 방식을 시도해볼 예정이다. 아무래도 데이콘 측에서도 요구사항들이 이전과는 달라, 어떻게 진행할지 고민이 많이 된다. 우선 글을 전체 커리큘럼 글을 매번 수정하자니 계속 글이 위로 올라와서, 조금 그렇다. 그리고 코드..

2022.04.22

[AutoML] Multivariate Bayesian Optimization

HPO(Hyper Parameter Optimization) 문제는 다수의 하이퍼 파라미터를 다룬다. 때문에, 단일 변수가 아닌 다변량을 다룰수 있는 코드가 필요하다. 이번 글은 다변량 베이지안 최적화를 수행하는 Python 코드를 공유하고자 한다. 이 때 만들어진 코드는 다음글을 토대로 작성되었다. [AutoML] Searching algorithm for HPO: Bayesian Optimization 본 글은 다음의 글을 참조하여 작성되었습니다. 1. [2019] 하이퍼파라미터 튜닝으로 모델 성능 개선하기 2. 베이즈 확률론 이번 글은 Bayesian Optimization에 대하여 간략히 소개하며, 이를 실행할 수 optilog.tistory.com * 참고: 다변량이 되니, 결과값의 변차가 꽤 ..

2021.08.04

[AutoML] Searching algorithm for HPO: Bayesian Optimization

본 글은 다음의 글을 참조하여 작성되었습니다. 1. [2019] 하이퍼파라미터 튜닝으로 모델 성능 개선하기 2. 베이즈 확률론 이번 글은 Bayesian Optimization에 대하여 간략히 소개하며, 이를 실행할 수 있는 Python 코드 예시를 공유하고자 한다. 하이퍼 파라미터 최적화(HPO, Hyper-Parameter Optimization)를 수행하기 위해 사용되는 Searching algorithm은 대표적으로 다음 3가지가 일반적으로 소개 된다. - Grid Search - Random Search - Bayesian Optimization 그 중 Grid Search와 Random Search는 다음 글에 소개하였다. Blackbox HPO(1): Grid search와 Random se..

2021.08.02

Blackbox HPO(1): Grid search와 Random search

이 글은 * Automated Machine Learning(2019; Hutter F., Kotthoff L., Vanschoren J., Springer) * 을 참조하여 작성되었습니다. 또한, 그림은 제가 직접 작성하였음을 알려드립니다. 안녕하세요 :) 이번 글에서는 Blackbox Hyperparameter Optimization에 대해 정리하고자 합니다. 우선 포스팅에서 다루는 모든 방법론을 아우르는 개념인 Blackbox Optimization이 무엇인지 간략히 살펴보고, 몇 가지 방법론에 대해 알아보도록 할게요. 1. Blackbox Optimization Blackbox 모델은 입출력 값이 아닌 모델 내부의 인과관계와 같은 구조를 명확히 알 수 없는 모델을 의미합니다. 때문에 모델을 통해 ..

2020.04.18