DACrew 1기 주간 리뷰 7주차

🌟 본 포스팅은 데이콘 서포터즈 “데이크루" 1기 활동의 일환입니다. 🌟

 

이번주는 글이 많이 늦었습니다. 주말에 데스크탑을 사용할 수가 없어 노트북을 챙겼는데, 노트북과 휴대폰을 거의 동시에 바꿨더니 계정 접속이 안되서 더 늦어졌네요.. 7주차에는 제가 지금 공부하고 있는 것들에 대해 정리해보았습니다. 제가 연구하고 있는 RNN 기반 모델의 수식을 살펴보고, 트랜스포머의 기본 방법론인 어텐션, 차원축소를 위해 공부하고 있는 NMF까지 정리했습니다.

---

👉 딥러닝 수식으로 살펴보기[3편]: GRU

딥러닝 수식으로 살펴보기[3편]: GRU

RNN, LSTM에 이어, RNN을 기반으로 하는 유명 모델인 GRU를 수식으로 다뤄 보았습니다. GRU라는 모델이 있는 것은 알았지만, 항상 많이 사용해서 편한 LSTM만을 사용했었습니다. 이번 기회에 GRU 구조에 대한 장점을 알게되었는데 이 모델 역시 LSTM 못지 않게 멋진 모델이라 생각됩니다. 다양한 문제를 푸는데 활용할 수 있도록 GRU 모델의 포맷을 만들어둬야겠습니다.

 

👉 Attention(어텐션) 간단히 살펴보기

Attention(어텐션) 간단히 살펴보기

Attention is all you need. 최근에 발표된 논문 중 가장 핫한 논문이죠. 저도 완전히 이해하지는 못했지만, 읽어 보았습니다. 그 때 참 아이디어가 좋다고 생각했는데 요즘 어텐션을 기반으로 나온 방법론들은 이해가 어렵더라구요. 그래서 이번에 기초부터 채워넣어보려고 정리를 해보았습니다. 요즘 흔히 사용하는 transformer, BERT와 같이 복잡한 구조의 모델이 아니더라도 attention을 다양하게 활용할 수 있을 것 같습니다. 그래서 가장 기본적인 꼴의 모델을 소개해보았습니다.

 

👉 NMF 간단히 살펴보기

NMF(비음수행렬분해) 간단히 살펴보기

요즘 데이터 차원축소에 관심이 많습니다. 요즘 풀고있는 문제가 데이터 양 대비 입력데이터 사이즈가 큰 데이터를 다루고 있거든요. 문제의 특성 상 데이터 차원 축소가 필수적일 것으로 생각됩니다. 이번 문제를 풀면서 차원 축소에 대해 많이 배우고 있습니다. 다양한 기본 모델을 익히고, 보다 문제에 적합한 모델을 찾을 수 있도록 공부하는데 기반이 될 것 같습니다.

실제 현장에서 추출된 데이터를 다뤄보시지 않은 분들은 잘 모르시겠지만, 실제로 수집된 데이터를 접해보면 사전에 해야할 작업들이 너무나 많습니다. 그런 문제에서 수행해야할 이슈 중 하나로 차원축소가 있습니다. 차원축소는 데이터마이닝 등을 배울때 배우시겠지만, 상대적으로 중요성을 몸소 체험하기에는 조금 플랫폼 내 데이터는 부족하다는 생각이 듭니다. 이전에 플랫폼에서 제공하는 데이터로 차원축소를 진행한 경험이 있지만, 지금만큼 중요하다 생각이 드는 때도 없는 것 같습니다.

---

다음주에는 또 다른 재밌는 주제를 공유할 수 있도록 준비해보겠습니다.

읽어주셔 감사합니다 🥰