DACrew 1기 주간 리뷰 2주차

🌟 본 포스팅은 데이콘 서포터즈 “데이크루" 1기 활동의 일환입니다. 🌟

 

 

2주차 활동으로는 '코드 공유'를 중심으로 이루어졌습니다.

 

이번주의 코드 공유 역시, 지난주와 같은 목표를 가지고 준비해보았습니다. 첫번째 글로는 Tensorflow documentation의 예제를 직접 구현해보고, 다음으로 제가 지금까지 데이터를 처리하며 필요했던 기초적인 처리방법을 정리해보았습니다. 마지막으로 현재 진행되고 있는 데이터 분석대회인 '잡케어 추천 알고리즘 경진대회'의 베이스라인을 토대로 변형을 진행한 코드를 공유하였습니다.

 

이번주는 두번째인만큼 첫주보다 플랫폼을 사용하는데 많이 익숙해져, 불편함이 많이 줄었던 것 같습니다. 처음에는 어디서 내가 쓴 글을 확인할 수 있는지도 모르겠고, 사람들이 어떤 주제로 올리는지도 감이 전혀 없어 다소 난감했었습니다. 하지만, 이번주는 그러한 어려움 전혀 없이 진행할 수 있었습니다.

---

👉 Autoregressive RNN

Tensorflow Docs으로 하는 딥러닝 모델링: Autoregressive RNN

시계열 예측을 위한 LSTM 모델 기반의 예측을 수행하면서, 어떻게 장기 예측을 할 수 있을까 하는 의문을 오랫동안 갖고 있었습니다. 참고한 Documentation은 단순히 결과를 예측하고, 이를 다시 입력값으로 처리하여 예측에 활용하는 비효율적이라고 생각되는 처리방식 외에 어떤 식으로 코드를 구현할 수 있을까에 대한 답이 되었습니다. 이러한 제 의문은 다른 분들께도 다르지 않을 것이라 생각되어, 작성한 코드를 공유하고자 합니다.

 

코드를 구현하며 가장 많이 들었던 생각은, (정확하지는 않지만) 구체화되는 방식이 Pytorch와 유사하다였습니다. 이는 아마도 Pytorch가 갈수록 딥러닝 세계에서 선호되는 언어가 되어가는 이유가 아닐까 생각됩니다. 아직 torch와 친하지 않아 대략적인 구조만 이해하는 수준에 그치는데, 갈수록 더욱 공부가 필요하다는 생각이 듭니다.

 

차후에 기회가 된다면, torch로 변환한 코드를 공유하는 것도 좋을 것 같습니다.

 

👉 시계열 데이터 기본 전처리

내가 자주 사용하는 시계열 데이터 전처리 코드 공유: 포맷팅과 연산

대부분의 IoT 데이터는 시계열로 구성이 되어있습니다. 또한 주변에서 쉽게 접할 수 있는 주식 데이터, 검색 로그 등 역시 시계열을 부여할 수 있는 데이터입니다. 실제 산업에서 필요한 데이터를 분석하다 보면 시계열을 다룰일이 종종 있습니다. 저 역시 다르지 않았고, 시계열 데이터를 다룰때마다 사용하는 기능들이 있었습니다. 하지만, 손에 잘 붙지 않아 사용할 때마다 검색하는데 오랜 시간을 투자하였습니다. 저에게서 이 시간을 줄이고, 다른 사람들 역시 시계열 데이터를 다룰 때 활용할 수 있도록 가장 기초적인 몇가지 내용을 공유해보았습니다.

 

👉 잡케어 추천 알고리즘 경진대회 Baseline 변형

사용자-컨텐츠 단순 분리(Baseline 변형 + Logistic Regression)

이번 대회에서 활용하는 데이터 역시 class를 입력값으로 활용하고 있었습니다. 아무래도 이러한 형식의 데이터 경험이 적은 저로서는 Baseline을 토대로 시작을 하는 것이 좋다고 생각되었습니다. 기본적으로 데이터에 대한 이해를 첨부된 파일을 통해 진행했고, 이해한 내용을 토대로 baseline을 변형해보았습니다.

 

변형한 모델은 2개의 Random Forest 모델을 병렬적으로 활용하고, 그 결과를 logistic regression을 활용하여 도출된 결과에 가중치를 반영하여 분류를 수행하는 방식을 활용하였습니다. 이 때, 기본 모델인 random forest를 2개 사용한 이유는 데이터의 구성이 '사용자'와 '컨텐츠'로 구분이 되어 있어, 이는 각각의 특성을 갖는다고 생각하고, 분리하여 예측을 진행하였습니다.

 

이와 같은 방식은 유효하다 생각하나, 단순히 첫번째 예측에서 1개의 값만 도출하는 방식은 부적절하다 생각됩니다. 왜냐하면, '사용자'와 '컨텐츠'는 서로 독립적이지 않기 때문입니다. 하지만 아직 정확히 어떤 식으로 모델을 구현하면 좋을지 모르겠습니다. 이에 대한 내용은 좀 더 고민이 필요할 것 같습니다.

---

읽어주셔 감사합니다 🥰