DACrew 1기 주간 리뷰 3주차

🌟 본 포스팅은 데이콘 서포터즈 “데이크루" 1기 활동의 일환입니다. 🌟

 

 

3주차 활동 역시 3개의 글로 마무리지었습니다. 각 글들은 1. 실제 구성한 코드 공유, 2. 기술 트렌드 소개, 3. 자주 찾아보는 Keras의 클래스 구현 방법을 다루고 있습니다. 

---

👉 잡케어 추천 알고리즘 경진대회: 최종코드 공유

이 대회는 2주차에 참여 시작하여 대회가 마무리될 때까지 컴퓨터를 놀지 않게하며 계속 진행했던 내용입니다. (Colab, 데스트탑 CPU, GPU로 3개의 실험을 동시에 진행했었네요.) 그럼에도 불구하고 결과가 잘 나오지 않아 아쉬웠습니다.

 

이 대회에서 다루는 데이터는 서비스 제공자와 사용자가 존재하는 서비스에서 쉽게 접할 수 있는 구조라 생각이 됩니다. 저의 경우, 설비에서 나오는 데이터와 지표들을 주로 다루다보니 이 같은 데이터 형태는 정말이지 낯설었는데요, 그래서 더 쉽지 않았고 오기가 생겼던 도전이었던 것 같습니다.

 

아무래도 데이터가 코드화되어 있다보니 완벽하게 이해할 수 있지는 않았지만, 설명만으로 대략 어떤 데이터들로 구성이 되어있는지 이해는 충분히 되었습니다. 하지만 여기서 문제는 제가 이런 데이터를 어떤 방식으로 처리를 해야 모델들이 잘 내용을 파악할 수 있게 할 수 있는지를 모른다는 것이었습니다. 그래서 다양한 방법으로 데이터를 전처리하고 모델들에 대입하며 실험을 진행했으나, 최종적으로 .68의 결과를 얻었습니다. (그리고 그 모델이 어떤 것인지 날아갔네요 :( )

 

이번 대회에서 가장 크게 느낀점은 데이터 종류에 따라 이렇게 다룰 수 있는 능력이 차이가 많이 나는구나 였습니다. 이런 구조의 데이터가 흔한 만큼 잘 다룰 수 있도록 짬짬히 공부해야할 것 같습니다.

 

계층 구조 데이터 전처리와 DNN (Score: 0.67)

 

👉 2022년 기술트렌드 - 가트너 1편(Data Fabric, Composible Application, Distributed Enterprise)

두번재 글은 가트너의 2022년 기술트렌드 입니다. 가트너에서는 매 년 기술트렌드를 발표하고 있습니다. 저는 개인적으로 이 기술트렌드가 앞으로 내가 공부해야할 방향은 어떤 방향인지, 내가 공부하는 기술들이 어떻게 활용될 수 있을지에 대한 아이디어를 많이 줘서 해마다 챙겨보고 있습니다. 벌써 이 기술트렌드를 알게된지 햇수로만 6년째인데, 정말 선구적으로 소개를 해주다보니 당해에는 이슈가 크게 되지 않다가 몇년 뒤 누구나 아는 기술로 떠들썩해지거나 많이 활용되는 것을 볼 수 있었습니다.

 

결국 데이터 분석가의 역할 중 하나는 주어진 데이터를 잘 해석하고, 이를 잘 활용할 수 있는 방향을 찾는 것인데요. 이 때 많이 활용될 수 있는 내용이라, 데이터를 공부하시는 많은 분들께서 보시면 좋을 것 같아 정리를 시작했습니다. 올해의 기술은 총 12가지로 3개의 그룹으로 구분되는데요, 저는 매주 각 그룹별로 1가지의 기술을 공유하여, 4주간 정리를 해보려 합니다.

 

항상 이 기술을 공부하기만 하고, 키워드만 활용했었지, 이렇게 글로 정리하는 것은 처음이라 정리가 쉽지 않네요. 그래서 이번에 정리하는 이 가트너 글은 특히나 좀 더 많은 사람들이 이해할 수 있고 유용하게 활용할 수 있도록 계속해서 수정해나아갈 예정입니다.

 

2022년 기술트렌드-가트너

 

👉 Tensorflow(Keras)로 딥러닝 레이어 직접 만들기

마지막 글은 Tensorflow로 Layer를 직접 만드는 방법을 정리하였습니다. 연구를 하다보면 새로운 아이디어가 생각나고, 이걸 레이어로 연산을 하려면 직접 만들어야겠다는 생각이 들 때가 있습니다. (물론 제가 못찾아서 그런 경우도 많았습니다.) 매번 그런 생각을 할 때마다 코드를 또 찾아서 이해하고 만들기가 번거로워, 포기하곤 했는데요. 이번 기회에 레이어를 직접 만드는 방법을 정리하여, 나중에 활용해보려 합니다.

 

Tensorflow(Keras)를 활용하여 Layer 직접 만들기

 

---

이번 글은 개인사정으로 제때 글을 모두 마무리짓지 못하여 작성이 늦어졌습니다.

꾸준히 작성해야하는 프로젝트인만큼 좋은 글을 시리즈로 다양하게 담아보고 싶은데요, 주제 선정이 쉽지 않네요.

다음주에는 더 좋은 글 가져오도록 하겠습니다.

읽어주셔 감사합니다 🥰