2023-3분기 회고

• toc {:toc}

3분기 목표

3분기 목표	목표 기간	달성률
Reshape, Transpose 아이디어 결론 짓기	7월 안에 결론짓기	100%
책 12권 이상 읽고 리뷰하기 (방학 때 많이 읽어두기)	8/30 까지	45% 5권, 리뷰X
주 3회 운동하기	매 주 꾸준히, 기록하기	7월까지는 운동하다 8월부터 안 했다.
Legend 13 모델 리뷰, 구현하기	11개 8/30 까지, 2개 9/31까지	스터디로 ResNet까지 진행 구현X
MaxViT 모델 리뷰, 모델 지식 강화, 아이디어 관련 논문	7/16 까지 최우선으로 지식 강화	MaxSR 연구 진행 중

Veritross

Reshape, Transpose 아이디어 결론 짓기

Reshape, Transpose를 줄이는 아이디어 관해서 본래 (MBConv ⇒ BlockAttn ⇒ GridAttn) x2 순서였던 MaxViT block을 (MBConv ⇒ BlockAttn ⇒ GridAttn ⇒ GridAttn ⇒ BlockAttn ⇒ MBConv) 순서로 변경해 GridAttn에서 reshape, transpose가 발생하는 부분을 제거한 뒤 성능 측정을 해봤다.
결론적으로는 성능에서의 약간의 하락이 있었고, Rearrange(Reshape, Transpose) 가 모델에서 차지하는 비율이 적어 비용 측면에서도 큰 이득이 있지 않았다.(시간적 이득 3ms)

• Improvement 모델의 작동에서 연산 비중, 시간, 메모리 등을 뽑아내는 부분에 있어서 pytorch profiler, tensorboard 등 프로파일링 방식들을 사용해보고 익힐 수 있는 기회가 됐다.

• Complement

  • 실험 설계 능력 부족 아직 task가 주어졌을 때 실험을 설계하는 부분에 있어서 가닥을 잡지 못하는 것 같다. 아무런 계획 설계없이 머릿속에 있는 것으로만 들이대는 것이 아니라 정확하게 설계를 잡고, 설계에 따라서 실험을 진행해야 한다는 점을 느꼈다.
    실제로, 매우 부끄럽지만 실험을 진행하다가 문득 이런 연구가 의미가 있나? 하는 의문을 가졌다. (미리 다 생각해둬야지…)

• 실험 전, 실험 설계 및 기록(왜? 어떤 방식? 검증은 어떻게?)

• 질문 사항, 막히는 점, 실험 과정에서의 조언이 필요할 경우 메일 전송

• 수치로 말하기(설득을 위한 시각화 필수)

스터디, 동아리

7월을 허송세월로 보내다 보니 8월부터는 스터디를 만들기도 하고 참가해보기도 했다. 현재 진행하고 있는 활동은 알고리즘 스터디, DeepSync 논문 스터디, Veritross 딥러닝 연구 동아리 이다. 추가로, 9/10부터 DEL. 독서 모임도 진행해보려 한다.

KHUDA 알고리즘 스터디

• 시작일 : 2023-08-02
• 종료일 : 2023-09-26
• 교내 가을 알고리즘 경시대회 수상 목표
• 하루 1 문제씩 백준 문제 풀고 블로그에 포스팅
• 주 1회씩 오프라인 미팅, 문제 개념 이론 발표, 습득

꾸준하게 풀이하는 중이다. 하지만 실력이 그렇게 오른다는 생각이 들지는 않는다. 아직 어떻게 해야 잘 풀 수 있을지 모르겠다. 지금까지는 시간적인 부분에서도 오래 걸리고 풀이도 익숙지 않다. 반복해서 풀이를 시도해봐야겠다.
복잡도 측면에서 생각하는 부분이 약하다 생각이 든다.

1. 풀이 방식
2. 복잡도
3. 주의 사항
4. 실수하기 좋은 부분

위 사항을 먼저 생각해보고 풀이를 시작하자.

DeepSync 논문 동아리

• 시작일 : 2023-08-13
• 딥러닝 연구를 위한 기본 지식, 논문 리딩 능력 습득
• 격주 온라인 미팅, 논문 리뷰, 토론을 통한 이해 능력 향상

1. 논문이 풀고자 하는 문제
2. 배경 지식, 연관있는 연구
3. 아이디어
4. 구현 방식
5. 결론

위 사항으로 정리한다.

4분기 목표

목표	세부사항
2-2 성적 4.0/4.3 이상	하루 30분 복습 프로젝트 시행
사명, 연간 플랜 설정	12월 초 사명 설정하기
바인더 제작	2024 디지털 바인더 제작
독서 20권, 디지털 본깨적 고안	본깨적 노트 정리로 뽑아내기
AutoML 논문

연결문서

2023년 1분기 회고 : 2023-1st-retro 2023년 2분기 회고 : 2023-2nd-retro