2023-3rd-retro

• toc {:toc}

3 분기 목표

3 분기 목표	목표 기간	달성률
Reshape, Transpose 아이디어 결론 짓기	7 월 안에 결론짓기	100%
책 12 권 이상 읽고 리뷰하기 (방학 때 많이 읽어두기)	8/30 까지	45% 5 권, 리뷰 X
주 3 회 운동하기	매 주 꾸준히, 기록하기	7 월까지는 운동하다 8 월부터 안 했다.
Legend 13 모델 리뷰, 구현하기	11 개 8/30 까지, 2 개 9/31 까지	스터디로 ResNet 까지 진행 구현 X
MaxViT 모델 리뷰, 모델 지식 강화, 아이디어 관련 논문	7/16 까지 최우선으로 지식 강화	MaxSR 연구 진행 중

Veritross

Reshape, Transpose 아이디어 결론 짓기

Reshape, Transpose 를 줄이는 아이디어 관해서 본래 (MBConv ⇒ BlockAttn ⇒ GridAttn) x2 순서였던 MaxViT block 을 (MBConv ⇒ BlockAttn ⇒ GridAttn ⇒ GridAttn ⇒ BlockAttn ⇒ MBConv) 순서로 변경해 GridAttn 에서 reshape, transpose 가 발생하는 부분을 제거한 뒤 성능 측정을 해봤다.
결론적으로는 성능에서의 약간의 하락이 있었고, Rearrange(Reshape, Transpose) 가 모델에서 차지하는 비율이 적어 비용 측면에서도 큰 이득이 있지 않았다.(시간적 이득 3ms)

• Improvement 모델의 작동에서 연산 비중, 시간, 메모리 등을 뽑아내는 부분에 있어서 pytorch profiler, tensorboard 등 프로파일링 방식들을 사용해보고 익힐 수 있는 기회가 됐다.

• Complement

  • 실험 설계 능력 부족 아직 task 가 주어졌을 때 실험을 설계하는 부분에 있어서 가닥을 잡지 못하는 것 같다. 아무런 계획 설계없이 머릿속에 있는 것으로만 들이대는 것이 아니라 정확하게 설계를 잡고, 설계에 따라서 실험을 진행해야 한다는 점을 느꼈다.
    실제로, 매우 부끄럽지만 실험을 진행하다가 문득 이런 연구가 의미가 있나? 하는 의문을 가졌다. (미리 다 생각해둬야지…)

• 실험 전, 실험 설계 및 기록 (왜? 어떤 방식? 검증은 어떻게?)

• 질문 사항, 막히는 점, 실험 과정에서의 조언이 필요할 경우 메일 전송

• 수치로 말하기 (설득을 위한 시각화 필수)

스터디, 동아리

7 월을 허송세월로 보내다 보니 8 월부터는 스터디를 만들기도 하고 참가해보기도 했다. 현재 진행하고 있는 활동은 알고리즘 스터디, DeepSync 논문 스터디, Veritross 딥러닝 연구 동아리 이다. 추가로, 9/10 부터 DEL. 독서 모임도 진행해보려 한다.

KHUDA 알고리즘 스터디

• 시작일 : 2023-08-02
• 종료일 : 2023-09-26
• 교내 가을 알고리즘 경시대회 수상 목표
• 하루 1 문제씩 백준 문제 풀고 블로그에 포스팅
• 주 1 회씩 오프라인 미팅, 문제 개념 이론 발표, 습득

꾸준하게 풀이하는 중이다. 하지만 실력이 그렇게 오른다는 생각이 들지는 않는다. 아직 어떻게 해야 잘 풀 수 있을지 모르겠다. 지금까지는 시간적인 부분에서도 오래 걸리고 풀이도 익숙지 않다. 반복해서 풀이를 시도해봐야겠다.
복잡도 측면에서 생각하는 부분이 약하다 생각이 든다.

1. 풀이 방식
2. 복잡도
3. 주의 사항
4. 실수하기 좋은 부분

위 사항을 먼저 생각해보고 풀이를 시작하자.

DeepSync 논문 동아리

• 시작일 : 2023-08-13
• 딥러닝 연구를 위한 기본 지식, 논문 리딩 능력 습득
• 격주 온라인 미팅, 논문 리뷰, 토론을 통한 이해 능력 향상

1. 논문이 풀고자 하는 문제
2. 배경 지식, 연관있는 연구
3. 아이디어
4. 구현 방식
5. 결론

위 사항으로 정리한다.

4 분기 목표

목표	세부사항
2-2 성적 4.0/4.3 이상	하루 30 분 복습 프로젝트 시행
사명, 연간 플랜 설정	12 월 초 사명 설정하기
바인더 제작	2024 디지털 바인더 제작
독서 20 권, 디지털 본깨적 고안	본깨적 노트 정리로 뽑아내기
AutoML 논문

연결문서

2023 년 1 분기 회고 : 2023-1st-retro

2023 년 2 분기 회고 : 2023-2nd-retro