다음부턴 더 잘해야하지 하며 써본다.
리서치
- 이미 같은 실험을 한게 있는가? 다른 사람들이 만든 더 뛰어나고 좋은 대안이 있지는 않는가? 내가 거기서 개선할 점은 무엇일까?
- 남들이 하지 않았다면 이유는 뭘까?
- 실험에 얼마만큼의 비용이 소모될까? — 시간, 인프라, 돈 등등
- 이 연구가 갖는 novelty는 무엇인가? 사람들이 내 논문을 읽어야 할 이유가 무엇일까?
- 어떻게 평가할 것인가, 평가는 신뢰할 수 있는가? 특히 사람평가의 경우 비용이 많이 발생하는데, 시도해보기 전 비용이 적게 들고 사람평가와 유사한 결과를 얻어낼 수 있는 방법이 뭐가 있을까 고민해본다.
실험 설계
- PoC, PoC, PoC. 작은 실험에서 가능성을 보고 큰 실험으로 옮기자.
- 작은 실험의 결과가 큰 실험에서도 유효할거라고 확신할 수 있어야 한다.
- 실험 시작 전 기대치를 정하고, 기대치와 다른 결과가 나왔다면 이유를 찾아본다.
코드 설계
- 버그를 최소화해야한다… 기껏 했다가 버그여서 되돌리면 슬프다.
- 재사용가능한 코드, 모듈화된 코드를 작성해서 코딩하는 시간을 줄이자.
- 재현이 가능하도록 random seed를 통일하고, requirements.txt도 잘 작성하고, 사용하는 리소스도 잘 보관해야한다.
논문 작성
- 좋은 figure를 만들어야하는데, 실험 결과를 엑셀에다가 정리해놨더니 원하는 그래프를 만들기 위해 바로 만들기가 힘들다. 실험 결과는 잘 구분하고 많은 설명화 함께 저장해놓고, 그래프는 matplotlib으로 만들어야한다.
- 좋은 영어 writing이 정말 어렵다. 평소에 영어 글쓰기도 연습이 필요하다.
