김희규두번째 논문을 쓰고 느낀 것들좋은 글을 쓰는 것은 너무나 어렵다. 남들은 어떻게 좋은 글을 쓸까 고민했고, 유명한 논문들을 다시 읽었다. 그들이 쓴 단어들과 접속사들을 다시 면밀히 살펴봤다. ChatGPT와 Grammarly의 도움도 적극적으로 받아서 더 나은 표현을 찾았다…Mar 5Mar 5
김희규INSTRUCTOR하나의 모델에서 여러가지 NLU task를 수행할 수 있는 모델이 나왔다. task instruction이 추가된 text embedding을 이용한다.May 19, 2023May 19, 2023
김희규Adafactor Optimizer for Deep Learning메모리 사용량이 적으면서 learning rate도 알아서 찾아주는 Adafactor에 대해서 알아본다.Apr 25, 2023Apr 25, 2023
김희규Large Language Model의 scaling law와 emergent ability거대한 언어모델(Large Language Model, LLM)을 학습할 때, 우리는 한정적인 리소스로 최적의 모델을 학습해야 한다. 한 번 학습에 큰 비용이 들기 때문에 여러번 실험하기 어렵다. 공개된 문헌을 바탕을 연산량, 데이터 크기, 모델…Apr 23, 2023Apr 23, 2023
김희규Huggingface Diffusers를 이용해서 만든 Diffusion 모델로 이미지 생성하기허깅페이스가 NLP 외에도 컴퓨터 비전과 관련된 라이브러리도 제공하고있는데 최근에 diffusers라는 라이브러리가 나왔습니다. 이를 이용해서 간단히 이미지 생성 모델을 만드는 예제도 공개가 됬는데 이를 사용해보았습니다.Aug 15, 2022Aug 15, 2022
