허깅페이스가 NLP 외에도 컴퓨터 비전과 관련된 라이브러리도 제공하고있는데 최근에 diffusers라는 라이브러리가 나왔습니다. 이를 이용해서 간단히 이미지 생성 모델을 만드는 예제도 공개가 됬는데 이를 사용해보았습니다. Diffusion 모델은 열역학에서 아이디어를 따온거라고 하는데, 원본 데이터에 점점 노이즈를 …

최근 파이썬과 셀레니움을 이용해서 웹 크롤러를 개발하고 프록시를 도입하면서 비용 문제 때문에 최적화를 진행했는데 그 과정에서 사용한 방법들을 정리해봅니다. 웹사이트로부터의 차단 피하기 지나치게 많은 요청을 보내거나 오랫동안 크롤링을 하면 서버에서 알아차리고 접근을 막아버리게 됩니다. 이 때 응답으로 429 Too Many Request를 …

말투를 바꿔주는 AI 모델을 만들고 싶었는데, 때마침 좋은 토이 데이터셋을 스타일게이트에서 공유해주셔서 실험해볼 수 있게 됬습니다. Huggingface 라이브러리를 이용해서 GPT-2, BART 두 모델을 Fine-Tuning해서 말투를 바꾸는 모델을 만들어보았습니다. GitHub - smilegate-ai/korean_smile_style_dataset Smilegate AI에서 공개하는 한국어 문체 스타일 변환 "SmileStyle" 데이터셋입니다. 본 데이터셋은 Smilegate AI에서 구축한 토이 데이터셋으로, 오탈자와 스타일 변환 오류를 내포하고…github.com GPT-2 vs BART 처음에는 GPT-2를 이용해서 문체 스타일을 …

스마트폰에서 가장 많이 실행되는 앱 중 하나인 키보드는 별도의 소프트웨어로, 내장된 기본 키보드앱이 아닌 다른 서드파티 키보드앱을 설치하여 개성있게 꾸미거나 특별한 기능을 사용할 수도 있습니다. 키보드 앱은 그 용도와 작동방식이 다른 앱과는 완전히 다릅니다. 플레이키보드 출시 이후 4년간의 운영을 바탕으로 이런 …

2020년 3월 A회사에 산업기능요원 병역특례를 위해 입사했다. 처음 3개월은 수습기간이었고, 이 기간동안 근무한 뒤에 정식으로 채용되는 형태였다. 수습기간동안 급여나 근무형태의 불이익은 없었지만, 수습동안 안좋은 평가를 받고 퇴사하게된 사람도 있었고, 무엇보다 다시 병역특례로 입사할 회사를 찾기가 힘들었기 때 …

얼마전 kcbert-base를 fine-tuning해서 욕설분류기를 만들었습니다. 문제는 bert-base의 400MB에 달하는 모델 크기와 그에 따른 추론속도였습니다. 그래서 지식 증류(Knowledge Distillation)을 이용해서 모델 크기를 확 줄여보고 그냥 작은 모델을 썼을 때보다 성능도 더 뛰어 …

이번 글에서는 ScaNN을 이용해서 빠르게 벡터 유사도 검색을 하는 방법에 대해 알아보겠습니다. Retrieval Model을 구현하면서 사용한 BruteForce는 모든 영화 임베딩벡터와 내적한 뒤 가장 내적값이 큰 Top K개의 아이템을 얻었습니다. 이런 방법은 전체 아이템이 수백 수천만개 이상이 될 경우 …

지난 글에서는 TFRS를 이용해서 간단한 Retrieval Model을 만들었습니다. 이번 글에서는 Ranking Model을 구현한 다음 Retrieval Model을 통해서 뽑아낸 100개의 추천 영화들을 Ranking Model을 이용해서 더 정확하게 순위를 매겨서 추천 결과를 개선해보겠습니다. 이전 Bas …

이전 글에서는 SVD를 이용해서 추천 시스템을 만들었는데, 이번 글부터는 Tensorflow Recommenders를 이용해서 딥러닝 추천 시스템을 만드는 법에 대해서 작성하겠습니다. 전체적인 내용은 TF Recommenders(TFRS) 튜토리얼을 가져왔고, 제가 이해한 내용들과 저의 생각과 의견들을 추가로 …