Published in playkeyboard·Jun 21소프트웨어 키보드는 어떻게 만들어야하는가스마트폰에서 가장 많이 실행되는 앱 중 하나인 키보드는 별도의 소프트웨어로, 내장된 기본 키보드앱이 아닌 다른 서드파티 키보드앱을 설치하여 개성있게 꾸미거나 특별한 기능을 사용할 수도 있습니다. 키보드 앱은 그 용도와 작동방식이 다른 앱과는 완전히 다릅니다. 플레이키보드 출시 이후 4년간의 운영을 바탕으로 이런 …8 min read
May 8수습이던 시절2020년 3월 A회사에 산업기능요원 병역특례를 위해 입사했다. 처음 3개월은 수습기간이었고, 이 기간동안 근무한 뒤에 정식으로 채용되는 형태였다. 수습기간동안 급여나 근무형태의 불이익은 없었지만, 수습동안 안좋은 평가를 받고 퇴사하게된 사람도 있었고, 무엇보다 다시 병역특례로 입사할 회사를 찾기가 힘들었기 때 …3 min read
May 8욕설, 혐오 분류기에 지식 증류(Knowledge Distillation) 적용해보기얼마전 kcbert-base를 fine-tuning해서 욕설분류기를 만들었습니다. 문제는 bert-base의 400MB에 달하는 모델 크기와 그에 따른 추론속도였습니다. 그래서 지식 증류(Knowledge Distillation)을 이용해서 모델 크기를 확 줄여보고 그냥 작은 모델을 썼을 때보다 성능도 더 뛰어 …Pytorch5 min read
Jan 8추천 시스템 6 — ScaNN을 이용한 벡터 유사도 검색이번 글에서는 ScaNN을 이용해서 빠르게 벡터 유사도 검색을 하는 방법에 대해 알아보겠습니다. Retrieval Model을 구현하면서 사용한 BruteForce는 모든 영화 임베딩벡터와 내적한 뒤 가장 내적값이 큰 Top K개의 아이템을 얻었습니다. 이런 방법은 전체 아이템이 수백 수천만개 이상이 될 경우 …Scann9 min read
Jan 8추천 시스템 5 — Basic Ranking Model지난 글에서는 TFRS를 이용해서 간단한 Retrieval Model을 만들었습니다. 이번 글에서는 Ranking Model을 구현한 다음 Retrieval Model을 통해서 뽑아낸 100개의 추천 영화들을 Ranking Model을 이용해서 더 정확하게 순위를 매겨서 추천 결과를 개선해보겠습니다. 이전 Bas …Ranking Model6 min read
Jan 7추천 시스템 4 — Basic Retrieval Model이전 글에서는 SVD를 이용해서 추천 시스템을 만들었는데, 이번 글부터는 Tensorflow Recommenders를 이용해서 딥러닝 추천 시스템을 만드는 법에 대해서 작성하겠습니다. 전체적인 내용은 TF Recommenders(TFRS) 튜토리얼을 가져왔고, 제가 이해한 내용들과 저의 생각과 의견들을 추가로 …Recommendation System10 min read
Jan 2추천 시스템 3 — FunkSVD를 이용한 추천 시스템 구현이번 글에서는 FunkSVD를 이용해서 추천시스템을 구현해보겠습니다. 사용자가 어떤 영화를 몇 점으로 평가했을지 예측하는 문제에서, 이전 글의 SVD는 유저가 아직 평가하지 않은 NaN값을 처리하지 못했는데요, FunkSVD는 이 문제를 간단하게 해결해줍니다. FunkSVD의 원리 먼저 Matrix Factorization 을 다시보면, …Funksvd4 min read
Dec 26, 2021추천 시스템 2 — Matrix Factorization(MF)를 이용한 협력 필터링이번 글에서는 Matrix Factorization(MF) 기법을 이용한 협력 필터링 기법에 대해서 알아보겠습니다. User-Item Matrix 먼저 MovieLens100k 데이터셋의 ratings.csv 파일로 아래와 같은 user-item matrix를 만들겠습니다. 이 행렬의 행은 각 유저를 의미하고, 열은 유저가 평가한 영화를 의미하 …Matrix Factorization8 min read
Dec 25, 2021추천 시스템 1 — 기본 개념과 콘텐츠 기반 추천 구현추천 시스템이란 유튜브나 넷플릭스처럼 사용자가 좋아할 컨텐츠를 추천해주는 시스템을 의미합니다. 현재 머신러닝기술이 가장 효과적으로 사용되고 있는 분야 중 하나라고도 생각합니다. MovieLens100k 데이터셋을 이용하여 영화 추천시스템을 만들면서 공부해보고 있는데 배운 내용을 시리즈로 적어보려고 합니다. 우선 …Recommendation System6 min read
Nov 18, 2021Symspell을 이용한 한글 맞춤법 교정 2 — 복합어와 띄어쓰기 교정이전 글에서는 한 어절에 대해 오타교정을 하는 방법에 대해서 알아봤습니다. 하지만 띄어쓰기 오류는 해결할 수 없었는데요, 이를 위해 이번 글에서는 SymSpell에서 제공하는 또다른 기능인 복합어 교정과 단어 분할에 대해서 알아보겠습니다. Compound aware multi-word spelling correction 영어로 좀 긴데 줄여서 복합어 교정이라고 부르겠습니다. 복합어 교정은 아래 …Symspell6 min read
