Quantization 계열 GPTQ(ICLR 2023): Accurate Post-training Compression for Generative Pretrained Transformers. GitHub - IST-DASLab/gptq: Code for the ICLR 2023 paper "GPTQ: Accurate Post-training Quantization… This repository contains the code for the ICLR 2023 paper GPTQ: Accurate Post-training Compression for Generative…github.com 무려 3비트, 4비트 양자화를 지원한다. OPT, BLOOM, LLaMA모델에서 쓸 수 있다. 이 방법을 사용한 Vicuna 13B(52GiB)는 7.45GB가 되었다.

GPT-2, GPT-3 외의 Decoder Only 언어모델들에 대해서 살펴본다 GPT-Neo(125M, 350M, 1.3B, 2.7B) mesh-tensorflow library 이용 Local Attention: LongFormer https://arxiv.org/abs/2004.05150 Linear Attention: https://arxiv.org/abs/1812.01243 Axial PE: Axial Attention https://arxiv.org/abs/1912.12180 MoE GPT-J(6B) Mesh Transformer Jax 프레임워크 학습(TPU 기반) RoPE The Pile 로 학습 TPU v3–256 Pod 에서 402토큰을 383500step 학습 GPT-NeoX(20B) — 2022/2

메모리 사용량이 적으면서 learning rate도 알아서 찾아주는 Adafactor에 대해서 알아본다. AdamW AdamW는 Adam에 weight decay를 추가한 옵티마이저다. Adam은 RMSProp과 Adagrad(Momentum)를 합친 방식이다. RMSProp과 Momentum은 각각 gradient를 추 …

거대한 언어모델(Large Language Model, LLM)을 학습할 때, 우리는 한정적인 리소스로 최적의 모델을 학습해야 한다. 한 번 학습에 큰 비용이 들기 때문에 여러번 실험하기 어렵다. 공개된 문헌을 바탕을 연산량, 데이터 크기, 모델 크기의 관계에 대해 유추해볼 수 있다. 또한 LLM의 성능은 선형 …

쿼리 결과가 너무 크면 결과 테이블을 설정에서 따로 지정해야한다. 미리 경고 안해주고 쿼리 실행 중간에 터진다. 한 row의 최대 크기는 100MB 이다. https://cloud.google.com/bigquery/quotas#query_jobs 사파리 버그 주기적으로 실행되는 쿼리를 웹 콘솔에서 사용하려면 크롬에서 해야된다… 그 외에도 뭔 버그가 있을지 몰라서 이걸 겪은 이후로는 그냥 크롬에서 쓴다. GCS로 테이블 추출 table extract는 크기 …

허깅페이스가 NLP 외에도 컴퓨터 비전과 관련된 라이브러리도 제공하고있는데 최근에 diffusers라는 라이브러리가 나왔습니다. 이를 이용해서 간단히 이미지 생성 모델을 만드는 예제도 공개가 됬는데 이를 사용해보았습니다.

최근 파이썬과 셀레니움을 이용해서 웹 크롤러를 개발하고 프록시를 도입하면서 비용 문제 때문에 최적화를 진행했는데 그 과정에서 사용한 방법들을 정리해봅니다. 웹사이트로부터의 차단 피하기 지나치게 많은 요청을 보내거나 오랫동안 크롤링을 하면 서버에서 알아차리고 접근을 막아버리게 됩니다. 이 때 응답으로 429 Too Many Request를 …

말투를 바꿔주는 AI 모델을 만들고 싶었는데, 때마침 좋은 토이 데이터셋을 스타일게이트에서 공유해주셔서 실험해볼 수 있게 됬습니다. Huggingface 라이브러리를 이용해서 GPT-2, BART 두 모델을 Fine-Tuning해서 말투를 바꾸는 모델을 만들어보았습니다. GitHub - smilegate-ai/korean_smile_style_dataset Smilegate AI에서 공개하는 한국어 문체 스타일 변환 "SmileStyle" 데이터셋입니다. 본 데이터셋은 Smilegate AI에서 구축한 토이 데이터셋으로, 오탈자와 스타일 변환 오류를 내포하고…github.com GPT-2 vs BART 처음에는 GPT-2를 이용해서 문체 스타일을 …

스마트폰에서 가장 많이 실행되는 앱 중 하나인 키보드는 별도의 소프트웨어로, 내장된 기본 키보드앱이 아닌 다른 서드파티 키보드앱을 설치하여 개성있게 꾸미거나 특별한 기능을 사용할 수도 있습니다. 키보드 앱은 그 용도와 작동방식이 다른 앱과는 완전히 다릅니다. 플레이키보드 출시 이후 4년간의 운영을 바탕으로 이런 …