[논문 리뷰]DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING
들어가며 본 글은 논문 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING을 리뷰한 글입니다. 더불어 TinyML에 관련된 논문과 프로젝트를 아카이빙해놓은 좋은 깃허브 레포지토리를 찾았기 때문에 공유합니다. https://github.com/gigwegbe/tinyml-papers-and-projects 기존 모델들의 문제 딥러닝이 최근 컴퓨터 비전 분야에서 SOTA를 달성하는 강력한 성능을 보여주지만 가중치의 수가 너무 커 상당한 저장공간과 메모리 대역폭을 소비한다. (카페모델 기준 AlexNet > 200MB, VGG-16 > 500MB) 에너지 소비량도 상당한데, ..
[논문 리뷰]TinyOL: TinyML with Online-Learning on Microcontrollers
들어가며 본 글은 TinyOL: TinyML with Online-Learning on Microcontrollers을 리뷰한 글입니다. 기존 TinyML의 한계 모델이 컴퓨팅 파워가 강력한 머신이나 클라우드에서 학습되고 이후 엣지 기기에 업로드 될 것을 가정하기 때문에 MCU는 추론만 할 수 있으면 됐다. 이 전략은 모델을 정적 객체로 취급하여 새로운 데이터를 학습하기 위해선 처음부터 다시 학습한 다음 또 다시 MCU에 업로드 해 주어야 한다. 이 때문에 다음의 상황에서 문제가 된다. 접근하기 힘든 곳에 설치된 기기나 수많은 양의 모델을 업데이트 할 경우 비용이 많이 든다. 모든 머신은 서로 다르기 때문에 어떤 기기는 하나의 기기에서 수집된 데이터로 학습된 모델로는 잘 작동하지 않을 수 있음 (센서의 ..
[논문 리뷰]TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning
들어가며 본 논문은 TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning을 리뷰한 글입니다. 논문의 주요 배경 On-Device에서 학습의 어려움 메모리 부족 엣지 장비의 경우 메모리가 매우 제한되어 있다.(라즈베리파이1 A의 경우 256MB) 이는 Fig. 1의 왼쪽 그림에서 보이듯 추론만 하기엔 충분하지만 학습을 하기에는 MobileNetV2 같은 가벼운 모델을 쓰더라도 충분하지 않다. 이 부족한 메모리조차 다른 응용프로그램이나 운영체제와 공유하기 때문에 이런 메모리는 더욱 부족해진다. 에너지 부족 엣지 장비는 에너지도 제한되어 있다. DRAM에 접근할 때 on-chip SRAM에 비해 두 배 더 많은..
SetFit 조사 및 distilbert와 sentiment analysis 성능 비교
SetFit https://huggingface.co/blog/setfit https://arxiv.org/abs/2209.11055 SetFit 개요 SetFit은 Sentence Transformer*를 few-shot에서 효율적인 파인튜닝을 위한 프레임워크이다. 이 프레임워크를 이용하면 고객 리뷰 감정 분석에서 8개의 샘플로 학습한 것과 RoBERTa Large로 3천 샘플 학습한 것과 비견될 정도라고 한다. SetFit은 다른 few-shot 러닝 방법들과 비교했을 때 다음의 이점을 갖는다. 프롬프트나 해설자(verbalisers)가 필요가 없다. SetFit은 GPT같이 큰 모델을 사용할 필요가 없기 때문에 학습과 추론에서 이점을 갖는다. SetFit은 허깅페이스 허브에 있는 어떤 Sentenc..
llama2 다운 및 파인튜닝
들어가며 국민대 산학협력 프로젝트 토픽 별 감정 분석 / 평점 분석 진행을 위해 라마2를 활용하기로 했다. 따라서 이를 활용하여 파인튜닝 시험 해 보았다. 본 예제는 dlpc라는 특수한 환경에서 진행하여 많은 이들에게 도움이 되지 않을 수 있다. llama2 다운로드 방법 허깅페이스는 신청만 하고 허깅페이스로 연동만 하면 자동으로 다운 받아진다. 1. 다운로드 URL 신청 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 위 링크에 접속해서 자신의 정보를 입력하고 맨 아래로 내려가 Accept and Continue 버튼을 누른다. 그러면 Get started with Llama 2라는 제목으로 기입한 이메일 주소에 메타로부터 메일이..
LLM 조사
들어가며 국민대 산학 협력 프로젝트에서 토픽 별 감정 분석 / 평점 예측을 진행하는데, 기존 LDA나 Topic Modeling 방식의 분석의 성능이 미진하여 LLM으로 시도하기 위해 LLM에 대해 조사하였다. OpenAI API https://platform.openai.com/account/usage 위 링크에서 OpenAI의 API는 18$을 무료로 제공하는 것을 확인할 수 있다. https://openai.com/pricing#language-models 위 링크에서 OpenAI에서 제공하는 모델들의 가격을 확인할 수 있다. 언어 모델만 확인해보자면 다음과 같다. 우가 바라는 파인튜닝에 관한 것은 기존엔 GPT-3 기반의 davinci, curie, babbage, ada만 파인튜닝이 가능하다고 ..