[논문 리뷰]You Only Look Once: Unified, Real-Time Object Detection
들어가며 본 글은 논문 You Only Look Once: Unified, Real-Time Object Detection을 리뷰한 글입니다. 내용 기존 탐지 시스템 기존 시스템은 분류기(classifier)가 detection을 수행하도록 용도를 변경하였다. 이를 위해 추론 과정에서 다음 과정을 수행한다. 객체에 대한 분류를 진행한다. 다양한 위치(location)과 스케일(scale)에서 평가를 진행한다. DPM의 경우 분류기가 전체 이미지에서 균일한 간격의 위치에서 실행되는 sliding window 접근 방식을 이용한다. R-CNN의 경우RPM(region proposal method)로 이미지에서 박스의 잠재적 위치를 생성한 후 제안된 박스에 분류기를 실행한다. 각자 분류 후 박스를 정제하고 중..
[논문 리뷰]EfficientNetV2: Smaller Models and Faster Training
들어가며 본 글은 논문 EfficientNetV2: Smaller Models and Faster Training을 리뷰한 글입니다. 내용 기존 문제 GPT3와 같이 모델과 학습 데이터가 커질수록 few shot learning에 효과적이나 수 주의 학습 시간과 수천 개의 GPU가 필요하여 개선과 재학습을 어렵게 한다. 기존 EfficientNet의 문제 큰 이미지 사이즈에서의 학습이 느리다. Depthwise convolution은 초기 레이어에서 느리다. 모든 단계에서 동일하게 scaling up 하는 것은 최선이 아니다. 키 아이디어 Fused-MBConv 연산자를 적용한다. 이미지 크기를 증가시키며 점점 강한 규제를 적용한다. Training-aware NAS로 최적의 하이퍼파라미터를 탐지한다. ..
[논문 리뷰]Sequence to Sequence Learning with Neural Networks
들어가며 본 글은 Sequence to Sequence Learning with Neural Networks를 리뷰한 글입니다. 내용 논문의 키 아이디어 LSTM으로 입력 시퀀스를 얽어 거대한 고정 차원 벡터 표현을 얻는다. 그 벡터로부터 출력 시퀀스를 뽑아내기 위해 또 다른 LSTM을 사용한다. 기존 DNN의 문제점 고정된 차원 벡터로 인코딩할 수 있는 문제에만 적용할 수 있다. 입력과 출력이 미리 정해지고 고정 돼야 한다. 여러 중요한 시퀀스 문제는 사전에 그 길이를 알 수 없다. Model Recurrent Neural Network 시퀀스에 대한 순전파 신경망의 자연스러운 일반화이다. (보통의 경우 이걸 쓴다는 느낌으로 이해했음) 입력을 \((x_{1},...,x_{T})\), 출력을 \((y_{..
[논문 리뷰]Deep contextualized word representations
들어가며 본 글은 Deep contextualized word representations을 리뷰한 글입니다. 내용 몰랐던 용어 정리 Monolingual corpus 단일 언어 말뭉치 Parallel corpus, multilingual corpus 두 개 이상의 monolingual corora. 말뭉치는 서로 번역본이다. 자료 출처 기존 연구의 한계 사전학습된 word vector는 거대한 규모의 레이블이 되지 않은 텍스트에서 구문(syntactic)과 의미(semantic) 정보를 포착하는데 탁월했기에 question answering, textual entatilment, semantic role labeling과 같은 SOTA NLP 아키텍처에서 표준 구성으로 쓰였다. 그러나 word vect..
[TinyML]Tiny Machine Learning: The Next AI Revolution
들어가며 본 글은 저의 TinyML 공부를 위해 towardsdatascience에 작성된 Tiny Machine Learning: The Next AI Revolution을 번역 및 재구성 한 글입니다. 내용 이 글에선 tiny machine learning(이하 초소형 머신러닝)의 아이디어와 미래의 잠재력을 소개한다. Intorduction 최근 10년간 프로세서 속도의 향상과 빅데이터의 출현을 머신러닝 알고리즘의 크기가 커졌다. 초기 모델은 로컬 머신의 CPU에서 돌릴 수 있을 정도로 작았지만 금방 더 큰 데이터셋을 다루기 위해 GPU가 필수가 됐다. 이 시기에도 여전히 하나의 머신에서 돌릴 수 있었다. 최근에는 8개의 GPU 파워를 담을 수 있을 정도의 ASICs와 TPU가 개발되었고, 이런 장치..
StyleGAN / StyleGAN2
들어가며 StyleGAN과 StyleGAN2의 논문을 살짝 읽어보긴 했는데, 수식이 너무 어려워서 곤란해하던 중 From GAN basic to StyleGAN2 이란 포스트에 잘 정리돼 있어 위 포스트를 보고 공부하였다. 그래서 아래 정리한 내용들도 From GAN basic to StyleGAN2를 해석해 놓은 것이다. 하지만 이 포스트를 읽는 사람들은 GAN에 대해 알고 있다고 가정하고 GAN에 대한 내용은 대부분 생략했다. 내용 GAN evaluation metrics GAN은 비지도 학습이기 때문에 지도 학습의 정확도나 F1 score와 같이 확립된 평가 방법(metric)이 없다. 여기에서는 StyleGAN이 제안한 자주 쓰이는 평가 방법인 Frechet Inception Distance와 P..