ProWiseman

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 8장을 보고 정리한 글입니다. 시간성 데이터(temporal data) 특징이 순서를 가지므로 순차 데이터(sequence)라 부른다. 이 순차 데이터는 보통 동적이며 가변적이다. 순환 신경망과 LSTM 순환 신경망은 시간성 정보를 활용하여 순차 데이터를 처리하는 효과적인 학습 모델이다. 문장이 긴 순차 데이터를 처리할 때는 장기 의존성을 더 잘 다루는 LSTM을 주로 활용한다. 순차 데이터 길이가 가변적이며 매 순간 값이 하나가 아닌 여러 개가 들어올 수 있다. 따라서 데이터를 표현할 때 벡터의 벡터로 표현한다. \(T\)번째 순간에 값이 여러 개 들어오므로 벡터가 요소가 된다. 훈련집합은 다음과 같이 표기한다. 만약 \(\textbf{x}\)가 "A..

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 6장을 보고 정리한 글입니다. 비지도학습 앞서 배웠던 학습 방법은 지도학습으로 훈련집합 \(\mathbb{X}\)와 \(\mathbb{Y}\)가 주어진다. 반면 비지도학습에선 \(\mathbb{X}\)만 주어진다. 이는 맞춤 광고, 차원 축소, 데이터 압축, 데이터 가시화, 특징 추출, 생성 모델 등 여러 분야에서 응용된다. 특징 추출의 특성 때문에 현대 기계학습에서 더욱 중요해졌다. 지도 학습, 비지도 학습, 준지도 학습 비교 지도 학습 : 모든 훈련 샘플이 레이블 정보를 갖는다. 비지도 학습 : 모든 훈련 샘플이 레이블 정보를 갖지 않는다. 준지도 학습 : 레이블을 가진 샘플과 가지지 않은 샘플이 섞여있다. 기계학습에선 크게 두 가지 지식이 주어진다..

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 4장을 보고 정리한 글입니다. 딥러닝 딥러닝이란 깊은 신경망을 학습시키는 알고리즘이다. (※ 깊은 신경망이란 다층 퍼셉트론에서 은닉층을 여러개 추가한 것이다.) 딥러닝은 현대 기계학습을 주도하며 음성인식, 글자인식, 얼굴인식 등 여러 인공지능 활용 분야에서 획기적인 성능 발전이 이루어졌다. 과거 딥러닝의 문제점 그레이디언트 소멸 문제 : 역전파 과정에서 출력층에서 입력층으로 갈 수록 미분값이 0에 가까워지는 그레이디언트 소멸 문제로 인해 신경망 층을 3개 이상 쌓은 것보다 1~2개 쌓은 것이 성능이 더 좋았다. 훈련 집합이 작았다. 컴퓨팅 자원의 성능이 떨어지고 가격도 비쌌다. 이러한 문제 해결을 위한 모색 학습률에 다른 성능 변화 양상 옵티마이저 모멘..

들어가며 본 글은 논문 Latent Aspect Rating Analysis on Review Text Data:A Rating Regression Approach를 리뷰한 글입니다. 내용 기존의 문제점 이 호텔의 리뷰에서 볼 수 있듯 해당 리뷰는 호텔의 가격, 방 상태, 서비스와 같은 여러 측면(aspect)에 대해 얘기하지만, 리뷰어는 호텔에 전체 평점(overall rating)만 제공한다. 평점은 각 요소별 명시적인 평가가 없기에 유저는 리뷰어의 각 요소에 대한 의견을 알기 어렵다. Latent Aspect Rating Analysis (LARA) 리뷰와 전체 평점이 주어졌을 때, LARA는 리뷰에서 주제별 aspect의 수준에서 표출된 의견을 분석하는 것을 목표로 한다. 리뷰어 개개인별로 매긴 ..

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 1~2장을 보고 정리한 글입니다. 인공지능의 패러다임 기존 지식기반 방식은 광원, 그림자 등과 같은 변화에 취약했다. 따라서 데이터 중심의 접근방식인 기계학습으로 전환되었다. 기계학습 기계학습의 예측엔 예측값이 실수인 회귀(regression), 부류값인 분류(classification)가 있다. 기계학습은 가장 정확하게 예측할 수 있는 최적의 매개변수를 찾는 작업이다. 처음에는 실생활에서의 데이터의 피쳐는 매우 많기 때문에 복잡하여 최적값을 모르기에 점점 성능을 개선하여 최적에 도달한다. 기계학습의 궁극적인 목표는 훈련집합에 없는 새로운 샘플(테스트 집합)에 대한 오류를 최소화하는 것이며 이에 대한 높은 성능을 일반화(generalization) 능력..

들어가며 본 글은 논문 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks를 리뷰한 글입니다. 내용 기존의 한계 ConvNet을 스케일 업 할 때 보통 depth, width, image resolution을 스케일링하는 데, 이에 대한 제대로 된 이해가 없다. 스케일 업 할 때도 위 세 요소 중 하나만 스케일링한다. 2, 3가지도 임의로 스케일 할 수 있으나 수동으로 튜닝해야 하며 정확도와 효율성 또한 최적이 아니다. AlexNet이후로 지속해서 모델의 크기가 커졌으나 하드웨어 메모리의 한계로 더 높은 정확도를 위해선 더 나은 효율성이 필요하다. 최근 MobileNet, SqueezNet, ShuffleNet이나 NAS(ne..