ProWiseman

들어가며 본 글은 Modern Recommendation Systems with Neural Networks을 번역 및 재구성 한 글입니다. 추천 시스템 추천 시스템은 여러 제품에 대한 사용자의 선호도를 예측하는 모델이다. 가장 일반적인 방법은 제품 피처 (Content-Based), 유저 유사도 (Collaborative Filtering), 개인 정보 (Knowledge-Based)를 활용하는 것이다. 신경망의 인기가 높아지며 이 요소를 모두 통합하는 하이브리드 추천 시스템에 대한 실험이 이루어지고 있다. Cold Start 넷플릭스와 같은 서비스에 유저가 처음 가입하면 활동이 기록된게 없기 때문에 유저의 이전 상호작용 없이 추천해 주어야 한다. 이렇게 유저나 제품이 새로 들어올 때 직면하는 문제를 ..

들어가며 본 글은 논문 Few-shot learning for short text classification을 리뷰한 글입니다. 기존 short text classification의 문제 few-shot learning 접근법은 비전 도메인에선 좋은 성취를 얻었지만 자연어 처리 / 분류, 특히 짧은 텍스트 분류에서는 상대적으로 아니다. 트위터와 같은 짧은 텍스트와 문장에선 제한된 문장 길이, 축약어, 오타, 잘못된 문법을 사용하는 자유분방한 문장 구성과 같은 특징이 있다. 보통 언어는 고차원 공간에 의미 공간(semantic space)이 있고 이 의미 특징(semantic feature)과 워드 임베딩은 많은 NLP 과업에 유익하다고 여겨지고 더 많은 라벨링으로 분류기의 성능을 개선할 수 있을 것 같지..

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 8장을 보고 정리한 글입니다. 시간성 데이터(temporal data) 특징이 순서를 가지므로 순차 데이터(sequence)라 부른다. 이 순차 데이터는 보통 동적이며 가변적이다. 순환 신경망과 LSTM 순환 신경망은 시간성 정보를 활용하여 순차 데이터를 처리하는 효과적인 학습 모델이다. 문장이 긴 순차 데이터를 처리할 때는 장기 의존성을 더 잘 다루는 LSTM을 주로 활용한다. 순차 데이터 길이가 가변적이며 매 순간 값이 하나가 아닌 여러 개가 들어올 수 있다. 따라서 데이터를 표현할 때 벡터의 벡터로 표현한다. \(T\)번째 순간에 값이 여러 개 들어오므로 벡터가 요소가 된다. 훈련집합은 다음과 같이 표기한다. 만약 \(\textbf{x}\)가 "A..

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 6장을 보고 정리한 글입니다. 비지도학습 앞서 배웠던 학습 방법은 지도학습으로 훈련집합 \(\mathbb{X}\)와 \(\mathbb{Y}\)가 주어진다. 반면 비지도학습에선 \(\mathbb{X}\)만 주어진다. 이는 맞춤 광고, 차원 축소, 데이터 압축, 데이터 가시화, 특징 추출, 생성 모델 등 여러 분야에서 응용된다. 특징 추출의 특성 때문에 현대 기계학습에서 더욱 중요해졌다. 지도 학습, 비지도 학습, 준지도 학습 비교 지도 학습 : 모든 훈련 샘플이 레이블 정보를 갖는다. 비지도 학습 : 모든 훈련 샘플이 레이블 정보를 갖지 않는다. 준지도 학습 : 레이블을 가진 샘플과 가지지 않은 샘플이 섞여있다. 기계학습에선 크게 두 가지 지식이 주어진다..

들어가며 본 게시물은 오일석 교수님의 기계학습 강의 4장을 보고 정리한 글입니다. 딥러닝 딥러닝이란 깊은 신경망을 학습시키는 알고리즘이다. (※ 깊은 신경망이란 다층 퍼셉트론에서 은닉층을 여러개 추가한 것이다.) 딥러닝은 현대 기계학습을 주도하며 음성인식, 글자인식, 얼굴인식 등 여러 인공지능 활용 분야에서 획기적인 성능 발전이 이루어졌다. 과거 딥러닝의 문제점 그레이디언트 소멸 문제 : 역전파 과정에서 출력층에서 입력층으로 갈 수록 미분값이 0에 가까워지는 그레이디언트 소멸 문제로 인해 신경망 층을 3개 이상 쌓은 것보다 1~2개 쌓은 것이 성능이 더 좋았다. 훈련 집합이 작았다. 컴퓨팅 자원의 성능이 떨어지고 가격도 비쌌다. 이러한 문제 해결을 위한 모색 학습률에 다른 성능 변화 양상 옵티마이저 모멘..

들어가며 본 글은 논문 Latent Aspect Rating Analysis on Review Text Data:A Rating Regression Approach를 리뷰한 글입니다. 내용 기존의 문제점 이 호텔의 리뷰에서 볼 수 있듯 해당 리뷰는 호텔의 가격, 방 상태, 서비스와 같은 여러 측면(aspect)에 대해 얘기하지만, 리뷰어는 호텔에 전체 평점(overall rating)만 제공한다. 평점은 각 요소별 명시적인 평가가 없기에 유저는 리뷰어의 각 요소에 대한 의견을 알기 어렵다. Latent Aspect Rating Analysis (LARA) 리뷰와 전체 평점이 주어졌을 때, LARA는 리뷰에서 주제별 aspect의 수준에서 표출된 의견을 분석하는 것을 목표로 한다. 리뷰어 개개인별로 매긴 ..