본문 바로가기
728x90

기계학습10

[리뷰] Attentron: Few-Shot Text-to-Speech Utilizing Attention-Based Variable-Length Embedding 하이퍼커넥트 AI Lab에서 발표한 논문으로, Interspeech 2020에 실려있음이 논문에선 제한된 데이터만을 가지고 학습 가능한 TTS 시스템을 연구함 TTS 연구에서 가장 활발하게 사용되고 있는 Tacotron2 모델을 베이스로 연구하였다고 함 Attentron 모델은 attention을 활용하여 따라하고자 하는 화자의 특징에 대한 정보를 스펙트로그램으로부터 직접 가져와 사용  Abstract적은 양의 데이터만으로도 화자를 복제할 수 있는 few-shot TTS 시스템을 개발Attentron이라는 few-shot TTS 모델을 제안 Attentron은 두 개의 특수한 인코더를 가지고 있는데,fine-grained EncoderAttention을 사용하여 가변 길이의 스타일 정보 추출coarse-.. 2025. 2. 20.
[파이토치] 파이토치로 Convolution 이해하기, torch.nn/nn.Conv1d/nn.Conv2d torch.nntorch.nn은 PyTorch의 핵심 모듈 중 하나로, 신경망 모델을 정의하고 구성하기 위한 다양한 클래스와 함수를 제공import torch.nn as nnnn.Conv1d파이토치에서 1차원 컨볼루션 레이어를 정의하는 클래스 1차원 컨볼루션은 입력 데이터의 한 방향(주로 시계열 데이터에서는 시간 축)으로 컨볼루션 연산을 수행 2차원 컨볼루션이 가로, 세로로 모두 이동하면서 계산되는 것과 다르게 1차원 컨볼루션 연산은 가로로만 이동nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') in_channels: 입력 데이터의.. 2024. 12. 18.
[DL] 합성곱 신경망(CNN), 합성곱과 풀링 CNN이미지 인식과 음성 인식 등 다양한 곳에 사용되는 신경맘 합성곱 신경망은 크게 합성곱(Convolution Layer)와 풀링층(Pooling Layer)으로 구성됨   Affine 계층은 완전히 연결된 계층을 의미 CNN에서는 합성곱 계층과 풀링 계층이 추가됨 CNN의 계층은 '합성곱-ReLU-(Pooling)' 흐름으로 연결됨 출력에 가까운 층은 완전연결 신경망에서 사용한 'Affine-ReLU' 구성을 사용 가능마지막 출력 계층에서는 'Affine-Softmax' 조합을 그대로 사용할 수 있음 합성곱 신경망의 대두 이미지 처리를 하기 위해서 다층 퍼셉트론을 사용할 수 있지만, 몇가지 픽셀만 값이 달라져도 민감하게 예측에 영향을 받음 하지만 이미지는 아래와 같이 같은 대상이라도 휘어지거나, 이동.. 2024. 12. 12.
[DL] LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 알아보기 LSTM전통적인 RNN(Vanila RNN)의 단점을 보완 은닉층의 메모리 셀에 입력 게이트, 망각 게이트, 출력 게이트를 추가하여 불필요한 기억을 지우고, 기억해야할 것들을 정함RNN과 다른 점은닉 상태(hidden state)를 계산하는 식이 전통적인 RNN보다 조금 더 복잡셀 상태(cell state)라는 값을 추가게이트 사용  셀 상태(cell state)  t시점의 셀 상태를 $C_t$로 표현 셀 상태는 위의 그림에서 왼쪽에서 오른쪽으로 가는 굵은 선 셀 상태 또한 이전에 배운 은닉 상태처럼 이전 시점의 셀 상태가 다음 시점의 셀 상태를 구하기 위한 입력으로서 사용 은닉 상태값과 셀 상태값을 구하기 위해서 새로 추가 된 3개의 게이트를 사용삭제 게이트, 입력 게이트, 출력 게이트라고 부르며 이 .. 2024. 12. 12.
[ML] 의사 결정 나무 (Decision Tree), Entropy/Impurity decision tree(의사결정나무)순차적으로 질문을 던져서 답을 고르게 하는 방식으로 의사결정을 하는 머신러닝 모델  한번의 분기 때마다 변수 영역을 두 개로 구분결정 트리에서 질문이나 정답을 담은 네모 상자를 노드(Node)라고 함맨 처음 분류 기준 (즉, 첫 질문)을 Root Node라고 함맨 마지막 노드는 Terminal Node 혹은 Leaf Node 특징분류, 회귀 모두 가능한 지도학습 모델 결정 트리의 Leaf Node가 가장 섞이지 않은 상태로 완전히 분류되는 것, 즉 복잡성(Entropy)이 낮도록 만들어야 함 주로 f1-score를 통해 평가 그렇다면, 위에서 가지를 어떤 기준으로 뻗어나갈지 그 기준을 어떻게 정하는 것일까? 1. 데이터를 가장 잘 구분할 수 있는 질문을 기준으로 나눔.. 2024. 11. 21.
[ML] 나이브 베이즈 (Naive Bayes) 나이브 베이즈 분류기는 인공 신경망 알고리즘에는 속하지 않지만, 머신 러닝의 주요 알고리즘으로 분류에 있어 준수한 성능을 보여주는 것으로 알려져 있습니다.   나이브 베이즈 분류기는 베이즈 정리를 사용하여 주어진 데이터를 특정 클래스에 속할 확률을 계산하고, 가장 높은 확률을 가진 클래스를 선택하는 방식으로 동작 이때, 모든 특성(feature)이 서로 독립적이라고 가정 각 클래스의 사전 확률 $P(C)$를 계산합니다.각 특성별로 조건부 확률 $P(x_i|C)$를 계산합니다.테스트 데이터의 모든 특성에 대해 조건부 확률을 곱하여 $P(x|C)$를 구합니다.$P(x|C)$와 $P(C)$를 곱하여 사후 확률 $P(C|x)$를 구합니다.가장 높은 확률을 가진 클래스를 선택합니다. Bayes' theorem 베.. 2024. 11. 20.
728x90

티스토리툴바