728x90 딥러닝37 [DL] LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 알아보기 LSTM전통적인 RNN(Vanila RNN)의 단점을 보완 은닉층의 메모리 셀에 입력 게이트, 망각 게이트, 출력 게이트를 추가하여 불필요한 기억을 지우고, 기억해야할 것들을 정함RNN과 다른 점은닉 상태(hidden state)를 계산하는 식이 전통적인 RNN보다 조금 더 복잡셀 상태(cell state)라는 값을 추가게이트 사용 셀 상태(cell state) t시점의 셀 상태를 $C_t$로 표현 셀 상태는 위의 그림에서 왼쪽에서 오른쪽으로 가는 굵은 선 셀 상태 또한 이전에 배운 은닉 상태처럼 이전 시점의 셀 상태가 다음 시점의 셀 상태를 구하기 위한 입력으로서 사용 은닉 상태값과 셀 상태값을 구하기 위해서 새로 추가 된 3개의 게이트를 사용삭제 게이트, 입력 게이트, 출력 게이트라고 부르며 이 .. 2024. 12. 12. [DL] 순환 신경망(Recurrent Neural Network, RNN) RNN입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 피드 포워드 신경망과 달리, 결과값을 출력층 방향으로 보내면서도 다시 은닉층 노드의 다음 계산의 입력으로 보냄 은닉층의 메모리 셀(은닉층에서 활성화 함수를 통해 결과를 내보내는 역할)은 각각의 시점(time step)에서 바로 이전 시점에서의 은닉층의 메모리 셀에서 나온 값을 자신의 입력으로 사용하는 재귀적 활동을 함현재 시점 t에서의 메모리 셀이 갖고있는 값은 과거의 메모리 셀들의 값에 영향을 받은 것임을 의미 은닉 상태(hidden state)메모리 셀이 출력층 방향으로 또는 다음 시점 t+1의 자신에게 보내는 값을 은닉 상태(hidden state)라고 함 RNN은 입력과 출력의 길이를 다르게 설계 할 수 있으므로 다양한 용도로 사용 가능 .. 2024. 12. 10. [DL] 활성화 함수(Activation Function), Sigmoid/ReLU/tanh/Leaky ReLU/GELU/ELU/SoftPlus/Swish 활성화 함수란? 인공 신경망에서 입력 신호의 가중치 합을 출력 신호로 변환하는 함수 활성화함수는 비선형성(non-linearity)을 가지며, 입력에 대한 비선형 변환을 통해 신경망이 다양한 종류의 복잡한 함수를 학습할 수 있게 함 모델링할 때, 자신에게 맞는 활성함수를 잘 찾는 것이 중요 Hidden LayerMulti-layer perceptron: ReLU 계열Convolution neural network: ReLU 계열Recurrent neural network: sigmoid / TanhOutput LayerRegression: 출력노드는 1개로 설정 + Linear activationBinary classification: 출력노드는 1개로 설정 + SigmoidMulti-class clas.. 2024. 12. 5. [DL] 다층 퍼셉트론 (Multi-layer Perceptron, MLP)이란? 다층 퍼셉트론이란?MLP는 단층 퍼셉트론에 은닉층(hidden layer)이 추가된 것 은닉층이 2개 이상이 되면 심층 신경망(Deep Neural Network, DNN)이라고 함 위의 그림은 AND, NAND, OR 게이트를 조합하여 XOR 게이트를 구현한 다층 퍼셉트론의 예 입력층의 두 뉴런이 입력 신호를 받아 은닉층의 뉴런으로 신호를 보낸다.은닉층의 뉴런은 출력층의 뉴런으로 신호를 보내고, 출력층은 y를 출력한다. 이전 글에서 활성화 함수를 통해 각 노드의 활성 여부를 판단한다고 언급함 변수 z는 이전층의 모든 입력이 각각의 가중치와 곱해진 값들이 모두 더해진 가중합을 의미즉, 아직 활성화 함수를 거치지 않은 값 $z$ 우측의 |를 지나서 존재하는 변수 h 또는 o는 z가 시그모이드 함수를 .. 2024. 12. 2. [DL] 퍼셉트론(Perceptron)이란? 퍼셉트론이란?퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘신경망(딥러닝)의 기원이 되는 알고리즘실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력 퍼셉트론은 전류가 전선을 타고 전자를 내보내듯 퍼셉트론도 신호도 흐름을 만들고 정보를 앞으로 전달 다만, 실제 전류와 달리 퍼셉트론 신호는 '흐른다/안 흐른다(1이나 0)'의 두가지 값을 가짐 그림 2-1은 입력으로 2개의 신호를 받은 퍼셉트론의 예 $x_1$과 $x_2$는 입력 신호, $y$는 출력 신호, $w_1$과 $w_2$는 가중치를 표현 그림의 원은 '뉴런' 혹은 '노드'라고 부름 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해짐가중치는 각 신호가 결과에 주는 영향력.. 2024. 12. 2. [ML] 의사 결정 나무 (Decision Tree), Entropy/Impurity decision tree(의사결정나무)순차적으로 질문을 던져서 답을 고르게 하는 방식으로 의사결정을 하는 머신러닝 모델 한번의 분기 때마다 변수 영역을 두 개로 구분결정 트리에서 질문이나 정답을 담은 네모 상자를 노드(Node)라고 함맨 처음 분류 기준 (즉, 첫 질문)을 Root Node라고 함맨 마지막 노드는 Terminal Node 혹은 Leaf Node 특징분류, 회귀 모두 가능한 지도학습 모델 결정 트리의 Leaf Node가 가장 섞이지 않은 상태로 완전히 분류되는 것, 즉 복잡성(Entropy)이 낮도록 만들어야 함 주로 f1-score를 통해 평가 그렇다면, 위에서 가지를 어떤 기준으로 뻗어나갈지 그 기준을 어떻게 정하는 것일까? 1. 데이터를 가장 잘 구분할 수 있는 질문을 기준으로 나눔.. 2024. 11. 21. 이전 1 2 3 4 5 6 7 다음 728x90
