728x90 활성화함수2 [DL] 활성화 함수(Activation Function), Sigmoid/ReLU/tanh/Leaky ReLU/GELU/ELU/SoftPlus/Swish 활성화 함수란? 인공 신경망에서 입력 신호의 가중치 합을 출력 신호로 변환하는 함수 활성화함수는 비선형성(non-linearity)을 가지며, 입력에 대한 비선형 변환을 통해 신경망이 다양한 종류의 복잡한 함수를 학습할 수 있게 함 모델링할 때, 자신에게 맞는 활성함수를 잘 찾는 것이 중요 Hidden LayerMulti-layer perceptron: ReLU 계열Convolution neural network: ReLU 계열Recurrent neural network: sigmoid / TanhOutput LayerRegression: 출력노드는 1개로 설정 + Linear activationBinary classification: 출력노드는 1개로 설정 + SigmoidMulti-class clas.. 2024. 12. 5. [DL] 퍼셉트론(Perceptron)이란? 퍼셉트론이란?퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘신경망(딥러닝)의 기원이 되는 알고리즘실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력 퍼셉트론은 전류가 전선을 타고 전자를 내보내듯 퍼셉트론도 신호도 흐름을 만들고 정보를 앞으로 전달 다만, 실제 전류와 달리 퍼셉트론 신호는 '흐른다/안 흐른다(1이나 0)'의 두가지 값을 가짐 그림 2-1은 입력으로 2개의 신호를 받은 퍼셉트론의 예 $x_1$과 $x_2$는 입력 신호, $y$는 출력 신호, $w_1$과 $w_2$는 가중치를 표현 그림의 원은 '뉴런' 혹은 '노드'라고 부름 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해짐가중치는 각 신호가 결과에 주는 영향력.. 2024. 12. 2. 이전 1 다음 728x90
