본문 바로가기
728x90

전체49

[리뷰] AST: Audio Spectrogram Transformer 21년도 Interspeech에서 accept된 논문으로, 오디오 분류 Task에서 convolution-free를 실현한 모델 논문 링크 AST: Audio Spectrogram TransformerAbstract지난 10년 동안, E2E audio classification models의 주요 구성 요소로 CNN이 주로 사용됨그러나, long-range global context를 잘 포착하지 못하는 문제가 있었음그 점을 보완하기 위해 CNN에 Self-attention을 추가한 하이브리드 모델이 등장그러나 CNN에 대한 의존이 정말 필요한 것인지, 순수한 attention 기반 모델도 좋은 성능을 낼 수 있는지 연구함 AST를 다양한 오디오 분류 벤치마크에서 평가했으며,AudioSet에서는 0.48.. 2025. 4. 15.
[AI 수학] 인공지능 수학 - 7. 우도(likelihood)란? (최대가능도/음의 로그 우도) 우도, likelihood우도란?내가 관측한 데이터가, 이 모델에서 얼마나 그럴듯한가? 를 나타내는 값 쉽게 말하자면 주사위를 던졌는데 6이 나옴내가 가진 모델은 공정한 주사위 모델 (숫자 각각의 확률 1/6)이 모델에서 6이 나올 확률은? $$P(x = 6 | 공정한 주사위) = \frac{1}{6}$$ 👉 이게 바로 우도 즉, 관측값 $x = 6$이 나왔을 때, 그게 모델로부터 나올 가능성을 의미    그럼 확률과 우도는 어떻게 다를까? 개념무엇에 대한 함수?설명확률 (Probability) 데이터 $x$에 대한 함수모델이 고정되어 있을 때, 특정 데이터가 나올 확률우도 (Likelihood) 모델 파라미터 $\theta$에 대한 함수데이터를 고정하고, 그 데이터가 얼마나 모델에 잘 맞는지 평가  .. 2025. 4. 8.
[DL] CNN 기반 모델 (LeNet/AlexNet/ZFNet/VGGNet/GoogLeNet/ResNet/ DenseNet/SENet/EfficientNet/ConvNeXt/MobileNet) 1. LeNet (1998)Yann LeCun이 제안한 최초의 CNN 모델손글씨 숫자 인식(MNIST) 문제 해결을 위해 개발합성곱(Convolution) + 풀링(Pooling) 구조 최초 도입구조:입력 → 합성곱 → 풀링 → 합성곱 → 풀링 → 완전연결층(FC) → 출력Filter size : 5x5stride : 1Pooling : 2x2 average poolingActivation function:대부분의 unit이 sigmoid를 사용.F6에서는 tanh를 사용.최종적인 output layer인 F7에서는 RBF (Euclidian Radia basis function unit)을 사용loss function : MSE성능:✅ MNIST 데이터셋에서 약 99% 정확도 달성2. AlexNet (.. 2025. 3. 21.
[AI 수학] 인공지능 수학 - 7. 확률변수와 확률분포 (베르누이, 포아송, 정규분포, 균등분포, 지수분포) 인공지능을 위한 기초수학 교재를 통해 공부한 내용을 서술하였습니다.확률변수, 확률분포 확률변수, Random variable 일정한 확률을 갖고 발생하는 사건에 수치가 부여되는 함수즉, 어떤 사건의 결과를 수학적으로 표현하기 위해 사용하는 변수 예를 들어, 동전 2개를 동시에 던지는 시행에서 뒷면이 나오는 동전의 개수를 X라 하면, X에 0, 1, 2를 할당할 수 있음. ➡️ 따라서 X는 확률 변수 X가 가질 수 있는 값의 범위가 이산적인지/연속적인지(셀 수 있는지/없는지)에 따라 이산확률변수와 연속확률변수로 분류 가능   확률분포, Probabilty distribution확률변수 X가 가지는 $x$에 확률 $P(X = x)$를 대응시키는 함수 어떤 값이 발생할 확률이 어떻게 퍼져 있는지를 나타내는 규.. 2025. 3. 20.
[AI 수학] 인공지능 수학 - 6. 기초 통계 인공지능을 위한 기초수학 교재를 통해 공부한 내용을 서술하였습니다.시행 같은 조건 하에서 몇 번이고 반복할 수 있는 결과가 우연에 의해서 정해지는 실험 또는 관찰 표본 공간 (Sample space)실험 또는 시행에 의하여 일어날 수 있는 모든 가능한 결과들의 집합사건 (Event) 시행의 결과로 일어난 것 표본 공간의 부분집합 확률 (Probability) 사건이 일어날 가능성을 수치로 표현한 것$P = \frac{어떤 일이 일어날 경우의 수}{모든 경우의 수}$ 순열 (Permutation) 서로 다른 물건들 중 몇개를 골라 순서를 주어 나열한 경우의 수서로 다른 n개로부터 k개를 순서대로 골라내는 경우의 수 ${}_nP_k = \frac{n!}{(n-k)!}$ 조합 (Combinataion)서로 다.. 2025. 3. 20.
[AI 수학] 인공지능 수학 - 5. 고유값과 고유 벡터, 고윳값 분해 인공지능을 위한 기초수학 교재를 통해 공부한 내용을 서술하였습니다.고윳값, 고유벡터, 고윳값 분해 📌 행렬의 선형 변환이란?더보기행렬 A는 벡터에 작용하는 선형 변환입니다.즉, 어떤 벡터 $v$에 행렬 A를 곱하면 새로운 벡터가 됩니다: $$Av$$ ➡️ 예를 들어, A가 다음과 같은 $2 \times 2$ 행렬이라고 해볼게요.$$ A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \\ \end{bmatrix}$$벡터 $\begin{bmatrix} x \\ y \end{bmatrix}$에 대해 행렬 A의 변환은: $$ Av = \begin{bmatrix} 2 & 1 \\ 1 & 2 \\ \end{bmatrix}\begin{bmatrix} x \\ y \end{bmatrix} = \begin.. 2025. 3. 17.
728x90

티스토리툴바