728x90 경사하강법2 [ML] 미니 배치 미니 배치(mini-batch)실제 사용하게 될 데이터는 훨씬 방대할 수 있음데이터가 커질 수록 많은 계산량이 필요하고, 더 느려질 수 있음 그렇기 때문에 전체 데이터를 더 작은 단위로 나누어서 해당 단위로 학습하는 미니 배치 방법을 주로 사용 미니 배치만큼만 가져가서 미니 배치에 대한 대한 비용(cost)를 계산하고, 경사 하강법을 수행합니다. 그리고 다음 미니 배치를 가져가서 경사 하강법을 수행하고 마지막 미니 배치까지 이를 반복합니다. 이렇게 전체 데이터에 대한 학습이 1회 끝나면 1 에포크(Epoch)가 끝나게 됩니다. 전체 배치가 아닌 미니 배치 단위로 경사 하강법을 수행하는 미니 배치 경사 하강법은 경사 하강법을 할 때, 전체 데이터의 일부만을 보고 수행하므로 최적값으로 수렴하는 과정에서.. 2024. 11. 7. [ML] 선형 회귀와 자동 미분 선형 회귀선형 회귀란 학습 데이터와 가장 잘 맞는 하나의 직선을 찾는 일 이때 선형 회귀의 가설(직선의 방정식)은 아래와 같은 형식$$ y= Wx + b $$ 가설의 H를 따서 y 대신 다음과 같이 식을 표현$$ H(x) = Wx + b $$ 이때 x와 곱해지는 W를 가중치(Weight)라고 하며, b를 편향(bias)이라고 함 비용 함수비용 함수(cost function) = 손실 함수(loss function) = 오차 함수(error function) = 목적 함수(objective function) 수식적으로 단순히 '오차 = 실제값 - 예측값'으로 정의하면 오차값이 음수가 나오는 경우가 생김제대로 된 오차의 크기를 측정할 수 없으므로, 각 오차를 제곱해준 뒤에 전부 더함 $$ cost(W,.. 2024. 11. 7. 이전 1 다음 728x90
