[ML] 미니 배치

미니 배치(mini-batch)

실제 사용하게 될 데이터는 훨씬 방대할 수 있음

데이터가 커질 수록 많은 계산량이 필요하고, 더 느려질 수 있음

 

그렇기 때문에 전체 데이터를 더 작은 단위로 나누어서 해당 단위로 학습하는 미니 배치 방법을 주로 사용

 

미니 배치만큼만 가져가서 미니 배치에 대한 대한 비용(cost)를 계산하고, 경사 하강법을 수행합니다. 그리고 다음 미니 배치를 가져가서 경사 하강법을 수행하고 마지막 미니 배치까지 이를 반복합니다. 이렇게 전체 데이터에 대한 학습이 1회 끝나면 1 에포크(Epoch)가 끝나게 됩니다.

 

 

 

 

전체 배치가 아닌 미니 배치 단위로 경사 하강법을 수행하는 미니 배치 경사 하강법은 경사 하강법을 할 때,

전체 데이터의 일부만을 보고 수행하므로 최적값으로 수렴하는 과정에서 값이 조금 헤매기도 하지만 훈련 속도가 빠름

 

보통 배치 크기는 2의 제곱수 사용

 

Iteration

 

전체 데이터가 2,000일 때 배치 크기를 200으로 한다면 이터레이션의 수는 총 10개

이는 한 번의 에포크 당 매개변수 업데이트가 10번 이루어짐을 의미

 

Reference

https://wikidocs.net/55580