파이토치
[파이토치] 선형 회귀 모델 구현하기
mhiiii
2024. 11. 7. 16:18
728x90
파이토치에서 이미 구현되어 제공되는 함수를 불러와 선형 회귀 모델을 구현하겠습니다.
nn.Linear()함수를 통해 선형 회귀 모델을 불러올 수 있습니다.
mse도 nn.functional.mse_loss()라는 함수로 구현되어 있습니다.
이 두가지를 불러오겠습니다.
import torch.nn as nn
model = nn.Linear(input_dim, output_dim)
import torch.nn.functional as F
cost = F.mse_loss(prediction, y_train)
이처럼 임포트하여 사용할 수 있습니다.
1. 단순 선형 회귀 구현하기
우리는 y = 2x를 가정하여 구현하겠습니다.
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(1)
# 데이터
x_train = torch.FloatTensor([[1], [2], [3]])
y_train = torch.FloatTensor([[2], [4], [6]])
모델 선언
# 모델을 선언 및 초기화. 단순 선형 회귀이므로 input_dim=1, output_dim=1.
model = nn.Linear(1,1)
print(list(model.parameters()))model.parameters()라는 함수를 사용하여 W와 b를 불러올 수 있습니다.
이는 랜덤 초기화 된 값입니다.
[Parameter containing:
tensor([[0.5153]], requires_grad=True), Parameter containing:
tensor([-0.4414], requires_grad=True)]
두 값 모두 학습 파라미터이기 때문에 requires_grad가 True로 되어있습니다.
옵티마이저 정의
# optimizer 설정. 경사 하강법 SGD를 사용하고 learning rate를 의미하는 lr은 0.01
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
학습
# 전체 훈련 데이터에 대해 경사 하강법을 2,000회 반복
nb_epochs = 2000
for epoch in range(nb_epochs+1):
# H(x) 계산
prediction = model(x_train)
# cost 계산
cost = F.mse_loss(prediction, y_train) # <== 파이토치에서 제공하는 평균 제곱 오차 함수
# cost로 H(x) 개선하는 부분
# gradient를 0으로 초기화
optimizer.zero_grad()
# 비용 함수를 미분하여 gradient 계산
cost.backward() # backward 연산
# W와 b를 업데이트
optimizer.step()
if epoch % 100 == 0:
# 100번마다 로그 출력
print('Epoch {:4d}/{} Cost: {:.6f}'.format(
epoch, nb_epochs, cost.item()
))
x에 임의의 값 4를 넣어 모델이 예측하는 y의 값을 확인해보겠습니다.
# 임의의 입력 4를 선언
new_var = torch.FloatTensor([[4.0]])
# 입력한 값 4에 대해서 예측값 y를 리턴받아서 pred_y에 저장
pred_y = model(new_var) # forward 연산
# y = 2x 이므로 입력이 4라면 y가 8에 가까운 값이 나와야 제대로 학습이 된 것
print("훈련 후 입력이 4일 때의 예측값 :", pred_y)훈련 후 입력이 4일 때의 예측값 : tensor([[7.9989]], grad_fn=<AddmmBackward>)
이제 학습 후의 W와 b의 값을 출력해보겠습니다.
print(list(model.parameters()))[Parameter containing:
tensor([[1.9994]], requires_grad=True), Parameter containing:
tensor([0.0014], requires_grad=True)]W의 값이 2에 가깝고, b의 값이 0에 가까운 것을 볼 수 있습니다.
2. 다중 선형 회귀 구현하기
$$H(x) = w_{1}x_{1} + w_{2}x_{2} + w_{3}x_{3} + b$$
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(1)
# 데이터
x_train = torch.FloatTensor([[73, 80, 75],
[93, 88, 93],
[89, 91, 90],
[96, 98, 100],
[73, 66, 70]])
y_train = torch.FloatTensor([[152], [185], [180], [196], [142]])
# 모델을 선언 및 초기화. 다중 선형 회귀이므로 input_dim=3, output_dim=1.
model = nn.Linear(3,1)
print(list(model.parameters()))[Parameter containing:
tensor([[ 0.2975, -0.2548, -0.1119]], requires_grad=True), Parameter containing:
tensor([0.2710], requires_grad=True)]
옵티마이저 정의
optimizer = torch.optim.SGD(model.parameters(), lr=1e-5)nb_epochs = 2000
for epoch in range(nb_epochs+1):
# H(x) 계산
prediction = model(x_train)
# model(x_train)은 model.forward(x_train)와 동일함.
# cost 계산
cost = F.mse_loss(prediction, y_train) # <== 파이토치에서 제공하는 평균 제곱 오차 함수
# cost로 H(x) 개선하는 부분
# gradient를 0으로 초기화
optimizer.zero_grad()
# 비용 함수를 미분하여 gradient 계산
cost.backward()
# W와 b를 업데이트
optimizer.step()
if epoch % 100 == 0:
# 100번마다 로그 출력
print('Epoch {:4d}/{} Cost: {:.6f}'.format(
epoch, nb_epochs, cost.item()
))
모델을 클래스로 구현하기
class LinearRegressionModel(nn.Module): # torch.nn.Module을 상속받는 파이썬 클래스
def __init__(self): #
super().__init__()
self.linear = nn.Linear(1, 1) # 단순 선형 회귀이므로 input_dim=1, output_dim=1.
def forward(self, x):
return self.linear(x)
class MultivariateLinearRegressionModel(nn.Module):
def __init__(self):
super().__init__()
self.linear = nn.Linear(3, 1) # 다중 선형 회귀이므로 input_dim=3, output_dim=1.
def forward(self, x):
return self.linear(x)
model = MultivariateLinearRegressionModel()클래스(class) 형태의 모델은 nn.Module 을 상속받습니다.
그리고 __init__()에서 모델의 구조와 동작을 정의하는 생성자를 정의합니다.
이는 파이썬에서 객체가 갖는 속성값을 초기화하는 역할로, 객체가 생성될 때 자동으로 호출됩니다.
foward() 함수는 모델이 학습데이터를 입력받아서 forward 연산을 진행시키는 함수입니다.
이 forward() 함수는 model 객체를 데이터와 함께 호출하면 자동으로 실행이됩니다.
728x90