PyTorch 7 : 사용자 정의 연산

1. 사용자 정의 연산

1) 사용자 정의 연산

사용자 정의 연산이란, 기존의 딥러닝 프레임워크 내에 존재하지 않는, 특정한 연산을 사용자가 직접 정의하여 구현하는 것을 의미합니다.

예를 들어, PyTorch와 같은 딥러닝 라이브러리는 다양한 수학적 연산과 레이어, 활성화 함수를 내장하고 있지만, 때로는 연구자가 개발자 입장에서 특정 작업을 위해 기존에 제공되지 않는 특수한 연산을 필요로 할 수 있습니다.

이러한 경우, 사용자는 자신만의 연산을 정의하고 구현할 수 있습니다.

2) 언제 사용하는가?

• 신규 알고리즘 또는 레이어 개발
• 성능 최적화, 기존 연산의 수정
• 특수한 수학적 연산, 도메인 특화 연산
• 연구 및 실험

3) 사용자 정의 연산의 종류

• 함수형 연산: 함수형 연산은 단순한 함수로 정의되며, 입력 데이터에 직접 적용됩니다.
• 클래스형 연산: 클래스형 연산은 클래스 내부 연산을 이용해 수행하며, 내부 파라미터를 저장합니다.

함수형 연산은 간단하고 상태를 유지할 필요가 없는 경우에 적합하며, 클래스형 연산은 보다 복잡한 상태를 유지해야 하거나 사용자 정의 그래디언트가 필요한 경우에 사용됩니다.

선택은 연산의 복잡성, 반복 가능성, 그리고 상태 유지의 필요성에 따라 달라집니다.

---

2. 함수형 사용자 정의 연산

1) 함수형 사용자 정의 연산

함수형 사용자 정의 연산을 구현할 때는 일반적으로 순전파 과정만 정의하며, 이는 주어진 입력 텐서에 대해 어떤 계산을 수행해야 하는지로 명시됩니다.

이 연산은 입력 데이터에 직접 적용되며, 계산된 결과를 반환합니다.

함수형 연산은 대개 단순하고, 특정 수학적 변환을 수행하거나, 데이터에 대한 요소별 연산 등을 구현하는 데 사용됩니다.

2) 특징

• 상태 비저장(Stateless): 함수형 연산은 내부 상태를 유지하지 않습니다. 즉, 연산은 주어진 입력에만 의존하며, 항상 동일한 입력에 대해 동일한 결과를 반환합니다.
• 재사용성(Reusability): 상태를 유지하지 않기 때문에, 같은 함수를 다양한 입력 데이터에 재사용할 수 있습니다.
• 단순성(Simplicity): 구현이 상대적으로 단순하며, 복잡한 상태 관리로 인한 설계가 필요 없습니다.
• 효율성(Efficiency): 간단한 연산은 일반적으로 빠르고 최적의 성능으로 실행됩니다. 하지만 복잡한 논리나 상태를 유지해야 하는 경우에는 클래스형 사용자 정의 연산이 더 적절할 수 있습니다.

3) 코드 예시

import torch

def custom_layer(x, weight, bias):
    # 행렬 곱과 바이어스 추가를 통한 사용자 정의 연산
    x = torch.matmul(weight, x) + bias
    return x

# 예제 입력 데이터
input_tensor = torch.randn(10, 1)

# 가중치와 바이어스 초기화
weight = torch.randn(2, 10)
bias = torch.randn(2)

# 함수형 레이어 사용
output = custom_layer(input_tensor, weight, bias)
print(output)

tensor([[ 0.2356, -0.1698],
        [-1.2356, -1.6410]])

 

 

def custom_sine_layer(x, weight, bias):
    # 가중치와 입력의 행렬 곱
    x = torch.matmul(x, weight.t())
    # Sine 함수 적용
    x = torch.sin(x)
    # 스칼라 바이어스 추가
    x = x + bias
    return x

# 예제 입력 데이터
input_tensor = torch.randn(1, 10)
# 가중치와 바이어스 초기화
weight = torch.randn(2, 10)
bias = torch.randn(1)

# 함수형 레이어 사용
output = custom_sine_layer(input_tensor, weight, bias)
output

tensor([[-1.2364, -0.8125]])

---

3. 클래스형 사용자 정의 연산

1) 클래스형 사용자 정의 연산

PyTorch에서 클래스형 사용자 정의 연산은 torch.nn.Module을 상속받아 구현되며, 사용자가 원하는 연산을 수행하는 새로운 레이어를 사용자가 직접 만들 수 있게 해줍니다.

이러한 사용자 정의 모듈은 PyTorch의 다른 모듈과 마찬가지로 GPU 가속, 자동 미분, 모델 저장 및 로딩 등 PyTorch의 핵심 기능을 모두 사용할 수 있습니다.

__init__ 메소드에서는 레이어의 파라미터를 초기화하고, forward 메소드에서는 실제 연산을 정의합니다.

만약 backward 연산을 자동미분 그대로 사용하지 않고 다시 정의해 주려면, torch.autograd.Function을 상속받아 레이어를 정의하면 됩니다.

 

2) 코드 예시

import torch.nn as nn

class CustomLinearLayer(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(CustomLinearLayer, self).__init__()
        # 가중치의 차원을 [output_dim, input_dim]으로 수정합니다.
        self.weight = nn.Parameter(torch.randn(output_dim, input_dim))
        self.bias = nn.Parameter(torch.randn(output_dim))
        
    def forward(self, x):
        # 입력 x와 가중치의 전치를 곱한 다음 편향을 더합니다.
        # 이 때, 가중치의 전치는 self.weight.t()를 사용하여 얻습니다.
        y = torch.matmul(x, self.weight.t()) + self.bias
        return y

 

# 레이어 사용 예시
input_dim = 5
output_dim = 3

# 사용자 정의 레이어 인스턴스 생성
custom_layer = CustomLinearLayer(input_dim, output_dim)

# 입력 텐서 생성
x = torch.randn(2, input_dim) # 배치 사이즈 2

# 레이어를 통과한 결과
y = custom_layer(x)

print(y)  # 결과 출력

tensor([[ 0.7996,  2.5378,  1.3584],
        [ 1.3685, -0.1116,  2.1350]], grad_fn=<AddBackward0>)

 

CustomLinearLayer를 이용해 딥러닝 모델을 정의해 보겠습니다.

• 첫 번째 은닉층: CustomLinearLayer, 입력 크기 20, 출력 크기 50
• 두 번째 은닉층: CustomLinearLayer, 입력 크기 50, 출력 크기 30
• 출력층: CustomLinearLayer, 입력 크기 30, 출력 크기 3
• 각 은닉층 후에는 ReLU 활성화 함수를 적용해줍니다.

import torch.nn.functional as F

class CustomMLP(nn.Module):
    def __init__(self):
        super(CustomMLP, self).__init__()
        self.fc1 = CustomLinearLayer(20, 50)
        self.fc2 = CustomLinearLayer(50, 30)
        self.fc3 = CustomLinearLayer(30, 3)
        
    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 모델 초기화
model = CustomMLP()

# 배치 크기 5, 입력 크기 20인 임의의 입력 데이터
x = torch.randn(5, 20)

# 모델을 통과하여 예측 수행
output = model(x)

print("모델의 예측 출력:\n", output)
print("출력 크기:", output.size())

모델의 예측 출력:
 tensor([[ 106.5831,   19.7228,  -88.7796],
        [  79.7537,  -37.7358,  -17.2315],
        [ 105.1078,  -18.6147,  -82.0966],
        [ 230.1706,  -84.8243, -149.1584],
        [ 147.8633,  -83.6482,  -56.3886]], grad_fn=<AddBackward0>)
출력 크기: torch.Size([5, 3])