풀링(pooling) 기법: Max, Min, Average

1.Pooling Layer(풀링층)

CNN의 구조 내에 자리잡고 있는 풀링(Pooling) 층은 신경망이 다루는 이미지의 크기를 줄이는 역할을 하면서도, 중요한 특징을 보존하는 기능을 합니다. 이미지에 나와 있는 것처럼, 풀링 레이어는 보통 여러 개의 합성곱+ReLU 레이어 뒤에 오며, 특징 추출기(Feature Extractor)의 한 부분을 구성합니다. 풀링 레이어는 학습 가능한 매개변수를 가지고 있지 않다는 점이 특징입니다. 즉, 풀링은 순전히 고정된 연산을 수행하며, 네트워크의 학습 과정에서 업데이트되지 않습니다. 합성곱 레이어가 이미지로부터 특징들을 감지해내면, 풀링 층은 이러한 특징들의 가장 강력한 신호만을 남기고 나머지는 버림으로써 데이터의 차원을 축소시킵니다.

 

1.1. Max Pooling

맥스 풀링(Max Pooling)은 특징 맵의 특정 영역에서 최대값을 선택하여 다음 레이어로 전달합니다. 예를 들어, 2x2 맥스 풀링을 적용하면 2x2 크기의 윈도우를 통해 슬라이딩하면서 각 윈도우의 최대 값을 선택합니다.
이 방식은 이미지 내에서 가장 두드러진 특징을 유지하고자 할 때 사용되며, 이미지의 작은 변화에 대해 강인한 특징 표현을 가능하게 합니다.

 

위 이미지에서 네 개의 다른 2x2 윈도우를 각각 처리하는 방식을 시각적으로 설명하고 있습니다.

 

첫 번째 윈도우 (왼쪽 상단)

• 원본 데이터: [2, 0, 1, 1]
• Max Pooling을 적용하면 이 윈도우에서 가장 큰 값은 '2'입니다.
• 결과 특징 맵의 해당 위치에 '2'가 표시됩니다.

두 번째 윈도우 (오른쪽 상단)

• 원본 데이터: [0, 2, 1, 이
• 이 윈도우의 최대값은 '2'이며, 결과 특징 맵에서도 '2'로 나타납니다.

세 번째 윈도우 (왼쪽 하단)

• 원본 데이터: [4, 2, 1, 1]
• 최대값 '4'는 이 윈도우에서 가장 두드러진 수치로, 결과 특징 맵에도 '4'로 표시됩니다.

네 번째 윈도우 (오른쪽 하단)

• 원본 데이터: [2, 1, 2, 3]
• '3'이 이 윈도우의 최대값으로, 결과 특징 맵에서도 '3'으로 표현됩니다.

이러한 방식으로 Max Pooling은 각 윈도우 내에서 가장 높은 값을 추출하여 새로운 특징 맵을 형성합니다. 이 과정을 통해 특징 맵의 크기는 줄어들지만(4x4→2x2), 가장 중요한 정보는 보존됩니다. 이 결과는 이미지에서 날카로운 특징, 예를 들어 가장자리와 같은 구조적 정보를 강조하는 데 매우 효과적입니다. 이로 인해 모델이 작은 이미지 변화에도 견딜 수 있으며, 실제 이미지 처리시 중요한 세부 정보를 잃지 않게 도와줍니다.

 

1.2. Min Pooling

최소 풀링(Min Pooling)은 각 윈도우 내에서 최소값을 선택하여 특징 맵을 생성하는 방법입니다. 이 방식은 주로 이미지의 어두운 부분을 강조하고 싶을 때 사용됩니다. 예를 들어, 이미지의 밝은 픽셀 보다 어두운 픽셀이 더 중요한 정보를 담고 있을 경우, 최소 풀링을 적용하여 그 정보를 보존할 수 있습니다. 이는 맥스 풀링과 반대로 작동하여, 이미지 내에서 가장 낮은 값들을 통해 특징을 추출하며, 결과적으로 더 어두운 요소를 강조하는 특징 맵을 제공합니다.

 

1.3. Average Pooling

Average Pooling은 윈도우 내의 모든 값의 평균을 계산하여 특징 맵을 생성합니다.

 

위 이미지에서 네 개의 다른 2x2 윈도우를 각각 처리하는 방식을 시각적으로 설명하고 있습니다.

 

첫 번째 윈도우 (왼쪽 상단)

• 원본 데이터: [0, 0, 1, 1]
• 평균값 계산: (\frac{0+0+1+1}{4} = 0.5)
• 결과 특징 맵의 해당 위치에 0.5가 표시됩니다.

두 번째 윈도우 (오른쪽 상단)

• 원본 데이터: [2, 1, 0, 이
• 평균값 계산: (\frac{2+1+0+0}{4} = 0.75)
• 결과 특징 맵에서 0.75로 나타납니다.

세 번째 윈도우 (왼쪽 하단)

• 원본 데이터: [4, 2, 1, 1]
• 평균값 계산: (\frac{4+2+1+1}{4} = 2.0)
• 결과 특징 맵에 2.0이 표시됩니다.

네 번째 윈도우 (오른쪽 하단)

• 원본 데이터: [2, 3, 0, 1]
• 평균값 계산: (\frac{2+3+0+ 1}{4} = 1.5)
• 결과 특징 맵에서 1.5로 표현됩니다.

이러한 방식으로 Average Pooling은 각 윈도우 내에서 전체 값들 의 평균을 취함으로써 특징 맵의 크기를 줄이면서도 부드러운 특징 정보를 보존합니다. 이 과정은 특히 텍스처와 같은 부드러운 이미지 특성을 다룰 때 유용하며, 전반적인 특성의 평균적인 정보를 효과적으로 전달할 수 있습니다. 이는 Max Pooling과 비교했을 때 덜 두드러진 특징을 부각시키며, 부드러운 이미지 정보의 표현에 적합합니다.

---

2. 이미지 처리에서 풀링 방식의 선택과 효과

 

2.1. 최대 풀링(Max Pooling)

최대 풀링은 이미지의 가장 뚜렷한 특징을 강조하고, 밝은 부분을 잘 보존합니다. 그 결과, 이미지의 작은 변화에도 강인하게 반응하며, 주로 밝은 픽셀이 중요한 정보를 담고 있는 경우에 유용합니다. 예를 들어, 숫자 인식과 같은 작업에서 선호되며, 밝은 객체 대 어두운 배경의 대비가 큰 이미지에 적합합니다.

2.2. 평균 풀링(Average Pooling)

평균 풀링은 이미지를 부드럽게 만들고, 덜 뚜렷한 특징을 추출하는데 도움을 줍니다. 섬세한 텍스처나 일반적인 패턴의 정보를 포착하는 데 효과적이며, 선명한 경계나 세부사항이 덜 중요할 때 사용됩니다.

2.3. 최소 풀링(Min Pooling)

최소 풀링은 어두운 특징을 강조하는 데 유용합니다. 이는 어두운 객체의 윤곽을 더 뚜렷하게 할 수 있으며, 밝은 배경에 어두운 객체가 있는 이미지에서 유용하게 사용 됩니다. 일반적으로 사용 빈도는 낮지만, 특정 조건 하에서 매우 효과적일 수 있습니다.

 

2.4. 선택과 효과

위 이미지는 세 가지 풀링 방식을 적용한 결과를 보여줍니다. 각 방식은 이미지의 다른 측면을 강조하므로, 처리하고자 하는 이미지의 특성과 목적에 따라 적절한 풀링 방식을 선택해야 합니다. 예를 들어, 이미지에서 밝은 부분이 중요한 정보를 담고 있다면 최대 풀링을, 전반적인 텍스처와 부드러운 특징이 중요하다면 평균 풀링을, 어두운 부분의 윤곽을 강조하고자 한다면 최소 풀링을 선택하는 것이 적절합니다.

이처럼 풀링은 이미지의 크기를 줄이면서도 중요한 정보를 유지하는데 큰 역할을 하며, 효과적인 이미지 처리와 신경망의 성능 향상에 기여합니다. 각 풀링 방식의 선택은 데이터의 특성과 처리 목표에 따라 달라져야 합니다.

---

3. Pooling의 특징

풀링의 중요한 이점 중 하나는 위치 불변성(Location Invariance)을 제공한다는 점 입니다. Max Pooling과 Average Pooling은 특정 윈도우 내에서 최대값 혹은 평균 값을 취함으로써 윈도우에 걸쳐 일정한 특징을 유지합니다. 이 과정에서 위치의 정확성보다는 특징의 존재를 중시하기 때문에, 특징이 윈도우 내에서 약간 이동했다 하더라도 풀링된 특징 맵에서 여전히 감지될 수 있습니다.
풀링을 통해 이미지의 해상도가 낮아짐에 따라, 정확한 위치 정보는 손실됩니다. 하지만 이는 동시에 모델이 특징의 정확한 위치보다는 패턴의 존재를 학습하도록 유도 합니다.
위치 불변성은 모델이 객체의 변형에 강인하게 만들어 줍니다. 예를 들어, 고양이가 이미지 내의 다른 위치에 있거나 다른 방향을 보고 있어도, CNN은 여전히 '고양이'라고 인식할 수 있습니다.

더 나아가, 풀링은 신경망의 계산 부하를 줄여줍니다. 데이터의 크기가 작아지면 연산에 필요한 자원이 줄어들어 더 빠른 훈련과 효율적인 인퍼런스를 가능하게 합니 다. 이는 큰 이미지 데이터셋을 다룰 때 특히 중요한 이점이 됩니다.

풀링은 또한 과적합을 방지하는 데 도움을 줍니다. 각 특징의 정확한 위치보다는 존재 여부에 더 중점을 두기 때문에, 모델이 훈련 데이터의 노이즈에 덜 민감해질 수 있 습니다.

이처럼 풀링층은 CNN에서 합성곱 레이어와 함께 동작하며, 더 깊고 복잡한 신경망 아키텍처를 구성할 수 있는 토대를 제공합니다. 특징 추출기의 마지막 단계로서, 풀링은 강력한 이미지 특징들을 공간적으로 압축하여 분류기(Classifier) 층으로 전달하기에 앞서 데이터를 최적화하는 중요한 과정입니다.