Cv_correlation_convolution

컴퓨터 비전에서 Correlation과 Convolution은 모두 이미지와 필터(또는 커널) 사이의 연산을 수행하는 방법이지만, 그 처리 방식에 차이가 있습니다.

Correlation (상관 연산):

• 필터를 이미지 위로 슬라이딩하면서 각 위치에서 이미지의 작은 영역과 필터의 원소별 곱셈의 합을 계산합니다.
• 이때 필터를 반전시키지 않고 그대로 사용합니다.

Convolution (합성곱 연산):

• 기본적으로 Correlation과 비슷하게 슬라이딩하면서 곱셈과 덧셈을 수행하지만, 먼저 필터를 좌우 및 상하로 반전한 후 연산을 진행합니다.
• 이러한 반전은 수학적으로 convolution의 정의에 따른 것으로, 선형 시불변 시스템(LTI system)에서 중요한 역할을 합니다.

실제 컴퓨터 비전 애플리케이션에서는 두 연산의 결과가 매우 유사하게 나타나는 경우도 많습니다. 예를 들어, 많은 딥러닝 프레임워크에서는 수학적으로는 convolution을 구현하면서도 내부적으로 반전 과정을 생략해 Correlation과 동일하게 동작하기도 합니다.

이러한 차이점을 이해하면, 알고리즘을 구현할 때 어떤 연산을 사용하는지, 그리고 그 결과가 이론적으로 어떤 의미를 가지는지 파악하는 데 도움이 됩니다.

컴퓨터 비전에서 Correlation(상관 함수, 상관 연산) 과 Convolution(컨볼루션, 합성곱 연산) 은 모두 필터(커널)를 이용하여 이미지를 변환하는 연산이지만, 몇 가지 중요한 차이점이 있습니다.

1. Correlation (상관 연산)

Correlation은 입력 이미지에 필터(커널)를 적용하여 특정 패턴을 감지하거나 특징을 강조하는 연산입니다. 주어진 필터(커널)를 이미지 위에서 슬라이딩하면서, 각 위치에서 커널과 해당 이미지 패치 간의 요소별 곱(element-wise multiplication) 후 합(sum)을 계산합니다.

Correlation 연산 공식 \(f(i, j) = \sum_{m} \sum_{n} I(i+m, j+n) \cdot K(m, n)\)

즉, 커널을 그대로 적용하여 연산이 수행됩니다.

예제 : 예를 들어, 아래와 같은 3×3 필터가 있다고 가정하면, \(​K = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{bmatrix}\)

이 필터를 원본 이미지에 적용하면 세로 방향의 에지를 감지하는 효과가 나타납니다.

2. Convolution (합성곱 연산)

Convolution(합성곱) 은 Correlation과 매우 유사하지만, 커널을 180도 회전(반전) 한 후 적용하는 차이가 있습니다. 즉, 커널을 뒤집은 상태에서 이미지와 연산을 수행합니다.

Convolution 연산 공식 \(f(i, j) = \sum_{m} \sum_{n} I(i+m, j+n) \cdot K(-m, -n)\)

즉, Correlation 연산과 거의 동일하지만, 커널이 좌우 및 상하로 반전(180도 회전)된 상태에서 적용됩니다.

예제 Correlation과 동일한 필터를 Convolution 연산에 적용할 경우, 먼저 커널을 180도 회전하여 적용합니다.

기존 커널: \(​K = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{bmatrix}\) ​

180도 회전하면: \(​K' = \begin{bmatrix} -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \end{bmatrix}\)

이렇게 변환된 커널을 사용하여 Convolution을 수행하면 결과가 Correlation과 다를 수 있습니다.

3. Correlation과 Convolution의 주요 차이점

차이점을 표로 정리하면 아래와 같습니다.

차이점	Correlation (상관 연산)	Convolution (합성곱 연산)
커널 변환	변환 없음 (원래 커널 사용)	180도 회전 후 적용
주로 사용되는 곳	이미지 처리 (엣지 검출, 블러)	CNN(합성곱 신경망), 신호 처리
연산 방식	커널을 그대로 입력 이미지에 적용	커널을 반전 후 적용
특징	패턴 매칭과 유사	신경망에서 학습에 최적화

4. 컴퓨터 비전에서의 활용

Correlation의 활용 예시

템플릿 매칭(Template Matching)

• 이미지에서 특정 패턴을 찾을 때 사용
• OpenCV의 cv2.matchTemplate() 함수는 Correlation을 기반으로 동작

엣지 검출(Edge Detection)

• Prewitt, Sobel 필터는 Correlation 방식으로 동작 가능

Convolution의 활용 예시

CNN(Convolutional Neural Networks)

• 딥러닝에서 특징 추출을 위해 합성곱 연산을 수행
• 학습 가능한 가중치를 가진 필터를 사용하여 이미지의 중요한 특징을 자동으로 학습

고전적 이미지 필터링

• Gaussian Blur, Sharpening 필터 등은 Convolution을 통해 적용 가능

5. CNN에서 Convolution을 사용하는 이유

딥러닝에서는 Convolution 연산을 사용해야 하는 이유가 있습니다.

수학적 성질 신호 처리 관점에서, Convolution은 주파수 영역에서 곱셈 연산(컨볼루션 정리)을 통해 더욱 강력한 특징 추출을 가능하게 합니다.

연산의 대칭성 유지 학습 과정에서 필터를 최적화할 때, Convolution 연산을 사용하면 더 일관된 특징을 학습할 수 있습니다.

이론적인 이유 (푸리에 변환) Convolution은 Fourier Transform에서 곱셈 연산으로 변환되므로, 신호 처리에서 더욱 자연스럽게 동작합니다.

6. 결론

Correlation은 원래의 필터를 그대로 사용하여 이미지와 연산을 수행하는 방식이며, 템플릿 매칭과 같은 패턴 인식에 유리함.

Convolution은 필터를 180도 회전하여 연산을 수행하며, 딥러닝의 CNN에서 특징 추출을 위한 기본 연산으로 사용됨.

딥러닝에서는 Convolution을 사용하는 것이 일반적이며, 전통적인 컴퓨터 비전에서는 Correlation이 더 자주 사용됨.

즉, Correlation과 Convolution은 거의 유사하지만, CNN과 같은 딥러닝 모델에서는 반드시 Convolution을 적용해야 하며, 템플릿 매칭 같은 패턴 탐색에서는 Correlation이 적합합니다.