[Week3] 입체형 이미지에서의 합성곱

https://youtu.be/KTB_OFoAQcc

 

자 이제 2D 이미지의 합성곱에서 3D 이미지의 합성곱으로 넘어가보자.

 

이 때 3D 이미지란 우리가 생각하는 진짜 그...입체 이미지가 아니라 R,G,B와 같은 여러 채널이 있는 이미지를 의미한다.  

 

 

 

위 이미지와 같은 6 x 6 x 3(R,G,B채널) 사이즈의 이미지가 있다고 했을 때 3 x 3 x 3 사이즈의 필터와 합성곱 연산을 한다고 해보자.

 

중요한 점은 이미지와 필터의 채널의 수가 같아야 한다.

 

이 연산을 하기 위해서 먼저 필터를 이미지의 맨 왼쪽 맨 위 에 두고 3x3x3=27개의 각각의 숫자들을 빨강,초록,파랑 각 채널의 9개에 값에 곱해주고 주면 4 x 4  결과 이미지의 맨 왼쪽 맨 위 값을 구할 수 있다. 이런식으로 계산을 완료하면 결과 이미지를 완성할 수 있다.

 

그리고 이런 것도 가능하다. 만약 빨간색 세로 검출선만 구하고 싶다고 할 때, 빨간색 채널의 필터값은 1,0,-1,1,0,-1,1,0,-1으로 나머지 두 채널은 모두 0으로 채운 후 계산하면 된다. 다른 채널의 경우도 똑같다.

 

이런 식으로 단 한개의 채널만 보는 것도 가능하다는 것을 알아두면 되겠다.

 

---

 

이제 마지막으로...! 합성곱 신경망에서 중요한 개념을 알아보도록 하겠다.

 

세로 윤곽선만 찾으려는 것이 아니라 세로 가로 윤곽선 모두거나 45도, 혹은 70도 기울어진 윤곽선 모두를 구한다고 할 때는 어떻게 해야 할까?

 

6 x 6 x 3 이미지와 3 x 3 x 3 사이즈의 세로 검출기 필터를 합성곱 연산을 하면 4 x 4 사이즈의 세로 윤곽선 결과 이미지가 나오고, 3 x 3 x 3 사이즈의 가로 검출기 필터 합성곱 연산을 하면 또 4 x 4 사이즈의 가로 윤곽선 결과 이미지가 나온다.

 

그리고 이 두 결과 이미지를 합치면 4 x 4 x 2 사이즈의 이미지가 된다.

 

일반화 해 보자면 N x N x Nc 이미지와 F x F x Nc 필터를 합성곱 연산하면 N-F+1 x N-F-1 x Nc의 결과 이미지가 나오며, 이 때 stride = 1이고 padding=0을 가정한다.

 

결론적으로 입체 이미지에서 합성곱 연산은 매우 효과적이다. 채널을 나눠서 윤곽선을 검출할 수 있을 뿐 아니라, 가로 세로, 혹은 수백개의 특성 수만큼의 채널을 가지게 할 수 있기 때문이다. (그리고 이 때 채널은 3D 입체 이미지의 깊이라고 불리기도 한다.)