SPPnet

• toc {:toc}

Overview of SPPnet

SPPnet 은 기존 CNN(e.g. AlexNet) 의 이미지 입력을 224x224 와 같이 고정으로 설정해야 하는 단점을 해결하는 Spatial Pyramid Pooling(SPP) 방식을 제시했다. SPP 를 통해 입력의 크기가 어떻든 간에 고정 길이 벡터 표현을 생성할 수 있다.

• SPPnet 의 전체적인 구조는 다음과 같다.

1. 입력 이미지를 CNN 에 넣는다.
2. CNN 으로부터 추출된 특징맵에 Spatial Pyramid Pooling layer 를 적용한다.
3. Spatial Pyramid Pooling layer 를 통해 나온 고정 길이 벡터 표현을 fully-connected layers 의 입력으로 사용한다.

---

Problem

• 이전 CNN 구조의 경우 입력 크기가 224x224 로 입력 이미지의 비율과 크기가 제한되었다.
• 비율, 크기 제한은 이미지의 왜곡, 정보의 왜곡, 손실을 만들고 정확도에 영향을 미칠 수 있다.

CNN 구조에서 고정 길이 벡터가 필요한 부분은 fc layer 가 사용될 때이므로 SPPnet 에서는 conv layers 는 이미지 크기에 관계없이 사용하고, fc layer 이전에 SPP 를 사용하여 고정 길이 벡터를 입력으로 넣어주는 구조를 취한다.

---

Main Idea - Spatial Pyramid Pooling

Spartial Pyramid Pooling 의 방식은 특징을 함께 모으는 BoW(Bag of Words) 방식에서 착안했다고 한다.

Why is Conv layer fine?

• Conv layer 5 개, Fully-connnected layer 2 개로 구성된 CNN 을 가정하자.
• 위 그림은 (a) Pascal VOC 2007 이미지, (b) conv5 의 특징맵, (c) conv5 에 대한 이미지넷 이미지의 반응 정도를 표시한 그림이다.

(a), (b) 를 비교했을 때 물체의 특징, 형체를 나타낸 부분에 강하게 활성화가 되어 있는 부분을 알 수 있다. 때문에 conv layer 앞에서 미리 이미지를 조정할 필요없이 conv 를 거친 후 특징맵을 사용하더라도 원본 이미지를 사용한 것과 같은 효과를 보인다는 것을 입증한다.

Spatial Pyramid Pooling

SPP 는 spatial bins 을 설정한다. Bin 은 위 그림의 4x4, 2x2, 1x1 의 사각형 하나를 말한다. 위 그림에서는 bin 의 개수는 21 개이다.

이후, 해당 bin 의 개수에 맞는 pooling 개수가 산출되고 (e.g. 21bin 일 때 4x4, 2x2, 1x1 pooling) 각 pooling 에 대해 window size 와 stride 를 조정해 고정 크기의 pooling 출력을 생성한다. 즉, pooling 하여 나올 출력을 고정하고 이미지가 해당 크기로 출력되도록 설정한다. 이때의 pooling 은 MaxPooling 이다.

• Window_size = Ceil(feature map size / pooling size)
• Stride = Floor(feature map size / pooling size)
• ex) 13x13 feature map, 3x3 pooling 을 하는 경우
  • window size = ceil(13/3) = 5
  • stride = floor(13/3) = 4
  • 다음을 통해 3x3 pooling 결과가 나온다.
  • Window_size 와 Stride 는 adaptive 하게 설정된다.

이후 pooling 출력을 concat, flatten 시킴으로써 하나의 고정된 길이의 벡터 표현으로 설정할 수 있다.

SPP 를 통해 4x4, 2x2, 1x1 pooling 하는 경우를 표현한 그림이다. 다양한 크기의 추출을 통해 이미지의 다양한 공간적 정보를 얻을 수 있다. 큰 pooling 결과는 광범위한 정보, 작은 pooling 결과는 세부적인 이미지 정보를 갖는다.

---

Object Detection of SPPnet

• SPPnet 의 Object Detection 구조는 다음과 같다.

1. 입력 이미지를 CNN 에 넣는다.
2. CNN 으로부터 추출된 특징맵에 Selective Search 와 같은 Proposal Method 를 사용해 RoI 를 선정한다.
3. 각 RoI 에 대해 Spatial Pyramid Pooling layer 를 적용한다.
4. Fully-connected layers 를 통과하고 난 결과를 cache 로 저장한다.(SVMs 와 Bbox reg 가 연산을 공유하지 않기 때문)
5. SVM 을 통해 분류 작업을 한다.
6. Bbox reg 와 Non Maximum Suppression 을 통해서 bounding box 를 구한다.

Compare RCNN with SPPnet

• 장점

1. SPPnet 은 RCNN 의 2000 개의 RoI 에 대해 각각 CNN 을 적용함으로써 발생하는 비용을 하나의 이미지에 CNN 을 적용함으로써 감소시켰다
2. 입력 이미지의 크기, 비율에 영향을 받지 않는다.
3. Pyramid 방식을 통해 여러 공간적 특징을 추출해 FC layer 로 전달한다.

---

참고문헌

• Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
• https://deep-learning-study.tistory.com/445