Fast-RCNN

• toc {:toc}

Overview of R-CNN structure

---

Fast RCNN

Fast RCNN 은 RCNN 과 SPPnet 이 가지고 있는 문제들을 해결하고자 고안됐다. 각 구조를 살펴보고 발생할 문제를 체크한 후 Fast RCNN 에 대해 이해해보자.

RCNN

Structure of RCNN

1. 입력 이미지를 Selective Search 통해 RoIs 생성
2. RoI(Region of Interest) 각각에 대해 Crop, Resize(Wrapping)
3. CNN 통과하여 특징맵 생성
4. 생성한 특징맵을 cache 로 저장한다.
5. Classifiers(SVM) 을 통해 분류 작업을 한다.
6. Bounding-box Regressor(Bbox reg) 를 통해서 객체 탐지를 한다.

Problems of RCNN

1. CNN 입력을 위한 Warpping 과정에서 crop, resize 로 인해 정보 손실이 발생한다.

2. Training is a multi-stage pipeline RCNN 의 pipeline 은 a) Selective Search 를 통해서 RoI 를 추출, b) CNN 을 이용해 특징 추출, c) 각 작업에 따라 분류, 객체 탐지 과정 등 여러 과정이 따로 떨어져서 진행된다. 이런 multi-stage pipeline 은 End-to-End 학습을 할 수 없어 한 쪽의 훈련이 되더라도 다른 stage 가 학습되지 않는다는 문제점을 갖는다.

3. Training is expensive in space and time. 각각의 RoI 를 CNN 에 넣어 나온 특징맵을 전부 모아 SVM, Bbox reg 에 사용해야 하기 때문에 특징맵을 저장해둬야 한다. 이는 많은 저장 공간을 필요로 한다.

4. Object detection is slow. 각 테스트 이미지마다 RoI 를 뽑고, RoI 마다 CNN 에 통과시켜 발생하는 복잡도로 인해 파라미터가 많아지면서 공간적인 비용, 시간적인 비용이 상승하고 속도가 느리다는 문제점을 갖는다.

---

SPPnet

Strucutre of SPPnet

1. 입력 이미지를 CNN 에 넣는다.
2. CNN 으로부터 추출된 특징맵에 Selective Search 와 같은 Proposal Method 를 사용해 RoI 를 선정한다.
3. 각 RoI 에 대해 Spatial Pyramid Pooling layer 를 적용한다.
4. Fully-connected layers 를 통과하고 난 결과를 cache 로 저장한다.(SVMs 와 Bbox reg 가 연산을 공유하지 않기 때문)
5. SVM 을 통해 분류 작업을 한다.
6. Bbox reg 와 Non Maximum Suppression 을 통해서 bounding box 를 구한다.

Improvements of SPPnet over RCNN

• Spatial Pyramid Pooling(SPP) 방식을 고안한 SPPnet 은 RCNN 의 다음의 문제를 개선했다.

1. 각각의 RoI 에 CNN 을 적용하여 많은 비용이 발생하는 문제

• RCNN → Selective Search 로 추출한 RoI 각각에 CNN 을 적용한다. → 매우 큰 복잡도
• SPPnet → 전체 이미지를 CNN 에 넣어 추출한 특징맵에 Selective Search 적용한다. → 복잡도 감소

2. Warping(Crop, Resize) 으로 인해 정보의 손실이 발생하는 문제

• RCNN → Warping 을 사용해 FC layer 에 입력될 고정 길이 벡터를 만든다. → 정보의 손실, 정확도의 손실 발생
• SPPnet → Spatial Pyramid Pooling(SPP) 을 사용하여 warping 없이 고정 길이의 벡터를 만든다. → 정보 손실 없이, 다양한 위치 정보 담아 사용한다.

Problems of SPPnet

• RCNN 과 마찬가지로 a) CNN 이용해 특징 추출, b) Selective Search 로 RoI 추출, c) 각 작업에 따라 분류, 객체 탐지 과정과 같이 여러 pipeline 으로 이루어져 있다.
• SPPnet 또한 각 RoI 에 대해 SPP 와 FC layer 를 거친 이후의 특징을 저장해야 한다는 문제점을 갖는다.

---

Overall Structure of Fast RCNN

• Fast RCNN 은 RCNN 의 문제와 SPPnet 의 문제점을 동시에 해결하고자 고안됐다.

1. 전체 입력 이미지에 Selective Search 를 통해 RoI(이미지) 를 추출한다.
2. 전체 입력 이미지를 CNN 에 입력해 특징맵을 추출한다.
3. CNN 을 통과한 특징맵은 크기가 줄어든 형태 (e.g. 14x14) 이기 때문에 RoI 를 줄어든 크기의 특징맵의 위치에 맞게 projection 한다.
4. 이후 projection 한 RoI(특징맵) 에 RoI Pooling 을 적용하여 FC layer 의 입력으로 넣기 위한 고정 길이 벡터를 생성해 FC layers 를 통과한다.
5. SVM 대신 분류 작업에 softmax 를 사용하여 어떤 물체인지 분류한다.
6. Bbox reg 를 통해서 객체 탐지를 조정한다.

• Fast RCNN 은 CNN 으로 VGGNet 을 사용했다.
• FC layers 의 마지막 FC layer 하나를 FC layer 2 개로 분할하여여 첫 번째 FC layer 는 Softmax 를 통한 분류, 두 번째 FC layer 는 Bbox reg 를 통한 객체 탐지로 사용했다.
• 위 그림에서 연결된 것과 같이 Fast RCNN 은 softmax, bbox regressor 에 같은 feature vector 가 전달되고, 전체적인 구조가 하나의 stage 로 이어져 있다.

---

Main Ideas of Fast RCNN

Fast RCNN 이 제안한 아이디어에 대해 알아보자.

RoI Pooling

RoI Pooling 이 사용되는 부분은 CNN 을 통과한 특징맵에 RoI 에 대한 projection 이 적용된 상태이다. 즉, 입력되는 이미지 (e.g. 224x224) 크기의 RoI 의 위치를 특징맵 (e.g. 14x14) 에 일치하도록 연결시켜주는 것을 말한다. 이후 특징맵의 RoI 에 RoI Pooling 을 적용한다.

• 위 그림은 이미지가 VGG 를 통과해 RoI Pooling 까지 적용한 과정을 예를 들어 보여준다.

1. 이미지가 VGG 를 통과해 8x8 의 특징맵을 산출한다.
2. 원본 이미지에 Selective Search 를 통해 추출한 RoI 를 projection 하여 특징맵에 5x7 의 크기로 위치를 설정한다.
3. RoI Pooling 의 출력 크기에 맞도록 Grid 로 spliting 한다. 위 그림의 경우 2x2 RoI Pooling 인 상태이고, h 와 w 가 모두 홀수이기 때문에 비대칭적으로 나누어진 것처럼 보인다.
4. 해당 Grid 안에서 최댓값을 추출하는 MaxPooling 을 통해서 고정된 크기의 출력을 만든다.

• RoI Pooling 은 SPP(Spatial Pyramid Pooling) 의 특별한 경우이다.
• Grid 는 Projection_height / Pooling_height, Projection_width / Pooling_width 다음과 같이 설정해서 구할 수 있다.

Multi-task loss

• : K+1 개의 Class Score (K 개의 객체 + 배경), Softmax 에 의해 계산된다.
• : 정답 객체 클래스 (0 or 1)
• : 예측한 K 객체 클래스에 대한 bounding box 좌표 조정값
• : K 객체 클래스에 대한 bounding box 좌표값
• : 분류, bbox 손실 함수 사이의 가중치를 조절하는 hyperparameter
• : 인 경우 u = 1 아니면 u = 0
• : 분류 점수에 대한 log loss
• : Bounding box 좌표에 대한 Smooth L1 loss
• smooth L1 을 사용한 이유는 L1 loss 는 이상치에 덜 민감하고, L2 loss 는 너무 민감해 학습률 조정이 힘들기 때문에 L1 loss 의 강건함을 완화하는 방식으로 적용했다.

Mini-batch sampling

• Fine-tuning 시 각 SGD 배치는 N=2 이미지와 R=128 로 이미지 당 R/N 개의 RoI 를 샘플링한다.
• RoI 와 GT 의 IoU 가 0.5 이상인 경우 중 25% 의 RoI 를 positive, foreground object class 로 설정하고, 인 경우 중 75% 를 negative, background object class 로 설정한다.
• RCNN, SPPnet 에서는 샘플링을 어떻게 했는지는 잘 모르겠다.

Backpropagation through RoI Pooling Layers

[]

• : RoI Pooling Layer 에 입력되는 i 번째 activation input
• : r 번째 RoI 에 대한 j 번째 출력

(Backpropagation, Truncated SVD → 추후 정리 예정)

Contributions of Fast RCNN

1. RCNN, SPPnet 보다 더 높은 탐지 성능을 갖는다.
2. Multi-task loss 를 사용해 훈련을 single stage, End-to-End 로 진행한다.
3. 훈련을 통한 backpropagation 이 모든 네트워크 층에 도달하여 모든 층이 훈련된다.
4. 특징을 저장하기 위한 저장공간이 필요하지 않다.

Result

[]

• Fast RCNN 의 성능이 이전 다른 방식들보다 높은 성능을 보임을 확인할 수 있다.

---

참고문헌

• Fast R-CNN
• https://cseweb.ucsd.edu/classes/sp17/cse252C-a/CSE252C_20170426.pdf
• https://noru-jumping-in-the-mountains.tistory.com/14
• https://herbwood.tistory.com/8