Neck

본 글은 네이버 부스트 캠프 AI Tech 기간동안

개인적으로 배운 내용들을 주단위로 정리한 글입니다

 

본 글의 내용은 새롭게 알게 된 내용을 중심으로 정리하였고

복습 중요도를 선정해서 정리하였습니다

 

 

✅ Week 10

1. Neck

   1.1 FPN

   1.2 PANet

 

2. After Neck

   2.1 DetectoRS

   2.2 BiFPN

   2.3 NASFPN

   2.4 AugFPN

---

Intro.

일반적인 2 Stage Detectors

우리는 지난 시간에 Object Detection Model 중 2 Stage Detectors들에 대해서 알아 보았다

위의 사진에서 확인할 수 있듯이 2 Stage 모델들은 Backbone CNN의 마지막 층에서 나온 feature map을 갖고

RPN을 통해서 Region을 Proposal하고 이를 기반을 Prediction을 진행한다

 

하지만 이러한 과정에는 의문이 발생한다

바로 Backbone의 중간층에 있는 feature map을 활용할 수 있지 않을까? 이다

 

즉, 굳이 Backbone의 마지막 층만을 활용하는 것이 아니라

Backbone에서 만들어지는 중간중간의 feature map을 가져와서 추가로 활용한다면

모델의 성능을 향상될 수 있을 것이라는 가정을 할 수 있다

 

이러한 아이디어에서 만들어 진것이 Neck이다

 

Neck

사진에서 확인 할 수 있듯이 Backbone 중간 층의 feature map을 가져와서 다시 upsampling을 하면서 서로의 feature map을 섞어 주고 이들을 활용해서 RPN에서 Region을 추출한다 

 

그렇다면 Neck의 효능은 무엇일까? 즉, 왜 성능이 올라가는 것일까?

 

바로 다양한 크기의 객체를 잘 탐지할 수 있기 때문이다

쉽게 말해서 Backbone의 Low-level feature map의 경우 - 낮은 층 -> 선, 점, 기울기 등 작은 객체를 잘 표현하고

Backbone의 High-level feature map의 경우 semantic한 정보와 큰 객체를 잘표현 할 수 있게 된다

즉, 이 모두를 활용할 수 있게 neck이 도와주기 때문에 다양한 크기의 객체를 잘 탐지할 수 있게 되고

성능이 향상되는 것이다

 

그렇다면 여기서 의문이 살짝 생길 수 있다

 

그냥 Backbone의 중간 중간 feature map을 굳이 Neck을 쓰지 않고 바로 여러 RPN으로 수행하면 되지 않을까?

하지만 이러한 방법에는 단점이 있다

바로 앞에서 설명했듯이 Low - level의 경우 semantic 정보가 적기 때문에 오히려 성능이 저하될 수 있다

따라서 상위, 하위 level의 feature map을 섞어 줌으로 여러 객체를 뽑을 수 있는 것이다

 

그렇다면 이제부터 본격적으로 Neck의 모델들을 살펴보자

 

---

1. Neck

1.1 Feature Pyramid Network - FPN

FPN 논문(Feature Pyramid Networks for Object Detection) 리뷰

FPN은 Low-level에 High-level의 정보를 전달 해주기 위해서 

Top-down pathway을 추가해주었다

 

즉, 기존 CNN에서 feature map을 추출하는 Bottom-up pathway와 Top-down 방식을 같이 활용해주어서 feature map을 섞어주는 것이다

 

그렇다면 어떻게 High와 low의 faeture map을 섞어 줄 수 있을까?

Bottom up에서 나온 feature map과 Top down에서 나온 feature map의 shape가 다르기 때문에

 lateral connections을 활용해 준다

 

즉, Bottom-up의 경우 위로 갈 수록 feature map의 w,h는 2배씩 작아지고 c는 2배씩 증가한다

반면에 Top-down의 경우 feature map의 w,h는 합쳐질 Bottom-up featuremap에 비해서

w,h가 2배 적은 상태이다

 

따라서 아래 사진에서 확인할 수 있듯이 두개의 feature map을 맞춰 주기 위해서

Top-down은 upsampling을 진행하여서 w,h를 맞춰주고 - 논문에서는 Nearest Neighbor Upsampling을 사용했다

Bottom-up은 1x1 conv를 진행해서 차원수를 맞춰준다음

이를 Element-wise addition을 진행하여서 하나의 feature map을 만들어준 3x3 conv을 통과해 RPN에 들어가 featuremap을 만들어준

 

FPN의 경우 여러 stage에서 Region을 추출하기 때문에 - P

어느 stage에서 Region이 왔는지 Mapping이 필요하다

직관적으로 봤을 때 RoI의 scale이 작아질수록 낮은 pyramid level,

즉 해상도가 높은 feature map에 할당하고 있음을 알 수 있다

 

---

1.2 PANet

앞에서 살펴본 FPN에서 문제점이 하나 존재한다

바로 Backbone으로 활용하는 CNN의 모델을 보면 Network의 길이가 길다는 문제점이 있다

즉, 이러한 문제점으로 인해서 Low-level의 feature map의 정보가 high-level의 feature map에

제대로 전달 되지 않을 수 있다

 

이러한 문제점을 해결한 모델으 PANet 이다

 

아이디어는 간단하다

Bottom - up을 한번더 수행해주면된다

 

위의 사진에서 확인할 수 있듯이 backbone network의 pooling이나 다양한 연산을 제외한

bottom-up을 추가해줌으로써 다시한번 low 정보를 high에 잘 전달 할 수 있게되는 것이다

 

그리고 이렇게 나온 feature map을 활용해서 RoI를 Pooling하고 예측을 수행해준다

하지만 여기서도 문제점이 하나있는데

Stage의 경계에 위치한 RoI의 경우 

애매한 상황에 놓이게 된다

즉, 별차이 없는 RoI이지만 이를 투영하는 Feature map의 크기는 달라질 수 있게 된다

 

따라서 특정 stage의 feature map에만 투영하는 것이 아니라

모든 stage의 feature map에 투영을 해서 RoI pooling을 수행해주는 Adaptive Feature Pooling을  제안하였다

즉, 모든 feature map에서 RoI projection을 수행해주는 것이 핵심이다

---

2. After Neck

FPN과 PANet 이후 Neck에 대한 연구들이 증가하였다

지금 부터는 FPN이후의 추가적인 Neck의 구조를 살펴보자

 

 

2.1 DetectoRS

DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution

 

핵심 구조

RFP  : Top-down의 Feature map의 결과를 Backbone에 다시 전달해서 backbone을 다시학습하고 이런식으로 반복하는 방법

+) ASPP : FPN의 결과를 다시 backbone에 concat해주는 변환 연산

수용 범위를 늘려주기 위해서

ASPP(Atrous Spatial Pyramid Pooling)

+) Fusion

 

---

2.2 BiFPN

EfficientDet에서 제안한 방법

BiFPN (Bi-directional Feature Pyramid Network) 구조와 코드

모델 구조를 단순화 하여서 FLOPs를 줄이는 방법

그리고 각 feature map을 더할때 단순합 보다는 

weight sum을 하는 방법을 제안

---

2.3 NASFPN

nas를 활용해서 FPN의 구조를 탐색

NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection

하지만 COCO dataset 기준으로만 탐색해서

다른 Dataset에 맞지 않을 수 있어

 

---

 

2.4 AugFPN

AugFPN: Improving Multi-scale Feature Learning for Object Detection

Residual Feature을 만들어서 M6를 만들고 이를 top-down에 적용

 Adaptive Spatial Fusion을 활용해서 fusion을 해준다