BoostTrack++: using tracklet information to detect more objects in multiple object tracking

BoostTrack++ : using tracklet information to detect more objects in multiple object tracking

Stanojević, Vukašin, and Branimir Todorović. "BoostTrack++: using tracklet information to detect more objects in multiple object tracking." arXiv preprint arXiv:2408.13003 (2024).

2024년 8월23일 sumitted한 최근 논문인데, 현재 SOTA로 등록되어 있어서 해당 논문을 리뷰한다(아직 논문 accept는 아지만...)

너무 최근꺼라 리뷰한 글이 없는거 같아서, 오히려 좋아~ 

---

1. Introduction

MOT(multi object tracking)은 multi objects가 포함된 video가 주어지면,
각 object에 대해 trajectory를 생성하는 것이 목표.
구체적으로, 각 frame에서 every object of interest를 감지하고 ID를 할당하며,
비록, object가 occluded되더라도, ID가 변하면 안된다.

TBD (tacking by detection) MOT는 두 단계로 해결된다.
1. detection : detection bounding box 출력
2. matching : 현재 tracing 중인 object와 be associated(matched)
hungarian algorithm은 새롭게 감지된 bounding box와 기존 tracklet간의 matching에 사용되는 일반
이에서, cost matrix는 IoU, Mahalanobious Distance, appearance similarity와 같은 유사도 측정 결합하여 생성

cost matrix 생성전에, FP detection을 걸러야하며 일반적으로 threshold 기반으로 삭제
이러한 단순함은 일부 TP detection을 삭제하는 결과를 낳을 수 있다.

이를 완화하기 위해, ByteTrack은 confidence의 detection과 matching이 안된 tracklet을 두 번째 연관 단계에서 사용하는
 Two-Stage association을 채택했지만, ID Switching 초래 가능성이 있다.

BoostTrack은 일부 detection bounding box의 confidence score를 increse하는 stategies와
cobined된 one-stage association을 사용했다.
low confidence score를 가진 object를 discarding하기 전, bounding box의 confidence score를 increse한다.
또한, IoU가 높은 low score detection을 발견하기 위해, detection bounding box와 tracklet간의 IOU를 사용하여
confidence score를 증가시킨다.
이 방법은 MOT20 dataset에서 성능 향상을 했지만, 새로운 ID 및 ID Switching 증가하는 결과를 초래
본 논문에서는 이러한 DLO confidence boost의 아이디어를 확장한다.

해당 논문은 association performace를 향상했으며, 이에 따른 TP low confidence detection selection도 개선
Buffered IoU(BIoU) 개념을 확장하여 새로운 soft BIoU similarity measure 생성,
이를 Mahalanobious Distance 및 shape similarlity를 결합하여 TP low confidence를 탐지한다.

---

2. Preliminaries

2.1. Tracking by detection

MOT의 주요 기법 중 하나는 TBD 패러다임을 따르는 것이다.
TBD는 매 frame마다 two-stage로 MOT 문제를 해결한다. detection and association

1. detection단계에서는 detection model로 감지된 detected bounding box D와
이에 대응하는 confidence score c를 출력한다.
2. association 단계는 traking module(ex. kalman filter)를 사용하여
과거 state 기반으로 현재 tracked objects(tracklets)의 상태 T를 prediction

만약, kalman filter를 사용한다면, object state는 object의 위치, 크기, 속도를 포함
본 논문에서는 kalman filter를 사용

상태 x, state transition matrix F, observcation matrix H

본 논문에서는 Boosttrack[14]과 동일한 noise 사용

좌표(u, v), 높이(h), 폭/높이 비율(r) 및 속도(u̇, v̇, ḣ, ṙ)

detions D와 tracklets T를 matching하기 위해 Similariry Matrix사용해서 Cost Matrix 생성

S는 두 객체의 IoU기준으로 계산

matching과정에서 detection 결과의 threshold가 τ보다 큰 object만 선택, 
선택되지않은 object는 새로운 tracklet을 생성하기 위해 사용

이 과정으로 잘못된 detection을 filtering, 신뢰할 수 있는 object detection 바탕으로 trakcing accuracy 향상

2.2. Multiple-stage association methods

BoostTrack은 MOT에서 세 가지 문제를 해결한다.
1. improve association performance -> better similariry measure 찾기
2. TP detections 선택
3. 모든 multi-stage association techniques가 취약한 ID switching을 피하기 위한 one-stage association

1.을 위해, IoU에 세 가지 추가 항목 사용

​(추가 작성)