석사 학위 논문 리뷰

석사 학위 논문

: 골프 스윙에서의 모션기반 정밀한 시퀀스 감지에 관한 연구 
: A study on Motion-based Precise Seqeunce Detection in Golf Swing

Golf Sequence란?

왜 Sequence 감지가 중요한가

1. 기존의 분석 방식은 영상을 직접 frame 마다 넘겨가며 sequence를 감지하고 분석
-> 이는 번거로움 동반, 분석자가 바뀜에 따라 frame단위로 다른 자세를 Seqeunce라고 감지 가능성
-> 번거로움 해결 및 시쿤스의 객관성 확보

2. 분석을 왜하는가? -> 골프를 잘하기 위해 -> 잘하는 것은 무엇인가?
-> 내가 원하는 곳으로 공의 방향과 거리를 안정적으로 보내는 것. -> 이것은 일관된 스윙을 유지하는 것이 중요

-> 시퀀스 감지를 통해 자세의 전반적인 분석을 할 수 있고, 이로써 일관된 스윙인지 판단 가능

3. 골프 스윙에서 잘못된 자세로 연습 -> 부상
-> 이에 있어서 비효율적 스윙 교정 및 부상 예방

4. 골프 시장은 동결된 추이지만, 스크린 골프는 성장 -> 골프 레슨은 주로 스크린 골프에서 -> 스크린 골프 시장 성장
-> 이에 있어서 스크린 골프 레신 모니터링 및 맞춤형 지도 서포팅

그럼 기존에 Sequence 감지 연구는?

1. 센서 기반

M. Kim and S. Park. Golf swing segmentation from a single IMU using machine learning. In Sensors, volume 20, pages 4466. MDPI, 2020

S. Jeong, S. H. Kim, S. G. Lee, and H. S. Lee. "Golf swing analysis system with a dual band and motion analysis algorithm." IEEE Transactions on Consumer Electronics, vol. 63, no. 3, pp. 309-317, Aug. 2017

장점 : 센서 기반 방식은 시퀀스 감지 이후 추가적인 분석 데이터를 제공할 수 있음
단점 : 물리/공간적 제약, 정확한 위치에 센서 부착하지 않을 경우 데이터 정밀도 하락
최대 단점으로 센서 고질적인 문제인, 평소 스윙 대비 센서 부착 -> 신체,심리적 제약 -> 스윙 교란 가능성

2. 비전 기반

M. McNally, D. Chang, P. Hasegawa, and J. Rojas. GolfDB: A Video Database for Golf Swing Sequencing.
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pages 1–5, 2019.

A. Kim and H. Yoo. Deep Learning-Based Golf Swing Analysis System for Golf Players. In Proceedings of the IEEE Region 10 Conference (TENCON), pages 336-340, 2023, Chiang Mai, Thailand, 31 Oct - 3 Nov 2023.

장점 : 비용 효율적 (단일 카메라만 있으면 됨)
단점 : 시퀀스 감지 이후 분석 데이터 부족, 골프 특정 데이터셋 준비

이에 따라 우리는, 일반화된 dataset으로 학습할 수 있으며 전체적인 분석을 가능하도록 !

제안 모델

이벤트 기반 적응형 자세 추정 모델(EDA Pose, Event-Driven Adaptive Pose Estimation)

•주요 특징:

1.이벤트 기반 자세 추정 모델 스위칭

2.적응형 이미지 최적화 -> 스윙 단계 탐지 및 처리 속도 최적화

3.자세 추정 시계열 데이터 -> 각 스윙 단계 분석 및 시퀀싱

-> 기존 방식보다 우수한 성능 입증

•주요 개선점:

1.단일 카메라 사용 -> 비용 효율적

2.일반화된 학습 데이터를골프 적용

3.시퀀싱 정밀도 향상

4.추가적 자세 분석

 

Architecture

제안기술 1. Event Based model Switching

Performance적으로 Heavy model을 사용하고 싶은데, 처리 시간이 너무 오래 걸림

골프 영상에서 조금 더 연산량이 적은 Model로 pre-Sequence를 감지하고,
우리가 분석하고자하는 데이터는 Sequence 내에 존재하니까 연산량이 많은 모델을 Sequence만 수행하자.
golfDB dataset으로 통계시, 골프 영상중 Sequence 비율 평균 45%

우리는 Full Model로 전체 frame 수행 -> pre-sequence -> 해당 frame만 Heavy model 수행
결론적으로 주요한 swing frame이 전체 영상 대비 65.5%미만인 영상에 대해  Model Switching이 효과적으로 적용
(전체 영상 대비 sequence 비율은 평균적으로 45%)  -> 효과적

Sequence 내의 Heavy 자세추정 데이터 + 모든 frame에 대한 Full 자세 추정 데이터를 사용할 수 있는데
Heavy model 대비 25% 처리 시간을 향상시켰다.

제안기술 2. Adaptive Cropping

골프 영상에서 Sequence도중에 사람이 갑자기 없어지지않는다 
-> 이를 활용해서 image 최적화를 통해 처리 속도 향상시키자. (리소스 절약)

골프 스윙에서 ROI 영역은 사람 + 클럽으로 설정. 모든 Sequence에 대해 자세 추정 데이터 기반으로
해당 ROI영역을 계산

이후 원본 비율과 일치하게 수정

이로써, 불필요한 배경요소 제거 및 사람에 대한 Feature 강화, 리소스 절약

 

제안기술 3. Sequencing

skip (자세 추정 데이터 기반으로 knowledge정보를 통해 각 자세를 감지)

제안기술 4. 후처리

1. 다운 스윙시 클럽, 손이 빠르게 움직이며 motion blur 문제
2. follow through시 occlusion 문제
이를 해결하기 위해 후처리 + 추가적으로 자세 데이터들도 보정 (분석에 성능 향상)

해당 기반으로 1차적으로 스무딩

•  k: window size (여기서는 3)
•  : 표준 편차의 배수 (여기서는 3)
•  : 원본 데이터
•  : 스무딩된 데이터

2차적으로 시퀀스로 나누고 시퀀스 마다의 다른 방식의 데이터 보정 적용

결론 (시퀀스 감지 성능)

golf swing sequence감지에 가장 대표적인 SwingNet과 비교
우리는 CPU로도 처리가 가능하기에 환경구성은 다르게 설정

허용 범위 오차 설정 및 감지 성능 측정

 

결론적으로 전체적으로 성능향상 및 address, finish에서 대폭 향상

추가적으로,