이전에서, Segmentation Hybrid Model 설계 및 Item Icon API설계 까지 완료되었다.이제 Segmentation 결과와 Item간의 Score를 계산해야된다.여기서 저는, 색상값을 제거하고 각 Segmentation 결과에 Edge를 추출하는 전처리 후 Feature Extraction을 수행할 것이다.하지만, 이것이 성능이 향상될 지는 모르기에,1. Segmentation 결과를 기반으로 Score 비교하여 어떤 이미지가 Top5로 추출되는지2. Segmentation결과와 Item을 전처리 후 Score 비교하여 어떤 이미지가 Top5로 추출되는지를 비교해봐야된다.추가적으로, score 계산을 어떤 식으로 해야될 지 고민해봐야했다.score계산은 두 이미지간 유사도를 어떻게..

tistory가 아닌 velog에서 수행하려고 합니다.https://velog.io/@vision-task/posts

회사에서 캐릭터등을 그리는 작업을 AI가 작업해주고,이를 수정하는 아티스트 인력만 사용한다면 인력을 줄일 수 있겠다고 생각하였다.이를 메이플스토리에 접목해본다면, 다음과 같이 이미지가 있으면, 각 요소를 분할하고 메이플스토리 아이템들과 score를 계산하여, 가장 높은 score를 기록한 아이탬들을 기본 캐릭터에 융합하여 최종 캐릭터 결과를 낼 수 있다.이에 있어서 저는 다음과 같은 기술들을 사용하여 해당 프로젝트를 풀고자 한다.1.  Segmentation을 통해 각 요소를 분할 한다.2. 각 요소별로 타 치장 아이탬과 비교해서 비슷한 정도를 계산해야된다.3. 해당으로 matching된 Image들을 아무것도 없는 charactor에 Concat하여 마지막 Charactor를 추출한다.위를 기반은 무엇..

D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution RefinementPeng, Yansong, et al. "D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement." arXiv preprint arXiv:2410.13842 (2024).RT Detection SOTA D-fine에 대해 리뷰 진행.AP와 Latency 사이에서 둘 다 굉장히 우수한 DETR 기반의 RT Detector이다.아마도 이 정도의 FPS와 box AP의 성능이라면,End-to-End 방식이라는 점과 결합하여 Yolo를 밀어낼만한 충분한 detector라고 생각한..

BoostTrack++ : using tracklet information to detect more objects in multiple object trackingStanojević, Vukašin, and Branimir Todorović. "BoostTrack++: using tracklet information to detect more objects in multiple object tracking." arXiv preprint arXiv:2408.13003 (2024).2024년 8월23일 sumitted한 최근 논문인데, 현재 SOTA로 등록되어 있어서 해당 논문을 리뷰한다(아직 논문 accept는 아지만...)너무 최근꺼라 리뷰한 글이 없는거 같아서, 오히려 좋아~ 1. Introducti..

현재 Real-time detection SOTA에MOT20에 대해 tracking sota를 달성하고 있는 boosttrack에서의 tracking algorithm만 빼와서 적용시켜볼 계획,우선 boosttrack에 대한 리뷰 후, 해당을 진행하도록 하겠다.해당 과정은 계속 update할 것이며, github가 먼저 update되니 참조https://github.com/yeongjinHwang/RT-DETR(실제로 detection하고, tracking도 가능해야 영상 데이터에 대해서, 다른 frame에서 서로 같은것임을 판단할 수 있으므로)우선, boosttrack에 대해 리뷰를 할텐데, 성능과 latency사이에서, real-time에 적합하지않다고 생각한다면,다른 tracking paper들도 ..

2024.12.10 - [Study/computer vision] - DETR : End-to-End Object Detection with TransformersRT-DETR : DETRs Beat YOLOs on Real-time Object DetectionZhao, Yian, et al. "Detrs beat yolos on real-time object detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.2024년에 따끈따끈하게 올라온 DETR을 Real-Time Object Detection하기 위해 나온 논문이다.(accept는 2024년이지만 아카이브는 2023년에..

2024.12.10 - [Study/SOTA paper] - DETR : End-to-End Object Detection with TransformersLib, Config: Inference용도이기에 backpropagation gradient Falsefrom PIL import Imageimport requestsimport matplotlib.pyplot as plt%config InlineBackend.figure_format = 'retina'import torchfrom torch import nnfrom torchvision.models import resnet50import torchvision.transforms as Ttorch.set_grad_enabled(False)Modelin..