Detection & Segmentation

• Semantic Segmentation
  • 문맥을 고려하는 특징
  • 화소 자체를 다룸.
• Object Detection
  • Localization 특징
• Instance Segmentation
  • Semantic Segmentation + Object Detection

Image Segmentation

Edge-based Image Segmentation - contour

• Contour

  • 이미지 내의 객체의 경계나 윤곽선을 의미함
  • 연속된 곡선으로 픽셀의 밝기나 색상이 급격히 변하는 부분을 따라 형성됨.
  • 이 경계를 이용해 주로 객체와 배경 혹은 객체와 객체를 분리하는데 사용됨.

• Segmentation 과정

  Input image로부터 Edge를 찾음

  → 찾은 Edge를 바탕으로 Object의 Continous한 boundary를 구함.

  → 이 boundary를 이용해 Segmentation

Edge-based Image Segmentation - Active contour models(snakes)

• 위쪽 이미지는 Snake 모델이 시간에 따라 어떻게 변형되는지?

  • Current Snake (Time t):
    • 현재 시간 t에서의 스네이크 위치를 나타냄.
    • 이 컨투어는 점들로 이루어져 있으며, 각 점은 연결된 상태임.
  • New Snake (Time t+1):
    • 다음 시간 t+1에서의 새로운 스네이크 위치를 나타냄.
    • 현재 위치에서 힘의 영향을 받아 이동한 후의 위치임.
  • Movement:
    • 각 점이 이동하는 방향과 크기를 화살표로 표시하고 있음.
    • 이는 에너지 최소화 과정에서 점들이 어떻게 이동하는지 보여줌.
  • Edge:
    • 이미지에서 객체의 에지(경계)를 나타내는 선.
    • 스네이크는 이 Edge로 끌려가면서 형태를 잡아감.

  ∴ Snake 모델은 초기 위치에서 시작하여 각 점이 외부 이미지 힘(에지)와 내부 에너지(탄성 및 굽힘)에 의해 점차적으로 이동하면서 객체의 경계를 따라감.

• 아래 이미지는 손의 이미지를 사용하여 스네이크 모델이 어떻게 작동하는지를 단계별로 보여줌.

  • 첫 번째 이미지:
    • 손의 중심에 초기화된 작은 원형 스네이크를 보여줌.
    • 화살표는 각 점이 외부 힘에 의해 이동하는 방향을 나타냄.
  • 두 번째 이미지
    • 스네이크가 손의 모양을 잡아가며 점차적으로 이동하는 과정 중간 단계.
  • 세 번째 이미지:
    • 스네이크가 손의 전체 모양을 따라가면서 최종 경계에 도달한 상태를 보여줌.
    • 각 점은 에지에 도달하여 객체의 형태를 정확히 잡고 있음.

Edge-based Image Segmentation - Active contour models(Level sets)

• 왼쪽 상단: 여러 세그먼트 검출 (Multiple segment detection using level sets)
  1. 초기 상태:
     • 왼쪽 상단 첫 번째 이미지는 초기 상태를 보여줌.
     • 빨간 선은 초기화된 컨투어(스네이크)를 나타냄.
  2. 중간 단계:
     • 두 번째 이미지부터 세 번째 이미지는 레벨 셋 방법을 사용하여 컨투어가 진화하는 중간 단계를 보여줌.
     • 빨간 선이 객체의 경계를 따라 점차적으로 이동하면서 객체의 형태를 잡아가고 있음. (점점 수렴하는 과정)
  3. 최종 단계:
     • 아래쪽 이미지는 컨투어가 객체의 정확한 경계를 감지한 최종 상태를 보여줌.
     • 여러 객체의 경계를 따라 빨간 선이 각 객체를 분리해내고 있음.
• 오른쪽 상단: 레벨 셋의 수학적 개념 (Level set evolution)
  1. 레벨 셋 함수:
     • φ(ϕ)라는 함수로 표현된 레벨 셋은 객체의 경계를 추적하는 데 사용됨.
     • 이 함수는 경계를 0으로 나타내고, 경계 내부와 외부를 각각 +1, -1로 표현함.
  2. 에너지 최소화:
     • 에지(Edge)에 의해 유도된 g(I)와 그라디언트 ∇ϕ가 상호 작용하여 레벨 셋이 객체의 경계를 향해 이동함.
     • 빨간 선은 현재 레벨 셋의 위치를, 파란 선은 다음 단계로 진화할 방향을 나타냄.
• 오른쪽 하단: 레벨 셋 진화 과정 (Level set evolution)
  1. 형태 변화:
     • 레벨 셋 방법은 시간에 따라 객체의 경계를 추적하는 과정을 보여줌.
     • 중간 형태에서 경계가 분할되고, 최종적으로 개별 객체의 경계를 감지함.
  2. 3D 시각화:
     • 레벨 셋 함수의 3D 시각화를 통해 경계의 진화 과정을 더 명확히 이해할 수 있음.
     • 초기 상태에서 분할과 수렴 과정을 거쳐 최종 경계로 진화하는 과정을 보여줌.

Region-based Image Segmentation