3D Face Recognition using R-ICP and Geodesic Coupled Approach 리뷰

3D Face Recognition using R-ICP and Geodesic Coupled Approach 리뷰

ICP 관련 논문들을 찾아보다가 찾은 논문입니다. 2009년임을 감안하고 읽었습니다.

논문 다운 링크

https://www.researchgate.net/publication/220989159_3D_Face_Recognition_Using_R-ICP_and_Geodesic_Coupled_Approach

Keywords : 3D Face Recognition, ICP, R-ICP, Geodesics Computation, Segmentation, Mimics, Biometric Evaluation

Abstract

대부분의 기존 방법은 facial intensity image를 사용한다. 최신 방법으로는 depth 정보를 사용한다(이유 : 포즈, 조명, 표정 변화같은 문제를 극복하기 위해서). 본 논문은 Dimensional Surface Matching 기반의 facial expression 에 대한 새로운 얼굴 인식 방법 제안한다. 핵심은 probe face surface와 gallery facial surface을 정렬한 후 비교하는 것이다. 2가지 step으로 구성된다.

• 1 step : prove와 gallery model 을 static region 을 기반으로 정렬
• 2 step : 일치하는 면 영역의 static pair 에서 두 개의 geodesic map 이 계산됨
  사용한 dataset은 IV2 French project의 3D face dataset.

Introduction

과거 몇 년동안, 생체인식, 얼굴 인식, 인증은 비디오 감시 시스템, 원격 장치의 접속 등 광범위하게 적용되었다. 하지만 Face Recognition Vender Test 보고서에 따르면 상업적인 얼굴 인식 기술은 크게 2가지 문제에 시달린다.

• 1. 유사한 class 에 대한 혼동 (예 : 쌍둥이, 아빠와 아들)
• 1. 조명, 표정 변화, pose 변화에 의한 class 내 변형으로 인한 complexity
     결과적으로, intensity image에 기반한 접근 방식 사용하기에 충분치 않으며, 2D 기반 접근 방식에서 표정 보정은 텍스처 이미지에서 얼굴의 모양을 크게 번경하기 때문에 어려운 작업이다. 따라서, 새로운 얼굴 양식(3D shape and face)에 기반한 새로운 얼굴 인식/인증 방법 제안한다.

Recent progress on 3D face recognition

Overview of the proposed approach

제안하는 Identification/Authentication 접근 방식은 얼굴의 dimensional surface에 기반함

• Off-line Phase
  • shape & texture channel 포함
• On-line Phase
  • Probe model을 capture하여 Identification일 땐 gallery의 모든 얼굴과 비교하고, Authentication일 땐 해당하는 Genuine model과 비교한다.

핵심은 probe와 gallery의 face surface를 정렬한 다음 비교하는 것이다.

• 1 STEP
  • 제시된 prove 와 gallery 사이의 rigid transformation 로 근사화 (coarse alignment)
  • R-ICP (fine alignment)
    • Probe 와 gallery model 의 MSE를 최소화
    • Output : 2 개의 surface 에서 2 개의 일치하는 point set
• 2 STEP
  • Matched surface에서 vertices 쌍에 대한 2 개의 geodesic map을 계산
  • Recognition/Authentication similarity score 는 2 개의 geodesic map들의 거리를 계산

R-ICP for 3D face alignment

대표적인 3D shape matching process는 ICP(iterative Closest Point)가 있다. 제안하는 접근 방식은 첫 번째로, coarse alignment step : 모델 간의 rigid transformation로 근사화. 두 번째는 fine alignment step : ICP 수행.

ICP를 간단히 설명하자면, 한 포인트와 다른 model 의 가장 가까운 point의 MSE를 최소화하는 iterative procedure다.

가장 작은 MSE를 가지는 R,t를 찾는 것이 목적이며, 이 방식은 local minimum 으로 수렴하기 때문에 global minimum 으로 수렴하려면 좋은 initialization 필요하다. 따라서 본 논문에서는 fine alignment 전 coarse alignment를 통해 초기 matrix를 설정한다. 이제 각 STEP에 대해 자세히 알아보자.

STEP 1

ICP 는 rigid deformation을 특성화하는 R,t 를 추출하지만 얼굴은 non rigid deformation을 초래한다. 따라서 표정에 변화에 민감한 mimic region 을 static region 과 구별하여 식별할 필요 존재하다.
R-ICP(probe와 gallery surface의 static region만 align)는 Rigid transformation을 근사화한다. Static과 Mimic의 region은 [15, 16]에 제안된 mimics segmentation method에 의해 고정한다.

이 부분에 대해 논문을 찾아봤는데 [16]은 프랑스어라 포기했고… [15]의 경우는 간략하게 설명하자면 11개의 근육과 턱 운동으로 만들 수 있는 표정이 14개이고, 각 표정에 대해 저자들이 static과 mimic regions을 정의한 것 같습니다.. 정확한 내용에 대해 아시는 분은 댓글 부탁드립니다.

STEP 2

Probe와 gallery facial surfaces의 pair 사이의 geodesic distance를 계산하는 것이다. geodesic이란 국문표기로 측지선이라고 한다. 2D 상의 유클리디안 거리가 아닌 지구처럼 지형이 있을 때의 거리 측정법이라고 생각하시면 될 것 같습니다. 본 논문에서는 geodesic 계산을 위해 fast marching method라는 효율적인 방식을 사용했다고 서술한다. 간략히 찾아보니 기울기가 동일한 부분에 대해 같은 geodesic distance라고 하는 내용인 것 같습니다. 틀릴 수 있으니 참고 바랍니다.

Experiments and Future Works

• Dataset : $ECL-IV_{2}$ 3D face database
  • 50개의 multi-view 3D model, 400개의 3D probe model을 포함하는 50명 정도의 피험자
    제안하는 방식은 texture를 사용하지 않으므로 조명 변화에 불변한다고 한다.
• Gallery : netural 표정 50개 정면 3D model
• Probe : 5가지 표정의 250개의 정면 3D model

실험

인식률 실험에 대한 결과는 아래와 같다.

표정 변화에 따른 DET(Error trade-off) curve는 아래와 같다.

Future works

mimic region이 얼굴 표면의 절반 이상을 구성하는 model로부터 benefit을 얻을 계획이다.