Face Alignment 관련 기술

Robust Face Landmark Estimation under Occlusion

 

: [matlab code]-[Caltech Occluded Faces in the Wild(COFW) Dataset]

 

 

Face Alignment by Explicit Shape Regression

 : [c++ code][강좌][특허] [C++ code]

 

 

Face Alignment at 3000 FPS via Regressing Local Binary Features

: [matlab code] : liblinear 필요, 학습된 모델 파일 제공, DB 링크 제공

: [slideshare] [video]

※ Image Path List 생성 프로그램 :  binary_ImageGenerator.zip

- 유투브 동영상 댓글에서 발췌   : 추적의 경우 평균 모양(mean shape)으로부터 regression을 수행하고, 다음 프레임부터는 이전 프레임으로부터 transformation matrix를 구하고, 평균 모양을 변환하여 regression 수행  : lib linear 파라메터에 대한 질문   -> we usually use -s 12 -p 0 -B 1, C is selected by a validation set

 

 

One Millisecond Face Alignment with an Ensemble of Regression Trees

:[ c++ code|paper|video ]

- Shrinkage factor    : 학습률을 주어 gradient boosting -> 이 값을 이용하여 점차적으로 fitting하는 방법은 좋은 방법 같음 - Feature Selection    : 두 위치를 선택 할 때 확률 함수를 정의하는 방법을 사용하여 좀 더 좋은 특징을 선택헀다. 중요한 아이디어 같음 - Handling missing labels    : 랜드마크의 위치는 추정되지만 실제로 학습 영상에서 폐색된 경우가 있을 수 있다. 이러한 것을 학습 할때 W 메트릭스로 학습을 좀 더 효과적으로 할 수 있다.

1. Mean Shape 생성   2. Target Shape 설정   3. Feature Selection   4. Regression Tree 생성

 

 

Incremental Face Alignment in the Wild

 :[ Matlab code | paper| video ]

Fine-tuning Regression Forests Votes for Object Alignment in the Wild

Paper | C++ Code

관련 논문 : Sieving Regression Forest Votes for Facial Feature Detection in the Wild

저자 홈페이지 : https://sites.google.com/site/yanghengcv/home

▶ Key Point - 트리의 leaf노드에는 타겟 위치까지의 offset과 공분산을 이용한 가중치, 얼굴의 중심까지의 offset, 이에 대한 가중치 값을 갖는다. - 각 리프 노드의 값을 이용하여 voting 후 mean shift를 사용하여 mode를 찾는 개념 같음.

Mirror, mirror on the wall, tell me, is the error small?

  [Paper] [homepage] [Paper review]

 

Detector of Facial landmarks Learned by the Structured Output SVM

Paper | C++ and Matlab | 관련 홈페이지

Cambridge face tracker (CLM-framework)

CLM-framework github : https://github.com/TadasBaltrusaitis/CLM-framework

CCNF[GitHub]  : Libraries for training and testing Continuous Conditional Neural Fields with a number of sample problems and other baselines. 

Facial detection, landmark tracking and expression transfer library for Windows, Linux and Mac

GitHub : Face-analysis-sdk

1. The face tracking component is based on the publication : 

J. Saragih, S. Lucey and J. Cohn, "Deformable Model Fitting by Regularized Landmark Mean-Shift", IJCV 2011.

2. The expression transfer component is based on the publication:

J. Saragih, S. Lucey and J. Cohn, "Real-time Avatar Animation from a Single Image", AFGR Workshop 2011.

3. If you use the SDK, we ask that you reference the following paper:

M. Cox, J. Nuevo, J. Saragih and S. Lucey, "CSIRO Face Analysis SDK", AFGR 2013.

Facial Point Annotations

 Database : http://ibug.doc.ic.ac.uk/resources/facial-point-annotations/

Download:

We employed our tool for creating annotations (following the Multi-PIE 68 points mark-up, please see Fig. 2) for the following databases:

• XM2VTS
• FRGC Ver.2
• LFPW
• HELEN
• AFW 
• IBUG