Efficient Model-based 3D Tracking of Hand Articulations using Kinect

OpenGL Vertex Buffer Object (VBO) : http://www.songho.ca/opengl/gl_vbo.html

OpenGL Frame Buffer Object (FBO) : http://www.songho.ca/opengl/gl_fbo.html

OpenGL Pixel Buffer Object (PBO) : http://www.songho.ca/opengl/gl_pbo.html

관련 소스 : http://code.google.com/p/openni-hand-tracker/source/clones
(컴파일 하려면, Bullet 라이브러리, Opencv, OpenNI가 필요합니다. 헌데, 컴파일해도 실행하면서 에러가 나네요. 소스분석용으로 사용하면 좋을듯 합니다.

bullet 라이브러리 : http://code.google.com/p/bullet/downloads/detail?name=bullet-2.81-rev2613.zip&can=2&q=

Tracking hand articulations based on the Kinect

3D 핸드 모델을 가상으로 생성하여 27개의 파라미터 벡터로 여러개의 손 포즈를 표현한다.

손 영역은 깊이 영상과 컬러 영상의 피부 색상과의 결합을 통해 세그멘테이션한다.

손 관절 추적은 손 포즈에 따른 가설?과 실제 관측 데이터와의 차이를 최소화하는 27개의 파라미터를 추정하는 문제로 공식화 된다.

손 모델과 실측 데이터와의 차이를 정량화 하기 위해 그래픽 랜더링 기술을 사용한다.

=======================================================================================================

개념 정리

- 기본 개념은 3D 모델과 관찰 결과(여기서는 Kinect 깊이 영상)와 매칭하여 가장 잘 매칭되는 Pose 파라미터를 찾는 것

- 이를 위해서는 2가지 단계가 필요함.

1. 매칭은 어떻게 할 것인가? (Cost function)

2. 넓은 파라미터 Space에서 어떻게 찾을것인가?

 

위에서 정의한 1번의 경우에는 단순 깊이 매칭을 통해서 수행을 함. 수식 (1), (2) 참조.

여기서 중요한 점은 깊이 영상의 경우 깊이가 나오지 않는 경우도 있는데, 이는 매칭됬다고 가정함. 그래서 rm에서 깊이 차이가 작거나, missing 값을 가지고 있는 경우까지 매칭으로 보아 rm 을 1로 셋팅한 것임.

결국 첫번째 Term이 평균의 깊이의 차이값이라고 생각하면 될 것이며, 두번째는 term은 얼마나 많이 매칭 되었는가를 나타낸다고 생각하면 될 듯하다.

 

Cost를 구했다면, 이제 파라미터 공간을 어떻게 검색 할 것인가가 문제이다. 이것은 PSO 라는 방법을 사용한다. 개념은 파티클 필터, 유전자 알고리즘, 칼만 개념이 섞인 느낌을 받았다.

알고리즘은 Wiki의 PSO를 보면 쉽게 이해가 될 것이다. 하지만 좀 더 깊이 들어가면 매우 어려운 문제이다. 방법론 자체가 약간 주먹구구식인 느낌이다. 왜냐하면 랜덤하게 찾기 때문인데. 이는 파티클을 얼마나 뿌릴 것이며, 몇번의 반복을 통해 최적의 파라미터를 구하느냐 문제인데, 좋은 결과를 위해서는 많은 연산량이 필요하며, 적은 연산량으로는 안정적인 결과를 얻을 수 없을 것이다. 하지만 좋은 아이디어인 것만은 분명하다.

파라미터 공간의 검색 방법은 충분히 효율적으로 개선될 여지가 있음이다.