Lightfields

Ray

Ray는 5D 정보로 이루어져 있다.(3D 위치, 2D 방향) plenoptic 기술은 이런 5D정보를 가진 ray들을 활용하여 다양한 영상처리를 할 수 있다.

반면, line은 4D의 정보를 가지고 있다. (2D 위치, 2D 방향) discretize 한 후에 다시 interpolate 할 수 있다?

Image

이미지란, 눈(또는 렌즈)이라는 한 점으로 들어오는 빛의 정보들을 수치화한 것이다. 앞 단원들에서 계속 나오던 이미지 평면도 결국에는 사물에서 반사된 빛이 눈이라는 한 점으로 들어오는 도중의 한 평면과의 교점들이라고 할 수 있다.

Object

하지만 대상에서 반사되는 모든 빛을 알 수는 없다. 이미지란 대상의 모든 곳에서 반사되는 빛 중 렌즈로 들어오는 빛만 캡쳐한 것이다. 그러므로 정보의 손실이 일어나게 되는데, 이 정보들 (4D정보들)을 다 모으면 렌즈 방향이 아닌 다른 방향에서 어떻게 보일지도 알 수 있다.

Lumigraph

Lumigraph는 위에서 설명한 빛의 정보를 저장하는 방법이다.

Source

2개의 평면을 이용할 수 있다. 한 평면은 대상이 존재하는 평면($u, v$평면)이고, 다른 평면은 카메라 평면($s, t$평면)이다. 카메라는 카메라 평면 위에서 움직이고, 각 이미지 평면을 통과하는 빛을 캡쳐한다.

캡쳐 방법에는 두 가지가 있는데, 카메라를 $s, t$평면에서 움직이는 방법(lightfield rendering)과 카메라를 아무데나 움직인 뒤 rebinnig하는 방법(lumigraph)이 있다?

우리가 알고 있는 평면은 2개이기 때문에 $u, v$평면의 각 점에 $s, t$평면의 모든 정보를 넣을 수도 있고, 반대로 할 수도 있다. 첫 번째 경우는 off-axis perspective view와 같고, 두 번째의 경우는 reflectance map과 같다.

Light Field Rendering

렌더링을 하기 위해서는 특정 위치에서 바라볼 때 빛이 어디서 어떻게 들어오는지의 정보를 lumigraph로부터 알아내야 한다. 우선 렌더링 시점은 카메라 평면보다 뒤쪽이다. 내 위치에서 모든 방향으로부터 들어오는 빛의 정보가 필요한데, 카메라가 모든 카메라평면에 대해 존재하는 것이 아니기 때문에 모든 점에 대해서 정보를 가지고 있는 것이 아니므로 정보가 없는 점은 interpolation을 이용해서 정보를 만들어낸다. 이 때는 quadrilinear interpolation을 사용한다. 원래의 bilinear interpolation은 주변 네 개의 점을 이용한다. 식은 다음과 같다.

$s = \alpha_0s_0+\alpha_1s_1 \text{ where } \alpha_0+\alpha_1=1$

quadrilinear interpolation은 점 $(s, t_0)$와 $(u_0, v_0)$가 주어질 때 $s_0$와 $s_1$에 대해서 계산해야 하기 때문에

$L(s, t_0, u_0, v_0)=\alpha_0L(s_0, t_0, u_0, v_0)+\alpha_1L(s_1, t_0, u_0, v_0)$

이 되는데, 이 계산을 $s, t, u, v$에 대해서 다 해야하므로

$L(s, t, u, v)=\sum_{i=0}^1\sum_{j=0}^1\sum_{k=0}^1\sum_{l=0}^1\alpha_i\beta_j\gamma_k\delta_lL(s_i, t_j, u_k, v_l)$

이라는 식으로 설명할 수 있다.

표현을 쉽게 하기 위해 2D Ray Space를 사용할 수 있는데, 편의를 위해 특정 $t$와 특정 $v$가 주어졌다고 할 때의 $s, u$의 조합을 그려보면 $n_s\times n_u$개의 조합이 생긴다.(가로가 $u$, 세로가 $s$) 이를 2D평면으로 옮긴 것으로, 하나의 조합은 하나의 점으로 표현된다. 그리고 여러 조합의 교점은 직선으로 표현된다. 이 때, 2D Ray Space에서의 직선의 기울기가 작으면($s$는 조금 움직이는데 $u$는 많이 움직임) 해당 점이 더 가까운 것이므로 depth가 작다고 볼 수 있고, 반대로 직선의 기울기가 작으면 ($s$는 많이 움직이는데 $u$는 거의 움직이지 않음) 해당 점이 더 먼 것이므로 depth가 크다고 볼 수 있다.

Various Lumigraph

우리는 카메라 평면을 사용하여 4D lumigraph를 만들었는데, 여기서 $t$를 빼고 3D lumigraph를 만들 수도 있다. 4D에서와 똑같지만 카메라를 한 직선에서만 움직이는 방법을 사용할 수 있다.

이때 직선이 아닌 원을 그리며 카메라를 움직이면 Concentric Mosaic를 만들 수도 있다.

Layered Depth Image

2.5D representation이라는 것도 있다. Layered Depth Image라고도 하는데, 최소 3개의 카메라를 이용하여 대상을 둘러싸서 이미지를 얻는다. 그러면 가운데 카메라에서는 보이지 않는 깊이 정보가 양 옆 카메라에 의해 얻어지게 된다. 평면이지만, depth정보에 따라 더 앞으로 나오거나 더 뒤로 들어간 평면들이 걸과물로 나오게 된다.

Terms

aperture : 틈
collimate : 일직선의
lenticular : 수정체의
light field : 물체에서 발산하는 광선의 분포를 재현하는 기술 dispersive : 전파성의
medium : 매개