6D input에서 추가된 요소는 무엇인가?
- 시간이 추가되었는데, 기존의 NeRF는 시간이 없어서, blur되는 단점이 있었는데 blur 현상을 해소하였다.
Canonical Network (Deformation Network - DNeRF에 새롭게 적용된 layer 종)
- Linear function을 만들고, input으로 x, y, z를 넣으면 RGB 값을 출력한다.
perturb가 무엇인가요?
- 샘플 사이에 포인트들의 거리, intervals를 구하는 것이다.
end-to-end 모델이란 무엇인가?
- 입력을 하고, 출력물이 나오는데, labeling이 굉장히 많을 때 사용되는 학습 시스템인데, compute feature를 찾아내고, 뽑아내는 방법인데, 단계가… 다음주 연구 부채
coarse network와 fine network란 무엇인가?
-
fine-grained, coarse-grained 특성을 가진 network (보편적인 의미)
-
초반에 나왔던 NeRF에서도 특별했던 점이 coarse network로 Normalized된 data를 한 번 더 fine-grained로 학습시키는 과정
-
D-NeRF 도식화 찾기 (없으면 가져오기)
‘fn’ 버전, function이라는 뜻?
- ray를 사용해서 pixel 좌표계를 voxel 좌표계로 변환할 수 있게끔 해야 하는데, fn이 더 작은 batch를 사용하기 위한 것이다.
batch란 무엇인가?
- ray_batch 단위로 연산할 수 있게끔 하는 것이고, 연산 속도가 높아진다는 장점이 있다. batch란 연산 한 번에 들어가는 데이터의 크기이고, 더 작은 단위로 쪼개기 위해 fn이 있다.
Deformation network와 Canonical network를 함께 사용한다고 하였는데, 전체적인 순서나 구조를 다시 한 번 듣고 싶다.
- Canonical Network → Deformation Network 순서로 학습한다. Coarse Network 의 output을 sampling해서 Fine Network로 입력해준다.
혹시 코드 작성이나 해석에 참고한 자료가 있는지?
- github, D-NeRF 소개 페이지 참고해주세요.
Deformation Network가 어떤 식으로 보충해주는지 설명 부탁합니다.
- 시간 변화율까지 고려해서 계산하는 Network인데, 차이점은 x, y, z, t까지 embedding을 시켜준다는 것이다.
들여쓰기가 안 되어 있어 읽기가 불편합니다 😭 ㅠㅠ 원본 코드가 깃허브 링크에 있는건가요?
- 있습니다!
6차원이라 메모리가 많이 소요될 것 같은데, 관련 지표가 논문에 소개된 것이 있을까요?
- 다음주 연구부채로, MLP가 2번 통과해야하기 때문에 직관적으로는 많이 걸릴 수밖에 없을 것 같다.