NVIDIA Instant NeRF, SIGGRAPH에서 최우수 논문상 수상

NVIDIA Instant NeRF, SIGGRAPH

전 세계의 개발자와 제작자는 NVIDIA Research의 최신 코드에 액세스하여 2D 이미지에서 멋진 3D 장면을 생성했습니다.

 

3D 콘텐츠 제작자는 일련의 정적 이미지를 사실적인 3D 장면으로 바꾸는 역 렌더링 도구인 NVIDIA Instant NeRF 를 요구하고 있습니다.

 

올해 초에 데뷔한 이래 전 세계 수만 명의 개발자가 소스 코드를 다운로드하고 이를 사용하여 멋진 장면을 렌더링하고 소셜 미디어에서 눈길을 끄는 결과를 공유했습니다.

 

Instant NeRF에 대한 연구 는 8월 8일부터 11일까지 밴쿠버와 온라인에서 진행되는 SIGGRAPH 에서 컴퓨터 그래픽 연구의 미래에 대한 기여로 최고의 논문으로 선정되었습니다. 이 상을 위해 선택된 단 5개의 논문 중 하나인 이 논문 은 신경 렌더링, 3D 시뮬레이션, 홀로그래피 등을 포괄하는 주제를 다루는 17개의 논문 및 NVIDIA 저자 워크숍 중 하나입니다.

 

NVIDIA는 최근 Instant NeRF 경품 행사 를 개최하여 개발자들에게 소프트웨어로 만든 3D 장면을 공유하여 고급 NVIDIA GPU를 얻을 수 있는 기회를 달라고 요청했습니다. 수백 명이 참여하여 스톤헨지와 같은 랜드마크, 뒷마당, 애완동물의 3D 장면을 게시했습니다.

 

Instant NeRF를 사용하는 제작자는 다음과 같습니다.

 

거울을 통해: Karen X. Cheng과 James Perlman

샌프란시스코에 기반을 둔 크리에이티브 디렉터 Karen X. Cheng 은 소프트웨어 엔지니어 James Perlman과 협력하여 Instant NeRF가 생성할 수 있는 것의 경계를 테스트하는 3D 장면을 렌더링하고 있습니다.

 

이 듀오는 Instant NeRF를 사용하여 거울(위 그림 참조) 안의 반사를 탐색하고 레스토랑에서 라면을 즐기는 그룹과 같이 여러 사람이 있는 복잡한 환경을 처리하는 장면을 만들었습니다.

 

Perlman은 "알고리즘 자체는 획기적입니다. 일반 사진 측량 기술보다 더 높은 정확도로 실제 장면을 렌더링할 수 있다는 사실은 놀랍습니다."라고 말했습니다. "조명, 색상 차이 또는 기타 작은 세부 사항을 얼마나 정확하게 재구성할 수 있는지 놀랍습니다."

3D 랜더링

"실수를 예술적으로 보이게 만들기도 합니다."라고 Cheng이 말했습니다. “우리는 그것에 대해 정말 기대하고 1,000, 5,000 또는 50,000 반복으로 실험하면서 장면 훈련을 덜 사용합니다. 가장자리가 더 부드럽고 유화 효과를 얻을 수 있기 때문에 때로는 덜 훈련된 것을 선호합니다.”

 

이전 도구를 사용하면 "양질의" 장면을 훈련하는 데 3~4일이 걸립니다. Instant NeRF를 사용하면 이 쌍은 NVIDIA RTX A6000 GPU 를 사용하여 3D 장면을 렌더링, 훈련 및 미리보기하여 하루에 약 20개를 생성할 수 있습니다.

 

빠른 렌더링과 함께 더 빠른 반복이 제공됩니다.

 

“빨리 렌더링할 수 있는 능력은 창작 과정에 매우 필요합니다. 우리는 만나서 15~20개의 다른 버전을 촬영하고 밤새 실행한 다음 작동하는 것을 확인했습니다.”라고 Cheng이 말했습니다. "우리가 발표한 모든 것은 수십 번 촬영하고 다시 촬영했으며, 이는 하루에 여러 장면을 실행할 수 있을 때만 가능합니다."

 

시간의 순간을 보존하기:Hugues Bruyere

몬트리올에 기반을 둔 크리에이티브 스튜디오인 Dpt.의 파트너이자 혁신 책임자인 Hugues Bruyère는 Instant NeRF를 매일 사용합니다.

 

"3D 캡처는 체적 재구성으로 돌아가 이동하여 의미의 차원을 추가할 수 있기 때문에 항상 저에게 큰 관심을 받았습니다."라고 그는 말했습니다.

 

Bruyère 는 미러리스 디지털 카메라, 스마트폰, 360도 카메라 및 드론에 의존하는 기존 사진 측량을 위해 이전에 캡처한 데이터를 사용하여 Instant NeRF로 3D 장면을 렌더링 했습니다. 그는 NVIDIA GeForce RTX 3090 GPU를 사용하여 Instant NeRF 장면을 렌더링합니다.

 

Bruyère는 Instant NeRF가 온라인 도서관, 박물관, 가상 현실 경험 및 유산 보존 프로젝트를 통해 문화 유물을 보존하고 공유하는 데 도움이 되는 강력한 도구가 될 수 있다고 믿습니다.

 

"카메라와 소프트웨어 솔루션이 저렴해지면서 캡처 자체의 측면이 민주화되고 있습니다."라고 그는 말했습니다. "몇 달 또는 몇 년 안에 사람들은 사물, 장소, 순간, 기억을 캡처하여 실시간으로 입체적으로 렌더링하고 공유할 수 있고 영원히 보존할 수 있게 될 것입니다.

 

" Bruyère는 스마트폰으로 찍은 사진을 사용하여 토론토의 로열 온타리오 박물관에서 전시된 고대 대리석 제우스 동상의 Instant NeRF 렌더링을 만들었습니다.