"uncanny valley 현상" 을 넘어선 차세대 "파이널 판타지" 의 기준이 될 리얼타임

니시카와 젠 지의 3D 게임 팬을위한 "AGNI 'S PHILOSOPHY"강좌
"uncanny valley 현상" 을 넘어선 차세대 "파이널 판타지" 의 기준이 될 리얼타임 표현력

2011년 초여름, 스퀘어 에닉스는 차세대기를 고려한 게임 엔진 "Luminous Studio" 개발 프로젝트의 존재를 밝히고, 같은 해 가을에 Luminous Studio 개발시 만들어진 기술의 일부를 기술 교류 형태로 공개하는 오픈 컨퍼런스를 개최했다.

아직 개발이 끝나지 않은 차세대 기술의 존재를 밝혔다뿐만 아니라 그 결과물까지도 공개 버리는 행위는 비상식적인 행동이었다. 왜 스퀘어 에닉스는 이러한 행동에 나선 것일까.

이제와서 기술적 비하인드 아니지만, PS3, Xbox360 으로 대표되는 현세대기의 등장 당초 일본의 게임 개발 기술은 서양 세력에 미치지 못하는 부분이 있었다. 구체적으로는 그래픽면에서는 프로그래머블 쉐이더 기술, 프로그래밍 전반적으로 말하면 멀티 스레드 코딩 기술 등에서 것이다.

서양 기술들을 따라 잡는 것에 다소 시간이 걸렸던 것은 스퀘어 에닉스는 물론 일본의 게임 개발업계에서도 좋은 것은 아니었다. 이러한 반성을 바탕으로 어떤 의미에서 일본의 게임 산업 진흥에 일익을 담당하고있는 스퀘어 에닉스로는 일본의 게임 개발 업계 전체에 자극을 주는 것은 산업 활성화를 위해 필요하다고 판단했다. 그래서 오픈 컨퍼런스와 같은 대담한 수를 둔것이다.

또한, 2011년 때의 스퀘어 에닉스의 차세대 게임 엔진 Luminous Studio에 대한 첫 번째로 필자가 지난번에 연재했던 "Luminous Studio"강좌 이다. 그리고 두번째 정보라고 할수 있는 2011년 개최 스퀘어 에닉스 오픈 컨퍼런스에서 발표 된 차세대 그래픽 기술 관련 보고서는 이쪽 이다. 본 기사를 읽을때 여기를 참조 하길 바란다.

그런데, 스퀘어 에닉스는 2012 년 홀리데이 시즌 이후 게임 장면을 점 치는데 있어서 최적의 기회가 될 E3를 타이밍으로, 지금까지 축적 해 온 기술을 "알기 쉬운 형태" 에서 보이는 "다음 행동" 을 보여왔다 . 그것이 이번 E3에서 공식 발표 된 Luminous Studio 기반의 실시간 기술 데모 "AGNI 'S PHILOSOPHY" 된다. 또 이번에 올린 스크린샷에 대해서는 풀HD의 원본 사이즈를 그대로 올린것이기에 그림을 열 때 유의 바란다.

【저자 근영】
	Luminous Studio / "AGNI 'S PHILOSOPHY"의 취재를 한 당일은 우연히 필자의 생일이었다. 어디서 알아 왔는지, 얼마나 스퀘어 에닉스의 분들이 깜짝 케이크를 준비해주고 있었던 것이다. 인생 첫 서프라이즈 경험이다. 케이크는 그 자리에 계셨던 여러분과로 나누어 먹었지만 "Happy Birthday"의 초콜렛 플레이트는 당연히 필자의 몫으로 붙여 주셨다. 지나친 기쁨에 몇 살이 었는지 이날에 잃어버렸다 (웃음). 블로그는 이쪽

---

■ 스퀘어 에닉스의 차세대 게임 엔진 Luminous Studio의 실시간 데모 "AGNI 'S PHILOSOPHY"

우선은 4 분 미만의 풀 스케일의 영상을 보도록 하자.

【AGNI 'S PHILOSOPHY】

"AGNI'S PHILOSOPHY"는 지금까지 해왔던 게임 개발 프로젝트와 달리 Luminous Studio의 개발을 맡고 있는 테크놀로지 추진 부의 주도로 진행된 프로젝트이며, Luminous Studio 의 기술 데모를 위해 제작 된 영상 작품 이다.

그럼 왜, 자막에 'FINAL FANTASY (파이널 판타지)'를 내걸 수 있는지라고 말하면, 이것은 데모를 통해 스퀘어 에닉스의 미래, "파이널 판타지"의 미래에 대한 긍정적 인 메시지를 전달 목적이 있기 때문이다.

단, Luminous Studio는 스퀘어 에닉스에서 주도하는 프로젝트이기 때문에 미래에 FF 시리즈의 신작이 Luminous Studio 기반으로 개발 될 가능성은 매우 높을 것으로 예상된다. 그렇다면 역으로 생각하면, 미래의 "FF"그래픽 "AGNI'S PHILOSOPHY" 수준 까지 상상하기 어렵지 않다.

이번 "AGNI'S PHILOSOPHY" 개발 프로젝트는 기술의 실험적 개발이나 초기 계획을 제안한 시기등을 빼면 오픈 컨퍼런스 개최 후 2011년 늦가을 쯤부터 본격적으로 시작 되었다고 한다.

하시모토 요시히사씨 (스퀘어 에닉스, CTO, 기술 추진부, 기업 임원)

이와타 료씨 (스퀘어 에닉스, 기술 추진 부, 리드 아티스트)

노주에 타케시씨 (스퀘어 에닉스, 비주얼 웍스 부 수석 크리에이티브 디렉터, 수석 매니저)

이와사키 히로시씨 (스퀘어 에닉스, 기술 추진부 리드 엔지니어)

하시모토 요시히사 : 우리가 평소 프리 렌더링 동영상으로 제공하는 수준의 영상을 실시간으로 제공한다 '는 목표를 내걸고 프로젝트를 짰습니다. 나 자신이 제작자 겸 감독으로 콘텐츠와 기술 양쪽의 디렉션, 진행관리 및 품질 체크 등을 시행했습니다. 한정된 시간 속에서 제작했지만, 단순한 기술 데모없이 '작품'으로 만들어 내기 위해서 일반 게임 제작과 전혀 다르지 않는 수준의 세계관이나 설정부터 시작하여 꽤 공을 들여 만든 프로젝트 입니다.

이와타 료 : 제가 리드 아티스트를 담당했습니다. 주인공 소녀 "AGNI"디자인은 제가 맡았습니다. 기본 세계관이나 설정이나 구성은 하시모토 씨, 노주에씨 3명이서 논의 구축해왔습니다. 그 밖에 비쥬얼 웍스 영화에 대한 데이터를 실시간용 데이터에 이식 할 때 아티스트들이 다루는 파이프 라인 및 워크 플로우 구축도 담당 했습니다.

노즈에 타케시 씨 : 영상 작품으로 세계관과 설정을 파고들어 각본, 연출, 아트 디렉션을 담당하고 실시간 영상의 베이스가 되는 프리 렌더링 무비의 CG 디렉션을 담당했습니다.

스퀘어 에닉스의 비주얼 웍스 부분은 지금까지도 FF 작품 등에서 고품질의 프리 렌더링 무비를 제작해온 부서다. 이번 프로젝트가 특이 하다고 할수 있는 것은, 평상시는 실시간 렌더링 기술을 사용하지 비주얼 웍스 실시간 렌더링 기반 프로젝트에 참여하고 있다는 점이다. 이것은 미래적인 게임 그래픽은 사전 렌더링과 실시간 경계가 없다는 실험적인 측면과 Luminous Studio는 생긴지 얼마되지 않은 게임 엔진을, 고품질 영상을 전문으로 해 온 비주얼 웍스부에서 개선 해주었으면 한다는 의도가 있었다고 생각된다.

또한 비주얼웍스부는 실제로 3분 30초 "AGNI'S PHILOSOPHY"를 오프라인 렌더링 작품으로 만들어 내고, 그 과정에서 만들어진 각종 콘텐츠 데이터 등은 거의 그대로의 가져가면서, Luminous Studio 기술로 리얼타임으로 만들어 간다 ......라고하는 방식으로 제작되었다.

하시모토 : 단순히 아름다운 영상을 실시간으로 재현했습니다 뿐만 아니라 "AGNI'S PHILOSOPHY" 는 기술 데모 작품이기도 하다. 각 씬에서 기술적인 어필이 포함시킬 같은 씬 구성, 컷 분할을 의식 해 만들었습니다.

이와타 료 : Luminous Studio는 미래의 게임 제작을 주시한 게임 엔진입니다. 따라서, "AGNI'S PHILOSOPHY" 정말 리얼타임으로 작동하지만, 현재의 동작 환경은 고사양 PC되어 있습니다. OS는 64bit Windows 7입니다. 또한, Luminous Studio는 64 비트에 대응 하여 설계가 되어 있습니다.

하시모토 : 이번은 데모 용 PC에 사용하는 기기의 제조사 나 자세한 스펙은 알릴 수 없습니다만, PC 숍에서 일반적 구입할 수 있는 부품만으로 구성되어 있으며, 성능의 기준으로는 타사에서 이와 비슷한 기술 데모 영상을 보여줄 때 사용하는 PC의 스펙과 비슷한 수준이라고 파악해 주시면 좋습니다.

데모 기기는 고사양 PC 한 것이지만, 지금까지의 게임기의 진화의 역사를 되돌아 보면, 새롭게 등장하는 차세대 게임기는 그때 그때의 고사양 PC와 거의 동등한 성능 (혹은 그 이상)이 부여 왔기 때문에 이번 데모 기기도 결코 말도 안되는 무모한 스펙은 아니라는 것이다.

"AGNI'S PHILOSOPHY" 로 그래픽 스펙도 일부 밝혀지고 있기 때문에 소개해 두자면 렌더링 해상도는 1,920 × 1,080 해상도의 풀 HD 상당 프레임 속도는 가변 프레임 속도를 채용하고있어 30fps ~ 60fps 정도. HDR 렌더링 형식은 FP16 (16 비트 부동 소수점)를 채용. 취재시에 사용하고 있던 데모 기기에서는 일부 무거워지는 장면은 1,280 × 720을 채용하고 있었지만, 이것은 GPU를 상위 모델에 옮겨 놓으면 쉽게 해소 할 것으로 보인다.

1 프레임 당 폴리곤은 그림자 생성 및 후처리용 소재 등에 사용되는 중간 소재의 보이지 않는 폴리곤 렌더링까지를 포함하면 약 500 만 ~ 1,000 만 폴리곤.

【비주얼웍스 버전의 영상과 실시간 버전의 동일 장면의 비교】
왼쪽이 비주얼 웍스 제작의 프리 렌더 버전. 오른쪽이 이번에 공개 된 실시간 렌더링 버전

일반 사용자로 신경이 쓰이는 것은,이 "AGNI'S PHILOSOPHY '가 사용자 환경에서 실행 가능한 것으로 제공되는 냐는 것이다. 스퀘어 에닉스는 실제 게임의 그래픽 런타임을 기반으로 한 PC 용 벤치 마크 소프트웨어 등을 제공하고 있기 때문에, ""AGNI'S PHILOSOPHY "벤치 마크"와 같은 형태로 제공되면 꽤 재밌어 질거 같기도 하다.

하시모토 : 벤치마크 소프트를 만드는 것은 재밌어 보이지만, 그 부분은 아무것도 정해져 있지 않습니다. 죄송합니다.

실제 사용자에게 제공되면, 다양한 하드웨어에 대한 대응을 위해 호환성 검사 등이 필요하게 되며 새로운 개발 비용을 가져올 것이기 때문에, 좀처럼 결단을 내리는 것은 어려울 것이다.

단, 사용자의 입장에서 보면 실제로 자신의 환경에서 실시간 렌더링되는 모습을 실감 해보고 싶다고하는 욕구는 강한 것이고, 만일 자신의 하드웨어 성능 부족으로 낮은 프레임 속도에서만 재생한 경우 또한 "여기까지 성능을 다 사용해 실현되고있는 영상이야" 라고 실감 할 수 있을 것이다. 반대로, 높은 프레임 속도로 재생 있다면, 고사양 PC를 갖는 만족감과 재빨리 차세대 게임 그래픽을 얻은 우월감을 얻을 수있는 것이고, 이것은 최고의 팬 서비스된다. 꼭 검토해 받고 싶은 곳이다.

그러면 즉시 "AGNI'S PHILOSOPHY"의 그래픽 표현을 살펴 보자.

[실시간 실행중인 의해서 확인할 수있는 동영상】
영상의 진행을 중지 시점을 늦추거나, MAYA에서 생방송 편집하고있는 모습을 확인할 수있다

【라이브 에디트 장면 1 동영상】

【라이브 에디트 현장 2 동영상】

---

■ "AGNI'S PHILOSOPHY"의 인물 캐릭터 표현 (1) ~ NURBS 기반의 형상 구조를 가진 헤어 표현

"AGNI'S PHILOSOPHY"는 영상 작품이자 기술 데모라는 개념이 걸려 있기 때문에 매우 볼거리가 많다. 어느 의미로, Luminous Studio에 구현된 그래픽 기술의 종합 박람회 인 측면도 있고 현장마다 해설을 실시하자면 지면이 아무리 있어도 부족하기 때문에, 이 글에서는 필자가 '주목포인트' 라고 느낀 "리얼타임 캐릭터 표현 '에 초점을 맞추고 해설 해 나가기로 한다.

필자도 그랬지만, 많은 사용자가 우선이 작품을 보고 놀란건 리얼한 캐릭터 (인물) 표현이 아닐까.

먼저 주목해 주었으면 하는것이 시작 부분에 등장하는 노인의 수염과 주인공 AGNI의 머리카락이다. 여기의 표현은 너무 자연스럽기 때문에 놓치기 십상이지만, 실은 지금까지의 게임 그래픽과는 차원이 다른 기술이 적용되고있다.

【노인의 수염 동영상】
노인의 수염은 NURBS 기반으로되어있다. 실시간으로 작동하는 모습을 보인다. 연출 후 수염 색상과 곱슬 상태를 실시간 조정하는 데모가 시연되었다

기존 게임 그래픽의 모발 유형의 표현은 이른바 "핀 폴리곤"로 불리는 것을 심거나 혹은 모발 단면 (쉘)를 외피를 형성 하듯이 층을 쌓는 방법을 취하고 있었다. 각각 법, 쉘 법이라고하지만, 전자는 "미역"이 심어져 있는 것처럼 보입니다 후자는 "먼지"가 쌓여있는 것으로 보인다. 세세한 모발이 다발로 되어 리얼한 "머리"의 질감을 표현하는 것이 어려웠던 것이다.

"AGNI'S PHILOSOPHY '에서는 모발 유형에 핀 법을 보조적으로 이용은 하고 있지만, 메인의 표현방법으로 새​​로운 기술을 채택하고있다.

Remi Driancourt 씨 (스퀘어 에닉스, 기술 추진 부, 수석 R & D 엔지니어)

Remi Driancourt 씨 : 모발 하나하나에 대해 NURBS 커브의 제어점을 MAYA으로부터 제공 형태로 머리와 수염을 디자인하고 있습니다. 이 제어점의 정보를 런타임 측에 전달 런타임 측에서 처음으로 진짜 머리로 렌더링 한다는 흐름을 가지고 있습니다.

"AGNI'S PHILOSOPHY"는 모발 류는 하나하나의 형상을 가지고 있으며, 2개의 버텍스로부터 이루어진 선분을 기초 단위로 하고 있다. 실제 머리카락이 하나의 선으로 되어 있는 것과 마찬가지다.

이 하나의 선을 NURBS (Non-Uniform Rational B-Spline : 비균일 유리 B 스플라인) 법을 이용하여 실제 모발과 같은 곡선으로 변환한다. NURBS는 주어진 여러 개의 제어점에서 산술적 인 곡선 (곡면)을 생성하는 기술이다. 2개의 버텍스로 이루어진 선을 다 정점으로 이루어진 NURBS 곡선으로 변환하는 데 테셀레이션 스테이지를 이용하는 것이다. 테셀레이션 스테이지는 프로그래블하게 프리미티브 (폴리곤과 라인)을 분할하는 기법으로, DirectX11 세대의 GPU에 새롭게 탑재 된 새로운 쉐이더 스테이지이다.

구체적인 파이프 라인은 상당히 복잡하지만 흥미롭다. 먼저 테셀레이션 스테이지의 헐쉐이더로 주어진 NURBS의 제어점을 바탕으로 표현하고자 곡선 정밀도를 산출하고, 테셀레이터에서 실제로 그 정밀도에 따라 선을 분할한다. 또한, 분할 정밀도는 시점으로부터의 거리에 따라 값이 결정되는 것으로 보인다. 그리고 도메인 쉐이더에서 곡선으로 의미 부여하는 작업을 수행한다.

Driancourt 씨 : 여기에서 선분으로 렌더링 해 버리면 시점과의 거리와 관계없이 1도트로 렌더링 되어 버립니다. 이것이라면 머리카락으로 볼륨 감이 부족하여, 볼륨 감을 높이기 위해 여기에서 지오메트리 쉐이더를 사용합니다.

헤어은 수많은 머리카락으로 되어 있지만, 이것을 하나 하나 심어 두는 것은 너무 정황하다. 왜냐하면 인접한 모발 끼리는 거의 같은 거동을 나타내는, 실제로 현실 세계의 인간의 머리를 빗으로 빗질 때도 일정량의 모발이 묶어 머리 모양이 형성되는 것은 자신 거울을 보면 납득이 갈 것이다.

인간의 두피에는 약 10 만개의 모발이 자라고 있다고 하지만, "AGNI'S PHILOSOPHY '에서도 데이터로 존재하는 것은 대표의 모발만으로 10 만 개의 선분 지오메트리를 캐릭터 두피에 설치하지 않았습니다. "AGNI'S PHILOSOPHY '에서는 테셀레이션 스테이지에서, 그 대표 모발 곡선 상태를 산출 한 후, 이번에는 지오메트리 쉐이더에서 대표 모발을 증모시키는 것이다. 지오메트리 셰이더는 정점을 프로그래머블로 증감시키는 기구로, DirectX 10 세대의 GPU에서 탑재 된 쉐이더 스테이지이다 (Wii U는이 세대의 GPU를 탑재한다).

"대표 모발을 증모'라는 개념은 NVIDIA의 HAIR DEMO 에서도 사용하는 개념이다.

【두발】
대부분이 겹쳐 잘 보이지 않지만, 세밀하고 파란 헤어가 대표 모발, 빨강이 지오메트리 쉐이더에 의해 증모 된 모발 (왼쪽) 최종 영상 (오른쪽).

Luminous Studio의 이러한 HAIR 엔진 부분은 천연 파마인 "곱슬 머리 · 파마"(Twisted Hair)의 요소도 포함시킬 수 있게 되어, "AGNI'S PHILOSOPHY '에서도 캐릭터에 따라 그 기능을 활용하고 있다라고 한다. "AGNI'S PHILOSOPHY"에서 이러한 정교한 모발 표현의 런타임 구현은 기술데모적인 의도가 크다고 생각하지만, 헤어 스타일을 리얼 타임으로 변경하고, 모발을 실시간으로 늘리거나 혹은 짧게 단발 화하거나, 혹은 머리카락의 양을 늘리거나 줄거나 ......라고 새로운 그래픽 표현의 가능성을 모색하고 있는 것 같은 생각도 든다.

【노인의 수염은 런타임에서 조정 가능】
수염은 캐릭터 모델에 파라미터를 주어 심어진 형태로 되어 있기에 런타임시에 어떻게 자라게 할것인지 변경하는것도 가능하다

Driancourt 씨 : 머리카락 쉐이더도 꽤 풍부한 기술을 채용하고 있습니다. 머리카락이 빛에 닿으면 그 반사광, 머리카락에 들어가 출사하는 투과광, 머리카락 내부 산란하고 다시 나오는 출사광의 3개의 요소가 있는데, 이들에게 전부 고려하여 라이팅을 행하고 있습니다.

빛이 머리카락에 닿으면 상당한 비율이 그 표면에서 경면 반사 해 거기에 하이라이트를 낸다. 이것이 첫 번째 요소로 이 하이라이트는 주로 광원색으로 강하게 나오게 된다. 그리고 머리카락에 침투 한 빛은 감쇠하면서도 모발 자체의 색을 흡수하고 방출한다. 출사광 중 입사측에 돌아와 보조 하이라이트를 형성하는 것이 두 번째 요소로 모발을 투과하여 출사하는 투과광이 세 번째 요소가 된다. 덧붙여이 모발 색깔에서 출사광 색은 밝은 원색보다 모발색이 지배적이다. 이 근처의 설명과 CG를 위한 라이팅 모델로 구현 Steve Marschner 씨의 SIGGRAPH2003 논문 에 상세하다.

【머리카락의 라이팅】
두발의 라이팅은 Steve Marschner 씨의 논문에 근거한 방법을 채택

---

■ "AGNI'S PHILOSOPHY"의 인물 캐릭터 표현 (2) ~ 촉감까지를 연상시키는 피부 표현

표면하산란 개념

백색광을 피부에 비추었을때 비춰지는 것 주위의 색이 어떻게 새어나가고 있는가를 계측한다

그리고 압도적 인 리얼리티를 보여주었던 것이 인체의 피부 표현이다. 특히 얼굴은 서두에서 나왔던 노인, 교주, AGNI도 투명감이있는 살갗 표현이 이루어지고 있으며, 현세대기에서 플라스틱스럽거나, 초벌구이 도자기 같은 마른 질감과는 분명 다르다 .

촉촉한 "지방질이 있는 느낌"이 있어 광원으로 부터의 빛이 한 번 스며에서 배어 나오는 듯한 이른바 표면하산란 (Subsurface Scattering)의 시뮬레이션을 하고 있는 것 같은 질감을 재현 할 수 있다.

레이 트레이싱 같은 방법이 가장 표면하산란을 정확하게 실현하는 방법이지만, 정작 실시간으로 하기에는 무리가 있기 때문에 몇가지 비슷한 방법을 사용하게 된다. 다양한 비슷한 방법이 고안 되어 오고 있지만, 그중 유명한것은 NVIDIA가 GeForce 8 시리즈에 공개한 "Adrianne"데모이다.

Adrianne는 표피의 반사율 텍스처를 적용한 후에 안면 (인체)에 대해 확산 반사 모델의 라이팅을 행하지만, 그 렌더링 결과를 "어떤 프로파일 데이터"에 따라 텍스처 좌표계에서 뭉개고 다시 그 얼굴 (인체) 모델에 텍스처 매핑하는 대담한 수법을 채용했다.

그 "어떤 프로파일 데이터"는 피부에 침투시킨 백색광이 어떻게 방출 하는지를 빛의 파장마다 측정 한 것이다.

【리얼한 피부 질감]
피부의 표현에는 유사적인 표면하산란을 적용한 스킨 쉐이더를 사용하고 있다

【 "Adrianne"데모】
원점이 백색광 비춘 점. 가로축이 빛을 비춘 점으로부터의 거리. 세로축이 반사율. 즉, 빛을 비춘점으로부터 멀수록 밝은 빛이 나온다고 위 그래프에서 말할수 있다.  (왼쪽). Adrianne 데모의 유사 표면하산란 파이프 라인 (오른쪽)
블러 전 (왼쪽), 블러 후 (오른쪽)
이 기법으로 실시간 렌더링 된 안면

NVIDIA는 이 기술을 6개의 블러 반경에서 블러시킨 것을 합성하여 여러 계층의 표피에서 산란 질감까지 재현하였으며 실시간 용 스킨 쉐이더로 매우 높은 수준의 표현을 실현했지만 처리 부하가 꽤 무거웠다. 이 기술을 현장에 여러 캐릭터가 등장하는 경우 이용 하려고 하면 엉뚱하게 텍스처 헤비 처리를 모든 캐릭터에게 행하지 않으면 안되니 퍼포먼스가 나오지 않는다.

Driancourt 씨 : 텍스처 좌표계의 유사표면하산란 방법은 퀄리티는 높아집니다 만, 부하으로 1개의 캐릭터에 적용하는 것이 한계라고 생각합니다. 우리도 확산 반사의 라이팅 결과를 사람의 피부에 침투 한 빛이 다시 방출하는 분포에 대한 정보를 블러시키는 개념 자체는 동일하지만 "AGNI'S PHILOSOPHY"는 화면 좌표계 (Screen Space)에서 블러시키는 방법 을 채택했습니다.

【유사표면하산란의 효과】
확산 반사(diffuse)
확산 반사(diffuse)에 화면 좌표계(screen space coordinate) 블러를 적용하여 유사표면하산란을 적용한 결과
스펙큘러
유사표면하산란 off (확산 반사(diffuse) + 스펙큘러)
유사표면하산란 on. (확산 반사(diffuse) × 유사표면하산란 + 스펙큘러). 최종영상은 이렇게 나온다

즉, 유사표면하산란을 위해 블러 처리를 화면 좌표계의 포스트 프로세스 적으로 실시한다고 말하는 것이다. 이 방법이라고, 1 프레임에 인체가 하나 뿐이지 만, 100 명 있든 거의 동일한 처리 시간으로 끝난다. 다만, 시점에서 가까운 인체와 먼 인체에서는 블러 반경이 달라진다. 가까운 캐릭터는 크게 블러시켜야하며, 먼 캐릭터는 작게 블러 시킬 필요가 있다. 이에 대해서는 아마 깊이 버퍼를 참조 블러 대상의 원근을 판별 한 다음 블러 반경을 결정하는 것으로 보인다. 포스트 프로세스의 기본인 피사계심도 표현에도 초점이 맞는 부분과 어긋나 있는 부분을 뭉갤때의 바이어스를 깊이 값을 바탕으로 결정하지만, 그것과 같은 개념이다.

---

■ "AGNI 'S PHILOSOPHY"의 인물 캐릭터 표현 (3) ~ 피부의 "그림자(影)"와 "그늘(陰)"

대부분의 사람들이 깨닫지 못하는 것 때문에 다시 영상을 볼 수있는 기회가 있을 때에, 인물 캐릭터에 투사되는 그림자에 주목 해 주었으면 한다. 그 그림자가 얼굴과 옷을 가로 지를때에 생기는 반 그림자와 다르다는것에 눈치를 챌 것이다.

옷에 나타나고 있는 그림자의 윤곽(edge)는 이른바 보통 근방비율필터링 (PCF : Percentage Closer Filtering) 기반의 소프트 쉐도우 처리가 이루어진 반그림자가 되어 있지만, 안면에 나타나 있는 그림자쪽의 반 그림자 표현은 희미하게 붉은 빛을 띄고 있다. 그림자의 엣지에서는 빛이 닿고 있는 곳에서 전파되어 온 빛이 비쳐 오기 때문에 이런 붉은 빛을 띠는 것이다. 현실 세계에서도 살갗에 그림자가 떨어지면, 그림자의 외각부분이 이렇게 된다. "AGNI'S PHILOSOPHY '에서도 이 표현이 재현되고 있지만, 이것은 이번 구현한 화면 좌표계의 유사표면하산란 표현의 부산물이 된다. 특별한 마스크 처리를 하지 않는한 자연과 이런 표현이 나오는 것이다.

하시모토 : 이번 "AGNI'S PHILOSOPHY '에서는 Ambient Occlusion은 Screen Space의 것이 아니라 미리 계산하여 Ambient Occlusion의 텍스처에 구운 사용 했습니다. 전방위의 차폐율로부터 산출되는 음영 값을 저장하는 기존기법과 구면조화함수(계수)을 기록하는 기술도 채용하고 있습니다.

이와타 씨 : 구면조화함수와 Ambient Occlusion은 광원과의 위치관계에 의해 제대로 음영의 표현이 정확히 변합니다. 흑백 색조값만 있는 기존의 Ambient Occlusion은 '피규어에 대해 잉크로 마무리한것"같은 것으로, 원리 상, 사라져 주었으면 하는데 사라져주지 않는군요. 콧날과 뺨의 교차 선 등으로 광원의 위치 관계와 상관없이 근육이 나와 있거나 하면 부자연스럽습니다. 그러한 경우처럼 비교적 정확한 자기차폐(self shadow)을 재현하고 싶은 부분은 구면조화함수 쪽을 채용하고 있습니다.

"AGNI'S PHILOSOPHY"의 캐릭터의 콧 구멍은 농담 값만을 가지는 Ambient Occlusion 의한 음영이 되는 것이지만, 단순한 흑백 색조로 되어 있지 않다. 이것은 이 전에도 말한 그림자에 엣지에서 볼수 있는 유사표면하산란 부산물 효과뿐만 아니라 픽셀 쉐이더로 구현 한 '유사보조반사광" 효과 같은 제어가 개입하고 있다고 한다. 구체적으로는, 그 캐릭터의 표피 반사율 텍스처의 채도 정보를 흑백 음영 정보에 약간 가미한 제어이다.

평소에는 의식하지 않으면 볼 수 없다고는 생각하지만, "AGNI'S PHILOSOPHY" 의 등장 인물 얼굴의 "움푹 들어간 부분" 또는 "구멍" 에 주목 해 보면 새로운 발견이 있을지도 모른다.

【그림자(影)"와 "그늘(陰)]
옷에 투사 된 팔의 그림자와 안면에 투사 된 팔의 그림자 외곽선(edge)에 표현의 차이에 주목

---

■ "AGNI'S PHILOSOPHY"의 인물 캐릭터 표현 (4) ~ FF 계의 미소녀 캐릭터에서도 사람 냄새가 배어 나오는 연기력은 어디에서 오는가?

인간은 사람과 유사한 것을 볼 때, 일정한 리얼리티의 경계를 초과하지 않으면 그것을 "진짜 사람이 아니다"라고 판단하고, 부족한 부분을 뇌에 삽입하고 오히려 그 대상을 "사람에 가까운 귀여운 물건"고 느낀다. 예를 들어 데포르메 캐릭터, 의인화 된 캐릭터 등을 봤을 때이 그러한 상황이다.

한편, 이러한 비리얼보다는 리얼하지만 진짜 인간보다는 리얼하지 않다 라는 '리얼 / 비 리얼의 경계' 부근의 '사람을 본 뜬 것 "에 대해 인간은 혐오와 공포감을 느낄것이다. 이러한 "인지경계"는 "Uncanny Valley 현상" 이라고, CG 산업 및 로봇 산업은 종종 논쟁의 대상이 된다.

"AGNI'S PHILOSOPHY"는 상당한 리얼 지향의 캐릭터가 등장하고 있지만, "Uncanny Valley 현상"은 느껴지지 않는다. 오히려 그러한 '리얼 / 비리얼 " 판단보다 빨리 등장하는 각 캐릭터들의 얼굴의 연기력에 눈을 빼앗겨 버린다. 시작 부분에 나오는 교주 같은 노인 캐릭터는 무엇을 말하고 있는지를 몰라도 그 열변 모습에서 무서운 분위기 강요하는 것이 전해져 온다.

[소녀 AGNI]
인간미 넘치는 표정을 짓고 본편 주인공 소녀 AGNI

또한 후드를 벗은 상태에 주인공 AGNI도 교주에 지지 않아라고 말할듯한 강렬한 표정을 보여준다. AGNI은 지금까지 스퀘어 에닉스 계열 (더 말하면 FF 계)를 방불케하는 매우 이목구비 뚜렷한 예쁜 얼굴인데, 마법을 쥐어 짜내어 무리하게 발동하는 표정이나, 마술 치료 에서의 고통으로부터 괴로워 하는 표정은 살아있는 사람 냄새를 전해지기 때문에 보면서 "리얼리 / 비 리얼" 에 대한 판단의 틈을 주지 않는다.

노즈에 : 우리 비주얼 웍스 부가 영상 제작을 할 때 이용하는 페이셜 모션 캡쳐 데이터를 템플릿으로 활용하고 있습니다. 리깅 (제어용 간접) 쪽도 근육 기반 방식으로주고 있으며, 그 수는 상당 많아 현행 기의 게임 그래픽에서 사용 수준을 넘어서고 있습니다..

구체적인 숫자로 말하면, 교주의 얼굴에 리깅수 300 개 이상 AGNI 쪽도 300 개 이상이 되고 있다. 이것은 거의 영화용 CG의 퀄리티이다. 다만 안면 근육이 아무리 인간의 움직임을 그대로 재현했다고해도, 그것만으로는 "Uncanney Valley 현상"이 생길 뿐이다.

"AGNI'S PHILOSOPHY"가 "Uncanney Valley 현상" 를 넘어 설수 있었던 것은 인간다운 안면 연기뿐만 아니라 초반에 언급한 충분한 피부 표현의 리얼리티가 함께 있기 때문일 것이다.

【무서운 분위기를 강요하는 연기력을 보이는 캐릭터들]

---

■ "AGNI'S PHILOSOPHY"의 인물 캐릭터 표현 (5) ~ 살아 있는 "눈빛" 을 일으키는 안구 쉐이더

"AGNI'S PHILOSOPHY '에 대해 "얼굴의 연기는 실제 인간의 움직임에서 가져 온것이기에 현실적인 것은 당연하다 "는 지적이 있을지도 모른다. "지금까지도 'LA 느와르', '바이오 하자드 5' 등 을 비롯해 페이셜 모션 캡쳐 기술을 응용 한 게임이었다"는 지적도 있을 것이다.

이것을 전제로 생각하여 봐도 "AGNI'S PHILOSOPHY" 캐릭터의 연기력에는 "기백"라고 할까 "정기"를 느낀다. 이것은 필자의 마음대로 추론되지만, "AGNI'S PHILOSOPHY" 에 등장하는 캐릭터들이, "Uncanney Valley 현상" 를 넘을 수 있었던 것은 "살아 있는 눈빛" 에도 큰 요인이 있다고 생각 있다.

이와타 씨 : 인간은 인간을 볼 때, 역시 눈을 볼거든요. 지금까지의 게임 그래픽은 안구의 재현에 너무 힘을 쏟지 않았어요. "AGNI'S PHILOSOPHY" 는 실시간 그래픽이라는 제한된 환경에서 '살아있는 눈' 을 재현하기 위해 상당한 귀찮은 일까지하고 있어요 (웃음).

인간의 눈은 완전한 구형이 아니라 각막은 볼록 튀어 나와 있고, 홍채는 안쪽에 있다. 검은 눈은 동공 안쪽의 어두운 부분이므로, 실은 안구의 내부 측면에 존재한다. 따라서 정면에서 안구를 보았을 때에는 모르겠지만, 상대의 시선을 기울기에서 보았을 때 자신의 시선은 상대의 눈의 볼록한 각막에서 굴절하게 되어, 결과적으로 빗겨져 왜곡된 홍채 나 동공 (검은 자위)를 보게 된다.

또한 그 씬에 빛나는 광원이 있는 경우에는 안구의 홍채와 동공 (검은 자위) 부근에 하이라이트가 나오지만,이 하이라이트의 나오는 모양도 실은 인간의 안구 특유의 형태를 하고 있다.

【살아 있는 눈빛을 만들어 내고 있는 안구 쉐이더】
살아있는 눈의 표정은 특별히 다룰 안구 쉐이더 효과에 의한 것이다

첫째, 안구 표면은 눈물로 젖어 있기 때문에 광원으로부터의 빛은 각막 입사시에 경면 반사(스펙큘러)를 일으킨다. 이때 반사광이 1차 하이라이트이다. 이 눈물에 의한 경면 반사를 벗어난 빛은 볼록한 각막에 입사하지만, 이때 앞에서 언급한 시선과 마찬가지로 굴절한다. 각막에서 굴절해 입사 한 빛은 앞쪽에 스양액 (눈의 앞쪽 공간을 채우는 맑은 용액, 그 공간)을 통과 해 수정체에 도달한다. 여기에서 입사광은 반사하고 이번에는 반대의 경로를 거슬러 올라가 볼록하게 나온 각막에서 굴절하면서 출사한다. 이것이 2차 하이라이트이다.

노주에 : 비주얼 웍스 부에서 제작하는 프리 렌더링 영상은 이러한 안구의 외관을 레이트 레이싱으로 정확하게 재현하고 있습니다. 실시간으로 이를 그대로 실현 하는 것은 현 단계에서는 어려워요.

이와타 : 그래서, "AGNI'S PHILOSOPHY" 에서는 그러한 현상을 유사하게 재현하는, 말하자면 안구 쉐이더를 집어 넣고 있어요.

그 유사 수법 "안구 쉐이더"의 메커니즘 자체는 그다지 복잡하지 않다. 안구의 픽셀을 렌더링 할 때 시선 벡터를 굴절 시키고 나서 (실질적으로는 오프셋시키고 나서) 홍채와 동공 (검은 자위)의 텍스처를 샘플링 하는 것으로 구현된다. 효과는 홍채와 동공 (검은 자위)이 움푹들어가 조금 어긋나 보인다. 광원으로 부터의 빛을 받아 안구에 출현하는 1차 하이라이트 및 2차 하이라이트도 같은 방식으로 구현된다. 또한, 볼록 나와있는 각막은 노멀 맵에 의해 재현되고있다.

이와타 씨 : 안구에 나오는 하이라이트는 그 씬에 배치 된 광원을 보고 렌더링 됩니다. 모든 광원에서 하이라이트를 낼 수도 있으며, 의도적으로 배출되지 않을 수 있습니다. 엔진에 환경 맵에서 안구 주위의 정경을 비치 게 할 수 있습니다. 이러한 하이라이트와 인간의 흰자위 (공막)는 피부와 같은 표면하산란 하기 때문에 피부에서 행하고 있는 유사표면하산란의 영향을 받게합니다.

이러한 정보를 바탕으로 영상을 다시 보면, "AGNI'S PHILOSOPHY"에 등장하는 캐릭터들의 안구가 단순한 불투명 한 구형이 아닌 표면에 약간 두께가있는 투명한 층이있는 것 같습니다. 하지만 실체로서의 형상 모양은 단순한 표피 부의 한 층에서만 모델링되지 않는 구형에 불과하다. 안구에 보이는 "깊이" 이 안구 쉐이더에 의해 재현 되고 있는 '효과'인 것이다.

---

■ 광학 포스트 이펙트는 "YEBIS"를 채용

"AGNI'S PHILOSOPHY" 마지막 크레딧 화면에 "YEBIS"로고가 있었다는 것을 깨달은 사람은 있었을까. YEBIS는 지난 2 월 본 연재에서 다룬 실리콘 스튜디오 포스트 효과 미들웨어이다.

[포스트 효과의 일부 YEBIS2을 채용】
아름다운 포스트 효과의 일부는 실리콘 스튜디오 포스트 효과 미들웨어 "YEBIS2 '에 의한것
YEBIS의 DOF에 대한 설정을 확인할 수있다 (화면 좌측 상단 부근)

"AGNI'S PHILOSOPHY"에서는 리얼 HDR (High Dynamic Range) 렌더링 기반의 노출 시뮬레이션, 피사계 심도 표현, 색 온도 조정, 색조 변화 같은 포스트 효과의 일부를 YEBIS 의해 실현하고있다.

하시모토 : Luminous Studio의 연구 개발 과정에서도 동종 포스트이펙트들은 있었기에, 저희들이 직접 만들어도 상관은 없지만, 일관된 광학 시뮬레이션 결과로 포스트이펙트가 실현되느 YEBIS은 이미 높은 레벨에서도 조정하기 쉬운 형태였기에, "AGNI'S PHILOSOPHY '의 제작 시간을 단축 할 것이라는 판단에서"AGNI'S PHILOSOHPY " 에서의 채택을 결정했습니다. 내장도 매우 간단했습니다.

노주에 : 비주얼 웍스부의 저희가 봐도 YEBIS의 퀄리티에는 납득이 가는 수준이 었지요.

"모처럼의 Luminous Studio 기술 데모이기 때문에 전부 자기가 가담  할 수 있으면 좋았을 텐데"라는 소리도 들리지만, 단지 작년 본 연재 "Luminous Studio"편 에도 하시모토 씨는 "Luminous Studio는 외부 모듈이나 외부 미들웨어를 통합 형태로 기능을 추가하거나 특정 기능을 위임하는 등이 가능한 컨셉으로 하고 있다" 는 언급을 했기 때문에 어떤 의미에서 YEBIS의 채용은 그러한 외부 미들웨어의 기본 실험 적인 측면도 있었을지도 모른다.

---

■ 마치며

"AGNI'S PHILOSOPHY"은 그 밖에도 기술적으로 볼 점이 있지만, 이번에는 가장 감각적 인 부분이며, 누구나 아는 차세대감이 느껴지는 리얼타임 캐릭터 표현에 초점을 맞춰 보았는데 어떠하셨는지.

현재의 하이스펙 PC 하드웨어가 있으면 실시간 렌더링에서 여기까지 할 수 있다고 한다. "차세대기의 게임 그래픽은 여기까지 갈 수 있을지도 모른다"는 "꿈과 희망"을 구체적인 형태로 보여준 것. 무엇보다 이를 일본의 게임 스튜디오가 보여준 것을 기쁘게 생각한다. 일단 기술 비하인드을 느끼지 않을 수 없었다 Xbox 360, PS3 등장 전날과는 분명하게 다른 상황에 있다는 것을 실감한다.

하나, 굳이 찬물을 끼얹는 같은 말을 해 주면 이번 기술 데모는 모든 연산 자원을 그래픽 표현에 할당 된 결과물이라는 것이다. 현장 배포 제어 입력 제어 적 AI 제어, 게임 물리 등 다양한 게임 로직은 이번 'AGNI'S PHILOSOPHY "에 포함되지 않았기 때문에 실제 차세대 게임기의 게임 그래픽은 어쩌면 이번"AGNI'S PHILOSOPHY "의 퀄리티에서 약간 후퇴 한 것이 될 가능성도 부정 할 수 없다. 하지만 그래도 반드시 "Uncanney Valley 현상" 은 넘어 설것이다.

마지막으로 하시모토 씨에서 사용자에게 향한 메시지를 들었다.

하시모토 : 이번 "AGNI'S PHILOSOPHY" 우리가 다루는 차세대 게임 엔진 "Luminous Studio '의 쇼케이스 입니다. 나도 직원들도 기합이 너무 들어가 버린 느낌은 부정 할 수 없지만 (웃음) 3분 30초 영상 작품으로 제대로 보고 봐줄만 하다는 것에 만족하고 있습니다. 본작을 통해 스퀘어 에닉스가 가까운 미래에 이런 수준의 게이밍 경험을 제공 하고자 하는 메시지는 담은 것입니다. 앞으로도 Luminous Studio 의 발전에 기대주세요.

[스크린 샷]
차세대 기의 존재하지 않는 현재 AGNI'S PHILOSOPHY는 현재의 비교적 높은 스펙의 PC에서 작동하고 있다. "현세대기에서의 한계'에서 해방되면 실시간 렌더링에서 여기까지 표현이 가능 할것이다