[컬럼] 새턴의 음성/동영상 압축 기술

[Thunder Force V]

 

게임라인 99년 2월호 기획 기사에 있는 내용입니다.

┌──────────────────────────────────────┐

│                  부드럽고 딱딱한? 새턴 소프트&하드 강좌                    │

└──────────────────────────────────────┘

 알면 좋고 몰라도 게임생활에 전혀 지장을 주지 않는 조조의 계륵(주 0)과 같은 기

획. 하지만 이것을 모두 알게 된다면 당신은 오늘부터 새턴 매니아!

 ------------------------------------------------------------------------------

ADX

━━━━━━

 게임에서 게이머에게 들리는 '소리'는 게임기에 내장된 사운드 칩을 이용해서 말 그

대로 '음악을 연주'하는 것(BGM 같은 것)과, 미리 만들어진 소리들을(가장 많이 이용

하는 것은 역시 사람의 음성. 기술이 아무리 발전해도 아직 사람의 음성을 만들어 낼

수는 없다) 미리 저장했다가 사용하는 2가지가 있다.

 이중 BGM부분은 32비트기로 오면서 비약적인 발전을 해서 이제는 거의 간이 MIDI 수

준의 연주가 가능해졌지만, 미리 녹음된 대사는 새턴과 같은 CD-ROM 기기에서는 몇가

지 문제점에 부딪힌다. 그것은 CD-ROM기계의 숙명인 로딩과 메모리….

 당연히 CD-ROM은 느리기 때문에 본체의 램으로 읽어오게 된다.  이렇게 하면 당연히

시간이 걸리게 되고 읽어온 데이터는 저장할 공간이 필요라다. 문제는 새턴에는 오디

오 메모리가 512KB밖에 없다는 사실.  생각 같아선 꽉꽉 압축이라도 해서 집어넣으면

좋겠지만… 불행하게도 새턴은 음성데이터 압축기능이 없는 PCM(주 1)방식이다.

 많은 음성데이터를 넣기 위해서는 궁극의 비기 '샘플링 레이트(Sampling Rate) 떨어

트리기(주 2)'를 사용하게 된다. 이렇게 하면 많은 양을 저장할 수 있게 되지만 음질

이 떨어지게 된다(P자로 시작하는 S모사의 게임기는 최대 4배 압축까지 가능한 ADPCM

(주 4)방식을 사용해서 같은 용량의 메모리에 더 깨끗한 음질의 데이터를 더 많이 저

장할 수 있다). 물론 1MB나 4MB 램팩이 나오면서 램팩 대응의 게임은 높은 수준의 음

질로 유저들의 귀를 즐겁게 해줄 수도 있지만, 모든 게임이 램팩을 지원하지 않는 것

이 현실. 그렇다면 포기할 것인가?

 …아니다. 인류의 역사는 도전과 응전의 역사…. 해결책은 있다.

 그것은 바로 ADX!

 ADX는 세가의 모회사인 CSK 그룹 산하에 있는 CSK 총합 연구소(약자 CRI연구소)에서

만든 일종의 '음성 데이터 압축 포맷'과 이를 사용하는 '사운드 라이브러리' 의 총칭

이다. 현재 ADX는 버전 4.0까지 나와 있고 처음에 시작된 단순한 데이터 압축에서 이

제는 여러 가지 다양한 기능을 지원한다. 최신 4,0버전에서는 CD음질 수준의 44.1MHz

샘플링 데이터를 640MB CD-ROM에 4시간을 저장할 수 있다고 한다.

 그렇다면 하드웨어적으로 압축기능이 없는 새턴에서 압축 기술을 사용하면 CPU를 압

축 푸는데 사용해야 하는데, 그러면 '게임 플레이중 갑자기 게임이 멈추고 압축을 풀

지 않겠냐?'는 의문이 생기겠지만… 대답은 '아니다'이다. 오히려 ADX를 사용할 경우

PCM을 그냥 사용하는 것보다 CPU에 무리를 주지 않는다.

┌────┬────────────────────┬────────────┐

│        │                 ADX                    │          PCM           │

├────┼────────────────────┼────────────┤

│        │    메모리 재생         CD파일 재생     │                        │

├────┼─────────┬──────────┼────────────┤

│ 모  노 │       1.7%       │        3.4%        │          6.0%          │

├────┼─────────┼──────────┼────────────┤

│스테레오│       1.9%       │        4.7%        │          10.0%         │

└────┴─────────┴──────────┴────────────┘

 위의 표에 나오는 %는 CPU에 걸리는 부하를 의미한다. 즉 PCM방식의 44.MHz데이터를

스테레오로 나오게 하기 위해서는 CPU성능의 10%가 사용된다는 의미다.  그런데 위의

표를 보면 알 수 있듯이, ADX를 사용해서 압축을 푸는 것이 PCM방식을 사용해 압축기

능을 쓰지 않은 것 보다 속도가 빠른 마술같은 일이 발생하는데….  이것은 새턴만의

특징이면서 동시에 서드파티들이 새턴을 다루기 힘들게 하는 양날의 칼인 DSP칩을 사

용하기 때문이다.  ADX는 새턴의 사운드를 담당하는 부 CPU인 모토롤라의 68000과 건

그리폰의 3차원 입체 음향처리에 사용된 SCSP-DSP칩을 이용해서 음성데이터의 압축을

해제한다.

 ADX 4.0의 주요 기능은 이것 이외에도 멀티-스트림(Multi-Stream) 기능이  포함되어

있다.  스트림(Stream)이란 간단히 요약하면 연속된 일련의 데이터를 말하는 것이다.

즉 컴퓨터의 하드디스크에 저장되어 있는 파일이나 CD에 녹음되어 있는 음악 등을 모

두 스트림이라고 부를 수 있다(정확한 의미는 아니지만 그냥 디스크 상의 파일(File)

같은 것이라고 생각하면 된다).  ADX 4.0에서 지원하는 멀티-스트림이란 기능은 간단

히 설명하면  스트림의 앞에 멀티라는 말이 붙어있는 것에서 알 수 있듯이 동시에 여

러 개의 스트림을 읽을 수 있는 기능이다.

 즉, 사운드 파일을 읽어 소리를 내면서, 다른 파일(예를 들면 캐릭터의 대사나 그래

픽 데이터 등)을 읽게 해준다는 것이다. 이 기능을 사용하면 음성을 플레이하면서 다

음에 등장할 캐릭터의 데이터를 읽게 해서 유저의 '체감 로딩시간'자체를 없앨 수 있

게 된다. 물론 이 멀티-스트림 기능을 사용한다고 해서 새턴의 CD-ROM이 갑자기 같은

시간에 2배의 데이터를 읽게 해준다는 것은 아니고, 여러 개의 데이터를 동시에 읽게

해줄 뿐이다.  현재 ADX 4.0을 이용한 것은 새턴용 멀티미디어 타이틀 '라라 선샤인'

과 게임아츠의 그란디아가 있으며,  프린세스 메이커 3, 루나 ∼이터널 블루∼, 바로

크 등에서  사용될 예정이다.  멀티 스트림이 가능한 이유는 새턴의 데이터의 흐름을

처리하는 SCU 칩이 DSP칩이기 때문. 고로 데이터버스(주 4)처리에 관한 프로그래밍이

칩 차원에서 가능하다.

동영상 포맷

━━━━━━━

 MPEG

----------

 MPEG는  Motion Picture Experts Group의  약자로 '동영상 전문가 그룹'이라는 약간

해괴한 이름의 동영상 포맷이다.

 MPEG는 국제표준을 정하는 ISO라는 단체에서 만든 동영상 포맷으로, 우리가 흔히 보

는 비디오 CD도 이 MPEG규격으로 만들어진 것이다.현재 MPEG2가 개발이 완료되어 DVD

플레이어에 사용되기 시작했다. MPEG3 규격은 MPEG2에 흡수되어 없어지고, 느린 통신

선(예를 들면 전화선을 이용한 화상전화) 에서 동영상을 전달하기 위한 MPEG4가 개발

중이다.

 MPEG의 원리를 간단히 설명하면(MPEG 뿐만 아니라 모든 동영상이 기본적으로는 같은

이론에서 출발한다. 만약 어떤 사람이 말을 하고 있는 비디오를 MPEG으로 압축한다고

하면 입과 손등을 제외한 많은 부분이 움직이지 않는다.  이때 움직이지 않는 부분은

버리고 움직이는 부분만 압축해서 저장하는 방식이다.  새턴에 옵션으로 판매되는 무

비카드를 장착하거나 빅터의 트윈 오퍼레이터를 구입하면 비디오CD를 볼 수 있고, 무

비카드를 지원하는 게임(건그리폰, 배틀바, 사쿠라대전 ∼화조통신∼)에서는 보다 깨

끗한 화질의 동영상을 볼 수 있다.

 JPEG

----------

 JPEG는 'Joint Photographic Expert Group'의 약자로서, MPEG가 동영상 포맷인 반면

에 JPEG는 정지된 이미지의 압축방식이다.

 사실 JPEG는 MPEG를 위해 개발된 포맷이다(MPEG에서 사용되는 각 프레임은 JPEG으로

저장된다는 것을 아는지?).  이 JPEG 압축방식은 '손실압축방식'으로 저장되는데, 이

'손실압축'이란 압축이 될 때 원본 그림의 화질을  저하시키면서 저장된다는 의미다.

또한 JPEG는  압축 저장을 할 때 그 압축률을 지정할 수 있다.  즉, 압축률을 올려서

화질을 떨어뜨리고 용량을 줄일 것인지, 아니면 화질을 올리고 용량을 높일 것인지에

대해서 여러 단계로 지정할 수가 있는 것이다.

 모션 JPEG(Motion JPEG)

-----------------------------

 모션 JPEG는 MPEG에서 갈라져 나온 기술로,  초창기 MPEG가 제대로 구현되는 하드웨

어가 없던  시절에 많이 사용되었다.  동영상 방식은 MPEG같이 복잡한 과정을 거치지

않고 비디오 데이터를  그냥 연속된 사진들로 저장한다(영화필름의 방식과 거의 같다

고 생각하면 된다). 재생할 때는 흡사 슬라이드를 초고속으로 돌리는 것과 같은 방식

으로 정지영상 이미지를 계속 화면에 뿌려줌으로서 동영상을 구현하는 스타일. S모사

의 P모 게임기와 N모사의 PC-FX라는 기계들이 모션 JPEG방식의 동영상을 사용한다.

 이런 방식은 화질 면에서 우수한 점이 있지만, 동영상이 길어질 경우 용량이 기하급

수적으로 늘어나고 프레임 수를 늘리기 위해서는 고속의 저장매체가 필요하다는 단점

이 있다.

 시네팩(CinePack)

----------------------

 전용칩이나 하드웨어가  아닌 'DSP칩을 이용한 소프트웨어적인 방법'으로 모든 것을

해결하겠다는 희한한 설계사상을 가진 새턴이 초창기부터 사용하는 동영상방식. 새턴

은  물론 PC, 매킨토시, 3DO 등 여러 기종에서 널리 사용되는 기술이다. 높은 압축률

과 저렴한 라이선스비(주 5)를 자랑하지만 화질 면에서는 그렇게 우수하지는 않다.

 트루모션(True Motion)

----------------------------

 '오리'라는 꽤 웃기는 이름의 회사인 덕(DUCK)사가 개발한 전혀 우습지 않은 성능의

동영상 포맷. 현재 PC, 매킨토시, 새턴 등 여러 기종에서 사용되고 있으며, 애니메이

션보다 실제영화나 CG무비의 압축에 강한 면을 보인다. 높은 압축률을 자랑하고 비교

적 깨끗한 동영상을 보여주지만 라이선스비가 비싼지 그리 많이 사용되지는 않는다.

 MPEG softdec

-------------------

 무비카드 없이 MPEG동영상을 새턴에서  재생하는 것을 목표로 CRI연구소에서 개발한

기술이다. 원래 MPEG이 352×240의 해상도를 가지는 반면에, MPEG softdec은 288×14

4의 해상도에, 10∼15프레임 정도의 성능을 가진다. 하지만 이 기술을 사용하면 무비

카드가 있다면 무비카드로,  무비카드가 없다면 MPEG softdec으로 MPEG동영상을 재생

할수 있게 때문에, 무비카드 유저의 숫자에 구애받지 않고 최상의 퀄리티의 동영상을

만들 수 있는 장점이 있다.  하지만 성능이 떨어지기 때문인지 그다지 많이 사용되지

는 않는다.

 루시드모션(Lucid Motion)

--------------------------------

 이미디오(Imidio)에서 개발한 동영상 포맷으로 일반적인 동영상 포맷과는 완전히 틀

린 새턴만의 기능을 사용해서 만든 동영상 포맷이다.  다른 동영상 압축 방식이 정지

된 비트맵 이미지를 이용한다면,  루시드모션은 새턴의 스프라이트와 BG를  사용해서

동영상을 구현한다.  깨끗하고 작은 용량의 동영상은 가능하지만 표현의 제약을 많이

받는다.

DSP

━━━━━

 DSP는 'Digital Signal Processor'의 약자다.  이름으로 알 수 있는 뜻은 디지털 신

호 처리기.  말 그대로 디지털 신호를 일정한 순서를 거쳐 원하는 데이터로 가공시켜

준다는 뜻이다. 새턴에 들어있는 DSP칩들은 모두 프로그래밍이 가능하다. 따라서 DSP

칩들에게 여러가지 프로그래밍을 통해서 다양한 일을 시킬 수 있으며, ADX, MPEG sof

tdec, 새턴의 CPU인 SH-2에 내장되어 있는 DSP칩을 이용한 폴리곤 엔진 구현 등 여러

가지 능력을 발휘한다.

히타치의 SH 시리즈

━━━━━━━━━━━━━

 새턴에 사용된 SH-2  이외에도 현재 휴대용 PC에 많이 사용되고 있는 SH-3,  그리고

드림캐스트에 탑재된 SH-4가 있다.  SH-4의 경우 200MHz의 빠른 스피드에 인텔의 MMX

계열의 CPU와 비슷한 행렬 연산기능이 기본적으로 내장되어 있다.

폴리곤(Polygon)

━━━━━━━━━━━━

 3개나 그 이상의 수직선으로 구성된 영역. 3D 그래픽의 기본이 된다.

 초당 폴리곤(Polygons per second)

-----------------------------------

 우리가 흔히 말하고 게임제작사에서 '이 게임 초당 100만 폴리곤이오'나 '우리 게임

기는 초당 350만 폴리곤이 가능합니다'와 같은 선전에서  많이 나오는 이 '초당 폴리

곤'이라는 말은, 말 그대로 1초에 몇 개의 폴리곤을 계산해내는지에 대한 의미다. 하

지만 정확한  정의가 없는 '1초에 몇 개의 폴리곤을 계산한다'는 선전은 아무 의미가

없다.  폴리곤의 크기, 특수효과, 텍스처가  있는지 없는지에 대한 정의를 하지 않고

게임기의 스펙에 '초당 폴리곤 : 100만개'라고 선전하는 것은 사기에 가깝다. 대부분

의 제작사에서 나오는 수치는 모든 것을 ㉴ 정말 폴리곤 자체에 대한 계산능력이다.

 모 미국잡지에서 추정하는 실제 게임에서 각 기종의 초당 폴리곤 연산 능력은  새턴

7∼8만 개, 플레이 스테이션 12∼13만 개, 닌텐도 64 10만 개 수준이다. 하지만 이런

수치도 실제  닌텐도 64 게임들에서 사용되는 필터링이나 안티 앨리어싱 등의 특수효

과가 다른 기종에서는 지원되지 않기 때문에 비교 자체가 사실상 무의미하다. 워프의

이이노 겐지가 밝힌 말로는,  드림캐스트에서는 플랫 쉐이딩만을 사용할 경우에 초당

350만 폴리곤까지 나온다고 한다.

쉐이딩

━━━━━━━

 쉐이딩이라는 것은 말 그대로 폴리곤에 그림자(Shade)를 주는 것을 말한다. 보통 가

상의 광원(光原, Light Source)이 있다고 가정하고, 빛이 나오는 광원의 반대쪽에 있

는 폴리곤의 면에는 그림자를 줘서 입체감을 높이는 기법이다. 폴리곤에 쉐이딩을 주

는 기술에는 가장 간단한 Flat(평면), Gouraud, Phong 쉐이딩 등의 종류가 있다.

 플랫 쉐이딩(Flat Shading)

------------------------------

 폴리곤에 쉐이딩을 주는 가장 간단한 기법으로서,  광원에 대한 폴리곤의 위치에 따

라 하나의 색으로 그림자를 만드는 스타일이다.  '버추어 파이터 1'로 유명한 세가의

업소용 기판 '모델 1(Model 1)'의 경우에는 이 플랫 쉐이딩만이 가능했다. 플랫 쉐이

딩만을 사용할 경우,  폴리곤들이 단일색으로 구성되기  때문에 각이 팍팍 지는 현상

이 발생하게 된다.

 그라우드 쉐이딩(Gouraud Shading)

--------------------------------------

 영어 용어를 생각하고 한글로 그라우드 쉐이딩이라고 읽지만, 정확하게는 프랑스 말

이다(Gouraud란  이름은 이  기술을 생각해낸 프랑스 사람 Henri Gouraud의 이름에서

따온 것). 플랫 쉐이딩과 달리 폴리곤의 경계선으로 갈수록 색을 서서히 바꿔주는 방

법으로 쉐이딩을 주기 때문에, 마치 폴리곤면이 곡선인 것처럼 보이게 해준다.

 안개 효과(Fogging)

-------------------------

 뒷면의 텍스처들을 한가지 색으로 뒤섞어서 잘 보이지 않게 만드는 효과. 쉽게 말해

서 흰색으로 뒤섞을 경우,  말 그대로 안개가 낀 것처럼 보인다.  모델 3(Model 3)을

사용한 업소용 '로스트 월드'에서 티라노 사우러스-렉스-가 안개를 뚫고 나오는 장면

은 정말로 압권!

 안티 앨리어싱(Anti-Aliasing)

-----------------------------------

 TV화면이던 컴퓨터의 모니터건 해상도에는 한계가 있기 때문에, '화면에 비스듬하게

그어진 선'같은 경우 그 도트가 눈에 보이게 된다.  이런 경우 도트의 사이마다 인접

한 색들과 비슷한 색을 넣어서, 눈으로 보기에 이런 계단현상이 안 보이게 해주는 기

법이 안티 앨리어싱이다.

 바이리니어 필터링(Bilinear filtering)

----------------------------------------------

 폴리곤에 텍스쳐(Texture)를 붙이면 아무것도 없이 단색으로 되어 있는 폴리곤 보다

는 확실히 보기가 좋은것이 사실이지만,  이를 확대한다면 문제가 생기게 된다. 만약

폴리곤 크기가 가로 120픽셀,  세로 120픽셀 크기의 폴리곤에,  가로세로 120×120의

그림을 텍스쳐로 붙였다고 했을 때…  만약 폴리곤을 확대하면 실제 해상도는 반으로

떨어지고 실제 유저가 보기에는 240×240의 크기로 보이게 된다. 만약 3∼4배 확대하

게 되면? 말 그대로 주먹만한 도트의 그림을 보게 된다는 사실. 이 뿐만 아니라 게임

기의 경우 비디오 램이 작기 때문에 저해상도의 텍스쳐를 많이 사용하게 되는데,  이

런 경우에는 확대하지 않은 상태에서도 사각형 도트들이 보이게 된다. 바이리니어 필

터링(Bilinear filtering)을 사용하면 텍스쳐의 픽셀들을 적당히 흐릿하게 만들어 확

대시 사각화(Blockness)가 생기는 것을 막아 보기 좋은 화면을 만들어 준다.

 ------------------------------------------------------------------------------

(주 0) 계륵

 닭의 갈비. 삼국지의 조조가 한중을 보고 '전쟁을 일으켜서 빼앗기에는 땅의 가치가

없고, 그냥 놔두기에는 아깝다'고 한 말.

 닭의 갈비는 보기에는 졸라 맛나게 보이는데 먹어보면 살이 없다. 조또..

(주 1) PCM(Pulse Code Modulation)

 아날로그 데이터인 소리를 디지털 데이터로 바꾸는 방법 중 하나로,  일정시간 간격

으로 소리의 높이를 가져와서 데이터로 만든다.

(주 2) 샘플링 레이트(Sampling Rate)

 간단히 설명하면 PCM이나 ADPCM을 이용해서 디지털 데이터를 만들 때 시간간격을 얼

마나 주는지에 따라 소리의 품질이 결정된다.  간격을 작게 주면 줄수록 저장된 데이

터는 정확해져 음질이 좋아지지만 그 대신 용량이 증가한다.

 만약 샘플링 레이트를 작게 주면, 용량이 줄어드는 대신 음질이 떨어진다.

(주 3) ADPCM(ADvanced Pulse Code Modulation)

 PCM의 발전된 형태로 PCM데이터를 압축해서 저장한다. 최대 4배 압축까지 가능하다.

(주 4) 데이터 버스(Data Bus)

 사람이 타고 다니는 교통수단을 말하는게 하니라 컴퓨터에서 각종 칩들이 서로 데이

터를 주고받는데 사용하는 가상의 통로를 말한다.

(주 5) 라이선스비

 어떤 회사나 개인이 신기술을 개발해서 특허를  내면 다른 회사나 개인이 이 기술을

사용하기 위해서는 특허를 가진 회사나 개인에게 일정한 돈을 지불해야 한다.

[★LuvSEGA★]

예전 잡지에서 직접 봤던거 같은 기억이 새록새록나네요 ^^ 역시 새턴이란 하드웨어는 정말 파고들수록 신기한 기계같습니다. 제작사측에선 고역이겠지만 ....

[snow]

덕트루모션... 사용료가 비쌌는지... 많이 안쓰이더군요... 뭔가 다르긴 하다던데만은 서도 ;; 느낄정도로 그런게 없는지라 ;; 악마성드라큐라-월하야상곡 , 프렌즈 등에 쓰였습니다만...

[Thunder Force V]

새턴에서 화질만으로는 가장 깨끗한 영상을 보여주었던 사쿠라 대전 2, 실루엣 미라지, 레이디언트 실버건의 동영상은 모두 시네팩이었죠.

[Thunder Force V]

트레져가 99년 플스로 내논 낙서 쇼타임에서 다시 동영상의 화질이 가디언 히어로즈 수준으로 상당히 지저분해 진 걸 보면...세가는 97년 쯤에 시네팩으로 애니 동영상을 최대한 깨끗하게 인코딩하는 기술을 가지고 있었다고 판단됩니다.

[★LuvSEGA★]

트루모션의 진가는 건그리퐁1오프닝 동영상에서 확인할수가 있죠. VCD카드 장착후 돌려보면 그 깔끔하고 큼직한 화질이 이게 새턴맞아? 할정도.. 그이후론 다신 그런화질을 사용한 게임을 못봣지만 ㅡㅡ;