Nvidia, 3DMark03 성능 속임수로 끌어올려

DirectX 기반의 그래픽 카드 성능을 측정하는 프로그램 3DMark03의 새로운 패치가 발표되었다. 이 벤치마크 프로그램을 내놓고 있는 FutureMark는 이 패치를 내놓으면서 발표문에 그래픽 카드 업체들이 드라이버로 점수를 조작하고 있다면서 비교적 상세한 내용을 공개하여 앞으로 그래픽 카드 업체들의 이에 대한 대응에 관심이 집중되고 있다. FutureMark측에 의하면 최근 Nvidia가 발표한 드라이버 디토네이터 FX 44.03, 그리고 43.51 WHQL 드라이버에서 점수를 의도적으로 높이기 위한 속임수가 발견되었다는 것이다. 퓨쳐마크측에 의하면 테스트가 시작되는 로딩 화면을 드라이버가 감지해서 3DMark 03이 내리는 백 버퍼 클리어(Back Buffer Clear) 명령을 무시하고 이를 통해서 그래픽 카드에 걸리는 부하를 부적절하게 줄인다고 한다. 즉 로딩 화면을 다른 방식으로 렌더링할 경우 드라이버에서 3DMark 03을 감지하지 못해서 이전 드라이버와 같은 똑같은 성적을 보인다는 것이다. 두 번째로 게임 테스트 2에서 사용되는 버텍스 쉐이더를 드라이버가 감지해서 3DMark03이 내리는 백 버퍼 클리어 명령의 사용을 임의적으로 드라이버 결정한다는 것이다. 즉 게임 테스트2에서 백 버퍼가 이 명령으로 완전히 지워지지 않을 경우 보이는 화면 이외의 부분에 대한 화면이 제대로 나타나지 않게 된다는 것이다. 세 번째로 게임 테스트4에서 사용되는 버텍스 쉐이더를 드라이버가 감지한 후 부하를 줄이기 위해서 2개의 정적 클리핑 평면을 추가, 기본 카메라 앵글에서 보이는 부분을 잘라내게 되어 렌더링을 하지 않는다고 한다. 이 속임수는 43.51드라이버에서부터 발견되었고 퓨쳐마크는 밝혔다. 게임 테스트4에서 수면 픽셀 쉐이터를 드라이버가 감지해서 인위적으로 프레임 레이트를 끌어올린다고 한다. 이 테스트에는 3DMark03에 포함된 쉐이더를 완전히 무시하고 드라이버내에 포함된 다른 쉐이더를 사용하여 성능을 끌어올린다고 한다. 이로 인해서 비슷하기는 하지만 다른 모습의 화면이 렌더링 되는 것을 발견했다고 한다. 이와 유사하게 게임테스트 4에서 또한 픽셀 쉐이더를 드라이버가 감지하여 드라이버내의 완전히 다른 픽셀 쉐이더를 사용하여 프레임 레이트를 끌어올리지만, 이로 인해서 렌더링된 화면이 유사하지만 애초에 퓨쳐마크가 구현한 것과는 다른 화면이 렌더링 된다는 것이다. 여섯 번째로 게임 테스트 1에서 버텍스 쉐이더를 드라이버가 감지한다고 한다. 그러나 이를 통한 인위적 성능 향상은 아직 퓨쳐마크 측도 발견하지 못했다고 밝혔다. 이 이외에도 다수의 쉐이더를 감지한후에 이를 인위적으로 조작하여 성능을 끌어올리는 사례가 다수 Nvidia의 드라이버에서 감지되었다고 하며 퓨쳐마크 측은 드라이버가 쉐이더를 인위적으로 감지하고 애초에 의도했던 바대로 렌더링을 하지 않아서 성능을 끌어올리는 속임수를 차단하기 위해서 새 패치를 내놓는다고 밝혔다. 퓨쳐마크 측에 의하면 Nvidia GeForce FX 5900 Ultra(NV35)와 44.03 드라이버를 사용할 경우 빌드번호 320의 3DMark03에서 5806점을 획득했지만 새로운 빌드 330 3DMark 03에서 Nvidia가 테스트중임을 감지 하지 못하자 4679점으로 무려 24.1%나 성능이 감소되었다고 밝혔다. 그러나 이와 같은 속임수에서 ATI도 자유로울 수는 없다. 퓨쳐마크에 의하면 새로운 빌드 번호의 3DMark로 Radeon 9800 Pro/Catalyst 3.4 드라이버를 사용한 경우 이전 테스트에 비해서 1.9%의 소폭의 성능 저하가 있었다고 한다. 게임 테스트4에서만 보면 약 8.2%의 성능 저하가 있다고 하며 ATI 역시 드라이버에서 3DMark03 테스트를 감지하도록 하고 렌더링 방법을 변경하는 것으로 추정된다고 퓨쳐마크는 밝혔다. 퓨쳐마크는 이에 대해서 현재 조사가 진행중이라고 밝혔다. 아직 Nvidia, ATI로부터 공식적인 답변은 없는 실정이지만 일단 무려 25% 정도의 성능 향상이 단순히 눈에 보이는 것을 조작하여 만들어낸 것이라는 비난을 Nvidia는 당분간 피하기 어려울 듯 싶다.