안드로이드 킷캣 4.4.2 버전의 art 모드 벤치마킹

[자손]

전 아직도 젤리빈 사용자입니다.  흑흑흑...

조만간에 G2로 바꾸려고 하고 있는데, 알아보니 안드로이드 버전이 4.4.2로 업그레이드 되었다고 하는군요.

많은 변화가 있었는데 그 중에 제일 관심이 가는 부분이 기존의 Dalvik VM 대신 ART 모드를 사용할 수 있는 부분이었습니다.

이론적으로는 가상머신 대신에 런타임 라이브러리를 사용하기 때문에 실행 속도와 배터리 효율이 향상이 될 것 같았습니다.

그래서 ART 모드 사용 후기를 검색하여 보았는데 의견이 분분하더라구요.

어떤 분은 ART 모드에서 실행 속도가 빨라지고 배터리 효율도 많이 좋아졌다고 하구요,

어떤 분은 별 차이를 모르겠다고 하더라구요.

아직 킷캣 4.4.2 단말기가 없어서 어떻게 확인해 볼 수는 없구...

그런데 http://johnmiller.fr/dalvik-versus-art-benchmarks-on-a-nexus-5/ 에 어느 것이 좋은지 정확하게 판단할 수 있는 테스트 결과가 올라와 있었습니다.  John Miller 님께 감사드리며, 그 결과가 어떠했었는지 정리해 보려고 합니다.

벤치마크 앱 및 분석				Dalvik 결과	ART 결과
1. Quandrant Standard Edittion    Quandrant는 CPU, I/O, 3D Graphics를 종합적으로 벤치마킹하는 앱입니다.    전체 결과는 ART 모드가 압도적인 승입니다.    하지만 아래 결과들과 같이 종합하여 볼 때, 아마도 CPU에서 ART 모드가 좋은 점수를 받지 않았을까 생각이 듭니다.				9444	12349
2. GFXBench2    GFXBench2는 콘솔-품질 게이밍 컨텐츠를 사용하여 그래픽 벤치마킹 기능을 제공한다고 하네요.    결과는 ART 모드가 아주 약간 좋은 것으로 나왔지만, 이정도면 같은 수준이라고 할 수 있겠습니다.				1348	1351
3. AndEBench    AndEBench는 산업분야에서 표준화된 Andoid 플랫폼 성능 평가를 제공한다고 합니다.    결과는 Dalvik이 좀더 좋게 나왔습니다.				13890	11485
4. 3DMark     John Miller는 그냥 가장 인기있는 성능 테스트 앱이라고 소개하는데, 아마도 3D 그래픽 관련 테스트 앱이 아닐까요?    결과는 Dalvik이 좀더 좋게 나왔습니다.				16639	15012
5. AnTuTu Benchmark    AnTuTu는 hard number와 solid facts로 안드로이드 기기의 벤치마팅을 한다고 합니다.    결과는 Dalvik이 좀더 좋게 나왔습니다.				22670	22215
6. BasemarkX     BasemarkX는 게임 그래픽 성능 평가 앱입니다.     이 결과에서는 ART 모드가 아주 약간 높았는데 이 정도면 같은 수준이라고 할 수 있겠습니다.				17.157	17.187
7. Vellamo Mobile Benchmark    Vellamo는 시스템 레벨에서의 벤치마크를 한다고 합니다.    이 결과에서는 Dalvik이 좀 높기는 한데 큰 차이가 없습니다.				997	985
8. PI Benchmark    PI Benchmark는 아마도 PI값을 계산함으로써 CPU의 성능을 평가하는 것 같습니다. John은 100,000 자리까지 계산을 했습니다.    결과는 ART 모드가 월등히 빨랐습니다.				17.92 sec	11.58 sec
9. Prime Number Generator    Prime Number가 뭘까요?  John은 2-100,000까지 계산을 하였는데 이것도 CPU 연산 속도 측정을 하는 앱이 아닐까 생각됩니다.    PI Benchmark와 마찬가지로 ART 모드가 월등히 빠르네요.				8.4 sec	6.6 sec
10. Lame4Android    Lame4Android는 LAME MP3 encoder라고 합니다.    10분짜리 오디오 파일을 mp3로 인코딩을 하는데 이번엔 Dalvik이 약간 빨랐습니다.    8, 9번 테스트에서는 ART 모드가 CPU 연산 속도가 더 좋게 나오기 때문에 인코딩도 더 빠를 줄 알았는데 차이는 적지만 오히려 Dalvik이 더 빨랐네요.  왜그랬을까요? 인코딩을 하는데에는 CPU 연산도 필요하지만 데이터 저장도 있기 때문에 아마도 데이터 저장은 Dalvik이 더 빠른 것이 아닐까 생각됩니다.				16.2 sec	16.6 sec
11. ASTRO File Manager with Clouds    ASTRO도 벤치마킹 기능이 있었나? John은 내장 ZIP 함수로 333 MB 파일 압축하였다고 하네요.    역시 결과는 Dalvik이 더 빨랐습니다.  이 결과도 10번에서와 마찬가지로 데이터 저장 부분에서 Dalvik이 우수한 것으로 판단이 됩니다.				104.2 sec	107.2 sec

이렇게 결과를 보니 세 가지 측면으로 성능의 차이가 보이는 것 같습니다.

- 연산 속도 : ART 모드가 월등히 우수함

- 게임 그래픽 처리 속도 : Dalvik이 좀더 우수함

- 데이터 저장 속도 : Dalvik이 더 우수한 것으로 생각됨.

아직 ART 모드가 개발 중에 있고, 앞으로도 더 발전을 하겠지만 킷켓4.4.2에서는 더 좋다고는 할 수가 없다고 판단됩니다.

CPU 연산을 많이 하는 앱을 사용한다면 ART 모드가 더 좋겠지만, 단말기 특성상 그래픽 사용이 많은데 그래픽은 아직 Dalvik이 더 우수합니다.

http://lifehacker.com/android-art-vs-dalvik-runtimes-effect-on-battery-life-1507264545 글도 주목할만합니다.

제목이 "Android's ART vs Dalvik: Performance and Battery Life Compared"라고 되어 있네요.

정확하게 어떻게 테스트하였는지는 모르겠지만, 대략 3시간 동안 이미지 업데이트를 통한 애니메이션을 한 것 같습니다.

우선 결과는 다음과 같습니다.

	Dalvik				ART
	Time(hours)	Final Level	Fall Rate(%/h)		Time(hours)	Final Level	Fall Rate(%/h)
Nexus 4	3	63%	12.33%		3	64%	12.00%
Nexus 5	3	63%	12.33%		3	67%	11.00%

Nexus4에서는 시간당 배터리 효율 향상이 0.33%에 지나지 않았지만 Nexus5에서는 시간당 배터리 효율이 1.33% 향상이 되었습니다.  큰 차이는 아닙니다.  어떤 앱을 사용하느냐에 따라 배터리 효율은 달라지겠지만 일단 산술적으로 체감 배터리 효율을 계산하여 보면 다음과 같을 것입니다.

- 만약 대기 모드의 배터리 소모가 시간당 2%이던 Dalvik 모드 사용자가 ART로 바꾸면 대기 모드의 배터리 소모는 시간당 1.78%가 될 것입니다.

- 만약 Dalvik 모드에서 게임을 4시간만 하면 배터리가 완전 소모가 되는 사용자가 ART로 바꾸면 4시간 29분을 게임을 할 수 있게 될 것입니다.

본 글에서도 글쓴이는 ART는 새로운 기술이며, 아직 대부분의 스마트폰과 어플에 최적화가 안되어 있으며, 분명 배터리 효율은 향상되지만 사용자가 큰 이득을 보기는 어려울 것이라고 하고 있습니다.

제 개인적인 생각으로는 일반인들이 아직 ART 모드를 사용하는 것은 시기 상조일 것 같습니다.

그리고 배터리 효율에 있어서 더 좋아지는 것은 대기 모드 또는 게임을 제외한 다른 앱들을 사용할 때로 생각이 됩니다.

만약 게임을 한다면 크게 차이는 없을 것 같습니다.  만약 게임을 시간에 상관없이 1판만 하는 기준이라면 Dalvik 모드에서는 게임이 몇초라도 더 빨리 끝나서 더 적은 시간을 사용하게 될 것입니다.  그래서 보통 우리가 판단할 때 게임한 시간을 기준으로 판단을 하기 때문에 만약 1시간을 게임을 한 것으로 판단한다면 Dalvik 모드에서는 좀더 많은 게임 진행이 가능하고 그만큼 CPU 노동이 더 되었을 것이기 때문에 배터리를 더 사용하게 되겠지요.  반면 그래픽 처리 효율이 더 좋기 때문에 어느 정도 상쇄가 되어 전체적으로는 별 차이가 없는 것처럼 느껴질 것 같습니다.

결론은 게임을 많이 하지 않는 사용자라면 충분히 ART 모드를 사용해도 되고, 그럼으로써 배터리 효율도 좋아질 것 같습니다.

반면 게임을 많이 하는 사용자라면 어차피 크게 차이가 없다면 그래픽 성능이 더 좋은 Dalvik 모드를 사용하는 것이 유리할 것 같습니다.  다만 앞으로 ART 모드가 개선된다면 이 이야기는 달라질 것입니다.

더불어 ART모드 정보 및 벤치마킹에 대해 참조할 만한 글들은 아래와 같습니다.

- http://thdev.net/m/post/view/id/511 

- http://www.androidpolice.com/2013/11/12/meet-art-part-2-benchmarks-performance-wont-blow-away-today-will-get-better/