Combiner의 동작확인

[정민이]

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

– Job의 출력에서 Map-Reduce Framework 카운터들중에 다음 2개를 확인

•Combine Input Records

•Combine Output Records

– 둘을 비교해보면 Combine Output Records의 값이 훨씬 작다.

•Combine Input Records의 경우 Mapper의 Output Records인 셈인데 Mapper의 Output Records보다 그 값이 큰데 그 이유는 Combiner는 Mapper output이 merge될때마다 지속적으로 적용되기 때문이다.

–

12/08/06 12:31:37 INFO mapred.JobClient:  Map output records=417,783,208

12/08/06 12:31:37 INFO mapred.JobClient:  Combine input records=460,692,608

12/08/06 12:31:37 INFO mapred.JobClient:  Combine output records=53,872,927