스크랩 모든 앰프의 소리는 똑같을까?

[조영환 ( 창녕 조가 )]

** 이 기사는 1987년 1월 Stereo Review 지에 실렸던 것을 운영자가 번역한 것입니다. 이 잡지는 1999년 1월 폐간되었습니다.

David L. Clark는 가장 뜨거운 논쟁거리 중의 하나에 대한 답을 찾으려고 합니다.
이 기사는 Ian G. Masters가 썼습니다.

---

아마 앰프의 소리에 대한 토론보다 더 잽싸게 오디오 애호가들을 논쟁에 끌어들이는 것은 거의 없을 것입니다. 1960년대 초기에 있었던 진공관대 트랜지스터 논쟁을 시작으로 파워앰프들 사이의 음질차이에 대한 본질-또는 그 차이의 존재 여부-등은 정말로 뜨거운 화제 거리였습니다. 그리고 이 문제는 아직 해결 근처에도 못간 것처럼 보입니다.
언뜻 보기에는, 어떤 앰프보다 열배 비싼 앰프의 소리가 더 좋아야 한다는 것이 논리적으로 당연해 보입니다. 아마 열배로 좋다고 할 수는 없더라도 귀로 들어서 음질의 향상을 감지할 수 있을 정도는 되어야 할 것입니다. 그렇지 않다면 희한한 방식의 회로를 가진 엄청나게 비싼 앰프들을 어찌 정당화할 수 있겠습니까?
앰프들이 내는 소리에는 큰 차이가 존재하며 그런 이치는 그냥 듣기만 해도 쉽게 알 수 있다고 목청높게 주장하는 한 무리의 애호가들이 있습니다. 이 그룹의 구성원들이 소리의 성격을 묘사할 때 사용하는 단어들은 대개....음... 뭐랄까....시(詩)적인 경향이 있습니다. 이런 말들은 기술적 용어에 더 익숙한 사람들-대개 음질 차이를 부정하는 사람들을 진절머리나게 합니다.
회의론자(차이를 부정하는)들은, 앰프를 골라야 하는 몇가지 이유가 있기는 하지만 앰프의 소리 성향은 그 이유들 중 하나가 될 수 없다고 믿습니다. 그보다는 내구성, 외관, 브랜드의 명성, 사용의 편의성, 또는 기술적 성능과는 관계없는 요소들을 고려하여 앰프를 구입해야 한다고 생각합니다. 그 사람들의 관점으로는, 어떠한 음질 차이가 있다면 그러한 차이는 측정에 의하여 밝혀져야 합니다:주파수 응답 특성, 찌그러짐, 잡음지수,등등의 차이가 측정되어야 한다는 말입니다. 그러한 기술적 검사를 해보면 기기들 사이의 차이들이 너무나 미소하지 않은 경우가 거의 없습니다. 그래서 회의론자들은 음질 차이가 생길 가능성은 너무나 희박하다고 믿습니다. 신봉자(차이를 믿는)들조차도 그 차이는 매우 미묘한 것이라고 시인합니다. 그러나 그들은 차이가 엄연히 존재하며, 들어서 가려낼 수 있다고 합니다. 특히, 오랜 시간동안 들어보면 알아낼 수 있다고 합니다.
앰프들 사이의 소리 성향 차이를 가려낸 다음 그 차이들의 기술적 원인을 찾아보려는 시도는 긴 세월에 걸쳐 대단히 여러번 시행되었습니다. 대부분의 경우 청취자들은 그 시험 과정의 두번째 부분을 시행할 수 있을만큼 충분히 지속적으로 음질 차이를 구분하지 못하였습니다. 앰프들의 차이를 구분하지 못하니 차이를 정량화한다든지 설명한다는 것이 대단히 어려웠습니다. 몇몇 사람들은 이러한 결과를 앰프들의 소리는 똑같다는 주장의 근거로 삼았으며;다른 사람들은 그러한 결과가 테스트 과정의 오류때문에 일어났다고 지적하였습니다. 그래서 논쟁은 계속됩니다.
스테레오리뷰의 편집자들도 이 문제에 대해서 어떤 방식으로든지 테스트가 이루어져야 한다고 느끼고 있었습니다. 그래서 그들은 많은 표본 청취자들과 최대한으로 다양한 기술적 특성 차이를 갖는 표본 앰프들을 시험 대상으로 삼고, 이를 대상으로 세심하게 운영되는 일련의 시험이 시행된다면 비교적 믿을만한 정보를 얻게될 것이라고 결론을 내렸습니다. 그러한 시험을 구성하기 위하여 잡지사는 DLC Designs사의 David Clark를 찾아 갔습니다. 그는 과거 수년동안 CD 플레이어와 hifi VCR에 대한 비슷한 청취 시험들을 설계하고 감독해왔습니다.
Clark 씨에게 맡겨진 임무는 그 자신의 기술적 기준도 만족하고 잡지사의 기준도 만족시킬 수 있는 일련의 시험을 구성하는 것이었는데, 그 시험은 신봉자 중에서도 가장 까다로운 사람도 만족 시킬 수 있는 방법으로 이루어지도록 하였습니다. 시험 과정이 앰프들의 음질 차이를 제대로 나타내기에 부족하다는 지적을 받지 않도록 가능한 모든 노력을 하였습니다.
처음 고려해야할 것은 이러한 시험을 시행하기에 적합하다고 인정될만한 오디오 시스템을 구성하는 것이었습니다. 이러한 시스템은 모든 기기들은 하이엔드 애호가들이 보아도 도저히 트집 잡을 수 없는 기기들로 구성되어야 했습니다. 물론 이러한 것은 불가능하지만 그런대로 비슷한 것은 만들 수 있었습니다.
소스로는 CD와 엘피 레코드를 같이 사용하도록 하였는데, CD 플레이어는 Meridian MCD Pro player를 사용하기로 하고 엘피는 Eminent Technology의 직선형 암과 Van den Hul MC-10 Moving Coil 카트리지가 달린 Sota Star 턴테이블로 듣도록 결정하였습니다. 이 두가지 소스들은 하이엔드 인터코넥트 케이블을 이용하여 Audio Research SP-11 진공관 앰프에 연결되었습니다.
사용된 스피커는 Magnepan MG-IIIa 였는데 이 스피커는 매우 두꺼운 스피커 케이블을 사용하여 테스트 앰프에 연결되었습니다. 이 시험은 특별히 마련된 청취실에서 시행되었는데 이 청취실은 잡지사를 위하여 Clark 씨가 이전에 수행한 시험에도 사용되었습니다.
테스트 대상이 될 앰프의 선정도 중요한 일이었습니다. 표본들 중에는 싸구려 대중용품에서 최고로 멋진 것까지, 그리고 그 중간쯤되는 것들도 포함되어야 했습니다. 테스트용 앰프의 숫자가 제한되어 있기 때문에 비교적 서로간의 차이가 클 것같은 앰프들을 골랐습니다. 이러한 이유로, 가장 밑바닥 대표로는 225달러 짜리 Pioneer SX-1500 리시버를 선택하였고 맨 위쪽 대표로는 New York Audio Lab의 Julius Futterman OTL-1 진공관 앰프를 선택하였는데 이것의 가격은 채널당 6,000 달러였습니다.(한쌍의 Futterman은 한쌍의 전원부가 따로 필요한데 이 덩치는 작은 난로만 하며 열도 작은 난로만큼 냅니다.) 두개의 극단적 대표들 사이에는 애호가들에게 호평 받는 Mark Levinson ML-11($2,000), 그리고 좋은 평가를 받고 있는 중간 가격 기기들인 Hafler DH-1 120($320), 그리고 NAD 220($548) 등이 선정되었습니다. Counterpoint의 SA12($995)는 진공관-트랜지스터 복합(hybrid) 앰프의 대표로 선정하였는데 제대로 시험을 해보기도 전에 고장이 나서 충분히 시험할 수 없었습니다. 각 앰프의 이득(증폭률)은 Audio Research 프리앰프의 테이프모니터 루프에 설치된 감쇄기를 이용하여 똑같이 맞추었습니다.
표본 청취자를 선정하는 것도 중요한 요소였습니다. 표본의 수는 시험 결과의 통계적 처리가 가능할만큼 커야 했지만 적당한 시간 이내에 마쳐야 했으므로 그 수를 제한해야 했습니다. 도착한 청취자의 수는 25명이었는데 이 사람들은 각각 서로 다른 횟수의 청취 시험에 참가하였습니다. 시험 청취자의 수가 이 정도였기 때문에 Clark 씨는 테스트를 일주일 내에 마칠 수 있었습니다.
청취자들의 성향도 중요한 것이었므로, 앰프들 사이의 음질 차이를 구분할 수 있다고 주장하는 소위 "신봉자"들과 이러한 차이를 의심하는 "회의론자"들을 모두 포함하였습니다. 두 종류의 청취자를 함께 참가시킨 이유는 실험 방법에 대한 그들 모두의 인정을 받기 위해서 였습니다. 그렇게 하지 않는다면 시험 결과가 그들의 믿음과 일치하지 않는 경우 반칙이 있었다고 항의할 가능성이 있기 때문이었습니다.
테스트로는 두가지 선택 사양이 제공되었습니다. 이렇게 하는 것이 테스트 성적을 올리는 데 도움이 된다고 느끼는 청취자들은 비교 청취하고 있는 두 앰프에 연결된 케이블을 수동으로 바꿔치기 해주도록 조작자에게 요청하는 방법을 선택할 수도 있었습니다. 이러한 방법이 허용된 이유는 많은 하이엔드 애호가들 중에는 순간적인 A/B 테스트를 의심하는 사람도 많기 때문에 몇몇 신봉자들은 이러한 방법을 선호할 것이라고 생각했기 때문입니다.
다른 한가지는 ABX 비교기(comparator)를 사용하는 ABX 이중맹검(二重盲檢, double blind test) 방식이었습니다. ABX 시스템에서는 A,B로 표시된 두개의 피시험 앰프가 비교기에 연결되어 있고, 청취자는 리모트 콘트롤로 앰프를 전환할 수 있습니다. 이 시스템에는 X라고 표시된 세번째 선택이 있는데 이 세번째 선택은 A,B 둘 중의 하나입니다. 청취자는 X의 소리를 들은 다음 스위치를 조작하여 A,B를 들어보고 X가 A인지 B인지 선택합니다. 각 테스트마다 16회 시도하는데, 각 회마다 비교기는 무작위로 X를 A나 B에 연결합니다. 그리고 청취자는 답안지에 자기가 옳다고 생각하는 답을 적어 넣습니다. 테스트가 끝나면 비교기는 정답을 읽어내고 각 회의 답이 틀렸는지 맞았는지 채점이 됩니다.
이 테스트 시스템은 차이를 밝혀내기 위한 시험이지 선호도를 밝혀내도록 고안된 것은 아닙니다. 어떤 청취자가 X 앰프가 무엇인지 꽤 신뢰성 있게 맞추어낸다면 그 사람은 실제로 음질 차이를 들은 것이라고 간주되었습니다-차이가 엄청나다면 모든 회수마다 알아 맞추어야 할 것입니다. 만일 전혀 차이가 없다면 그 점수는 요행수로 맞추는 점수 50점 부근일 것입니다-시행 샘플의 수가 충분히 많다면 말입니다.
확실과 완전 요행수 사이에 있다면 그 점수는 통계처리를 받도록 되어 있습니다. 만일 맞춘 수가 통계적으로 유의하다면 진짜 차이를 들은 것으로 간주하고, 그렇지 않다면 그 점수는 무작위 답변으로 얻은 것으로 간주하였습니다. 테스트는 한번에 한명에서 여덟 명에 이르는 청취자를 대상으로 시행되었습니다. 그리고 ABX 전환과 CD,LP 선택은 청취자가 하도록 하였습니다. 테스트가 진행되는 전 과정동안 기기들은 청취실 앞쪽에 전시되어 있었지만 어떤 앰프를 듣고 있는지 알 수 없도록 하였습니다.
각 회를 시작할 때, 각 청취자는 테스트 조건이 앰프의 음질 차이를 검사하는 데 적합한지 여부를 묻는 양식을 받았습니다. 한시간에 걸친 예비 청취를 마친 뒤에 세명을 제외한 모든 청취자들이 이 양식에 서명을 하였습니다. 한 사람은 테스트 조건이 부적합한 것은 아니라고 하였고, 한 사람은 보류했으며 또 한사람은 무답이었습니다.
답안지를 나누어주고 블라인드 테스트가 시행되었습니다. 비교는 청취자들이 선택한 한쌍의 앰프들에 대하여 이루어졌습니다. 테스트 시간은 45분에서 2시간 30분 까지 걸렸고, 몇 청취자는 서로 다른 세가지 비교 테스트에 참여하였습니다. 같은 테스트에 회의론자와 신봉자를 섞지는 않았습니다. 그리고 신봉자의 테스트는 신봉자가 감독하도록 하였습니다.
공식적인 테스트가 끝난 후, 각 청취자들에게 그 테스트가 앰프의 음질 차이를 가려내는 데 적합하다고 생각하느냐, 그리고 이러한 테스트가 소비자에게 의미있는 것인가-를 물어 보았습니다. 이 설문은 단지 정보를 얻으려는 목적도 있었지만, 테스트 후 그 결과를 본 뒤에 테스트에 대한 태도 변화가 있는지 알아 보려는 것이었습니다. 테스트의 적합성에 대하여 신봉자들이 가진 느낌이 변화되거나 뒤 바뀐 경우가 여럿 있었습니다.
그러한 태도 변화가 일어난 것은 테스트의 첫번째 부분때문이라 할 수 있습니다. 블라인드 테스트를 실시하기 전에 청취자들은 각각의 앰프들을 스스로 골라 적당한 시간동안 들어볼 기회가 있었습니다. 같은 음악들이 각각의 앰프에 반복하여 사용되었습니다. 그렇지만 이 과정에서는 블라인드 테스트가 아니었고 A/B 비교도 이루어지지 않았습니다. 회의론자까지 포함하여 거의 모든 청취자들은 이 과정에서 어떤 음질차가 존재한다는 느낌을 받았습니다. 일부의 사람들은 흡족하게 생각하였고 어떤 사람들은 상당히 낙심하였습니다. 그렇기는 했지만, 그 차이가 존재한다해도 그 차이는 매우 작은 것이라는 것처럼 보였습니다. 회의론자들 중 다수는 신봉자들이 평소에 이야기하던 것들이 과연 무엇인지 알 것같다는 생각이 들기 시작했지만 말입니다.
이 행사의 이러한 도입 부분이 끝나고 나서 청취자들은 일이 점점 어려워진다는 것을 발견하기 시작하였습니다. 가장 명백하게 차이가 나야한다고 믿던 경우에서도 그랬습니다: 파이오니어 리시버와 괴물 푸터만 사이의 비교에서 말입니다. 테스트가 이루어지는 동안 청취자가 확신을 가지고 정답을 택했다고 한 경우는 매우 드물었습니다. 정답을 찾는 데 도움이 될만한 아주 사소한 단서라도 잡으려고 노력해야 하는 과정은 너무나 긴장된 것이었습니다.(그런데 한번은 청취자가 매우 신속하게 정답들을 내놓는 경우가 생겼습니다. 어느 청취자가 앰프와 스피커 연결의 위상관계가 잘못되었다고 지적할 때까지는 그랬습니다. 이것을 바로잡고 나니 알아 맞추기의 어려움은 다시 시작되었습니다.)
결국, 45회의 테스트가 이루어졌고 대부분의 테스트에서 청취자마다 16개의 선택을 하도록 하였습니다.(시간을 절약하기 위하여 케이블 교환 테스트는 각 5회씩만 하도록 하였습니다.) 그리하여 종합적으로 772개의 답안이 만들어졌습니다.
이러한 답안의 경우, 답을 완전히 무작위로 작성했다면 정답의 갯수는 386개일 것입니다. 채점 결과는 388개입니다. 그러므로 청취자 그룹 전체와 시험 대상 앰프 그룹 전체에 대하여 평가한다면, 음질 차이를 가려냈다고 인정할만큼 통계적으로 유의한 점수를 내지 못하였습니다.
그러나 이러한 결과만 가지고, 특정한 청취자가 앰프들의 차이를 신뢰도 높게 가려낼 수 있을 가능성을 제거할 수 없으며 모든 조합의 앰프 비교가 모두 가려내기 어렵다는 증거로? 삼을 수도 없습니다. 이러한 실험 결과를 가지고 어떤 청취자는 잘 가려냈는데 점수가 나쁜 청취자들 때문에 종합 점수가 나빠졌다고 해석할 수도 있습니다-물론 그 가능성이 높아 보이지는 않지만 말입니다. 같은 식으로 해석하면 이 점수들은 특정 조합의 두 앰프들은 음질적으로 동등하지만 다른 조합의 두 앰프는 서로 다를 가능성이 있다고 할 수 있습니다.
통계적으로 유의하기 위해서는, 점수가 50점 이상 나온 테스트가 생길 확률이 0.05, 즉 스무번에 한번 이하라야 합니다. 이 말은 완전히 요행수로 답안을 써 내도 50점 이상을 받는 경우가 스무번에 한번쯤은 생길 것이라고 예측 된다는 뜻입니다. 이런 것을 감안한다면 무작위적인 결과가 나온 80개의 테스트에 대하여 이러한 무작위 효과를 상쇄시키기 전에는 4개 정도의 결과가 소리의 차이를 감지해낸 것처럼 나올 것이라고 예상할 수 있습니다. 현재의 프로젝트에서는 92개의 테스트 또는 테스트 조합이 분석되었습니다. 그 중에서 통계적으로 유의해보이는 결과는 세개 밖에 없었습니다.
종합 점수의 유의도가 0.05를 넘어서는 청취자는 한 사람도 없었습니다. 다만 한 사람은 0.056에 가까이 간 적이 있었고 반 이상은 50점 이하를 맞았습니다. 두 사람의 청취자는 그들의 답안지 속에 20개의 문항 중 12개를 연속 맞추었습니다. 이러한 일이 일어날 확률은 0.038 입니다. 당신이 여기에 어떤 의미있는 답이 포함되었다고 생각한다면 기껏해야 두개에서 네개 정도일 것입니다.
여덟 명의 청취자가 참가한 한 테스트에서 총점은 확률이 0.046인 것으로 나왔는데 이러한 점수는 0.05보다 좋은 것처럼 보이는 세번째의 유의한 결과로 간주할 수 있습니다. 그러나 같은 조합의 앰프를 가지고 이후에 시행한 테스터에서는 매번 50 점 이하가 나왔고 종합 점수는 유의도가 0.05 보다 훨씬 나빠졌습니다. 어떤 조합의 앰프에 대한 실험에서도 이보다 좋은 점수가 나온 적은 없었습니다. 개별 테스트에서나 테스트 조합에서나 마찬가지였습니다.
분석을 더 진행해보니, ABX 시스템을 사용하여 얻은 결과는 케이블 교환으로 얻은 결과보다 좋지도 않았고 나쁘지도 않았습니다. 그리고 장시간 청취 테스트 결과와 단시간 청취 테스트의 결과도 달라 보이지 않았습니다. 이러한 결과들에 대한 모든 해석은 답안지에 씌어진 정답들이 요행수로 맞춘 것이다-즉 들어서 가려낼 수 있는 음질 차는 없다는 결론을 가리켰습니다.
그러나 이것은 앰프의 음질차 논쟁에 대한 명백한 정답이 되기에는 아직 멀었다고 할 수 있습니다. 예를 들면 테스트 방법의 정당성에 대한 의문은 아직도 남아있습니다. 모든 사람을 완벽히 만족시킬 수 있는 시스템을 구성한다는 것은 불가능하며, 테스트가 끝난 후의 설문지에서 여러명의 청취자는 자신의 마음을 바꾸었다고 썼고 그 시스템 구성에 대한 판단을 보류한다고 하였습니다. 이 사람들은 모두 신봉자였는데 이들은 나름대로의 경험에 의하여?그러한 믿음을 가진 것이며,? 곧 이 일련의 실험의 유효성을 부정하기 시작할 그룹을 대표할 것으로 생각되었습니다.
그럼에도 불구하고, 몇몇의 신봉자들을 포함한 대부분의 청취자들은 시작할 때나 나올 때나 테스트 방법에 대하여 인정을 하였으며 시험 대상으로 선정된 앰프들아 다양한 설계, 가격대에서 선택되었다고 인정하였습니다. 청취자의 표본도 충분히 다양하게 선정되었다고 인정하였습니다. 그리고 그 결과들은 음질 차이가 없다는 것을 가리켰습니다.
여기서 선정된 기기들과 실험 조건에 대해서는 우리의 질문에 대한 해답을 얻었습니다. 그러나 다른 그룹의 앰프들에 대하여 다른 조건에서 시험하면 극적으로 다른 결과가 나올지는 아직 알 수 없는 것입니다.
이것은 그저 시작일 뿐입니다-비교적 광범위했지만 특별히 먼저 시행된 것도 아닌 단 한번의 실험 결과에 대하여 크게 비중을 둘 과학자는 거의 없을 것입니다. 테스트 기술은 개선되어야 하며 개선할 것입니다. 그리고 앞으로 수년간 보다 많은 테스트가 시행되어 보다 많은 데이터가 수집될 것입니다. 독자들이나 오디오 산업 종사자들은 이 시험 방법과 결과들에 대하여 자유롭게 이야기 하고 충고할 수 있습니다. 스테레오리뷰는 언제나 환영합니다.
그러나 지금은, 앰프의 음질 성향이란 것이 존재한다 하더라도 그것을 기준으로 우리가 앰프를 고르기에는 너무나 미약한 것처럼 보입니다. 분명히 앰프들 사이의 차이는 있습니다. 그러나 우리는 아무래도 그런 것을 들을 수 없는 것 같습니다.
--- 본문 끝 ---

시험의 설계와 기기들

---

내가 해본 첫번째 이중 맹검 앰프 비교는 SMWTMS(Southeastern Michigan Woofer and Tweeter Marching Society)에서 1976년에 실시한 테스트에 청취자로 참가한 것이었습니다. 나는 이 테스트를 아직도 생생하게 기억합니다. 왜냐하면 테스트 대상이 된 어떤 앰프들도 구별해낼 수 없어서 너무나 실망하고 낙심했었기 때문입니다.
이번에 실시한 테스트는 앰프들 사이의 음질 차이를 가능한 가장 쉽게 구별할 수 있도록 설계되었습니다. 그러기 위해서는 ?몇가지 극복해야 할 것들이 있었습니다. 첫째로 나는 앰플리파이어의 차이가 들리지 않는다는 나의 오래된 회의론이 이 테스트에 영향을 주지 않도록 이 테스트를 설계해야 했습니다. 둘째로는, 가장 까다로운 애호가들에도 인정할만큼 대단히 이름높은 오디오 시스템을 구성해야 했습니다. 세번째로는 그처럼 까다로운 청취자들을 찾는 것이었습니다. SWMTMS 그룹은 내가 자주 이용했던?경력자들이었는데, 문제는 그 사람들은 그러한 테스트에 참가한 적이 많았기 때문에 나 못지 않게 회의론자가 되었다는 것이었습니다. 거기에 덧 붙여, 나는 이 테스트가 통계처리보다 더 의미있는 결과를 얻고 마칠 수 있기를 바랐습니다: 나는 청취자들이 증폭률이 ?같게 조정되고 클리핑 이하의 범위에서 동작하는 앰프들 사이의 차이가 얼마나 작은지(구별을 해낼 수 없을 정도는 아니더라도) 깨닫게 될 때 어떤 감정의 변화를 갖는지 기록하고 싶었습니다.
가장 좋은 해결책은 앰프들 사이의 음질차이가 크다고 믿는 신봉자들에게 내 계획을 알려주고 그들의 조언을 듣는 것이었습니다. 그 사람들은 자신들의 믿음이 옳다는 것을 회의론자들에게 모여줄 수 있는 기회라고 생각했습니다. 내가 제조 회사나 하이엔드 오디오 상점, 애호가들에게 받는 협조는 내가 기대했던 것 이상이었습니다. 그들의 청취자로서 이 테스트에서 보여준 협조와 참여를 생각하면 ?그들이 견고한 믿음을 가졌으며, 받아들이기 어려운 결과가 나올지도 모를 위험을 기꺼이 감수할만큼 용기있는 사람들이라고 할 수 있습니다.?
미시간 주의 로열오크 시에 있는 상점 오디오 디멘션을 운영하는 해리 프랜시스는 Van den Hul MC-10 카트리지와 Eminent Technology의 공기 베어링 암을 장치한 진공흡착 Sota 턴테이블을 가져왔습니다. 그는 시스템의 초단 부분을 마무리하기 위하여 Audio Research SP-11 진공관 프리앰프를 제공하였습니다. 이 시스템에 대하여 한동안 생각해보더니 이 장치들을 보다 좋은 케이블로 연결하자고 제의하였습니다. 나는 Music Interface Technology(MIT)사의 두껍고 방향성이 표시된 인터코넥트와 ?/4 인치 두께의 같은 회사의 스피커 케이블(일명 Music Hose)을 선택하였습니다. 턴테이블의 설정과 조정을 마치고나서 프랜시스는 잠시 시스템의 소리를 들어 보았습니다. 그렇지만 그는 블라인드 테스트에 참가하고 있을 시간이 없었습니다.
Audio Research에 입력된 또 하나의 기기는 Meridian MCD Pro 씨디플레이어였습니다. 이 플레이어는 Torlyte 스탠드에 설치되었는데 이 스탠드는 카펫트를 관통하여 콘크리트 바닥에 닿아있는?스파이크 발이 달려 있었습니다. 프리앰프의 테이프 모니터 루프에 끼워진 정밀 감쇠기(attenuator)를 이용하여 앰프들의 출력전압 차이가?0.05 dB 이내에 있도록 앰프들의 증폭률을 조정하였습니다. 이 감쇠기와 ABX 비교기의 릴레이 장치들은 유명한 Hitachi LC-OFC 케이블을 사용하여 최단거리로 연결되었습니다. 모든 접속 부위는 Tweek이나 Cramolin의 접점 향상제를 약간씩 발라 놓았습니다.
? 대부분의 기기들은 두개의 Magnepan MG-IIIa 스피커 사이에 놓인 든든한 선반에 놓았습니다. 이 대형 평판 스피커는 측면으로는 거의 소리를 방사하지 않기 때문에 그 사이에 놓인 기기들은 강력한 직접음에 노출되지 않았습니다. 엄청난 Futterman 앰프들은 방바닥에 직접 놓았습니다. Torlyte 제 씨디플레이어 스탠드도 방바닥에 직접 놓았습니다.
오디오 기기의 음질차를 구별해내는 데 스피커와 청취실의 선택은 매우 민감한 것입니다. 이 Magnepan 스피커는 넓은 청취 공간에 걸쳐 아주 우수한 소리를 들려주었는데 이 스피커는 꽤 낮은 감도와, 꽤 낮은 임피던스를 가지고 있었습니다. 이 두가지 특성은 앰프들을 매우 힘들게 하는 요소로서 앰프의 약점을 잘 드러나게 하는 특성이라고 할 수 있습니다. Magnepan 스피커가 앰프에 제공하는 부하는 크게 유도적이지는 않지만 댐핑이 강하고 저능률인 스피커의 전형이라 ?할 수 있습니다. 이러한 특성은 오디오 애호가들에게 좋아하는 것이기도 합니다. 청취실은 ?스테레오리뷰를 위하여 이전에 실시한 블라인드 테스트에서도 사용한 적인 있는 방으로서 그 크기는 18 foot x 25 x 10 이었습니다. 이 청취실은 고른 잔향시간을 갖고, 방의 고유 진동이 억제되고, 반사와 회절이 적당하도록 조절되어 있었습니다.
프로그램으로 사용된 것들은 모두 어쿠스틱 악기로 연주된 음악 뿐이었지만 꽤 다양하게 선택되었습니다. 씨디와 엘피 모두 프로그램으로 제공되었습니다. 그리고 몇 청취자들은 자신의 음반들을 가지고 왔습니다. 각회의 테스트마다 청취자가 고른 테스트 녹음이 사용되었습니다. 그 다음에는 더 유명한 것들이 선택되었습니다: Reference Recording의 ?"Dafos"(LP와 CD), 민속 타악, 그리고 Capriccio Espagnole(LP); Sheffield의 ?"Track Record(LP와 CD), Amanda McBroom이 연주한 "West of Oz"(LP), Thelma Houston의 "I've Got the Music in Me"(CD), 그리고 Harry James의 "The King James Version"(LP와 CD); John Baez의 "Diamonds and Rust"(Nautilus LP); Opus 3의 "Test Record 1:Depth of Image"(CD와 LP); Andrew Lloyd Webber의 Requiem(CD); Gershwin의 Raphsody in Blue(Telarc CD); 그리고 Warren Bernhardt의 Digital Music CD인? "Trio 83," 그리고 Jay Leonhardt의 "Salamander Pie"등입니다.
이 청취 테스트의 가장 큰 특징은 개방성이라 할 수 있습니다. 모든 기기들은 청취자들이 볼 수 있고 검사할 수 있도록 하였습니다. 청취자가 요구하는 경우에는, 블라인드 테스트 전에 모든 기기들을 ABX 방법으로든지 다른 방법으로든지 시험 청취할 수 있도록 하였습니다. 청취자들은 오디오 시스템에 익숙해지고, 청취 테스트에 좋다고 생각되는 프로그램을 고르고, 이 단계에서 느낀 각 앰프들의 차이를?메모하는 등의 일을 할 수 있는 충분한 시간을 가질 수 있었습니다.? 청취자들은 그들의 음질 검사 내용을 기록하고 그 중에서 블라인드 테스트를 하면 가장 쉽게 가려낼 수 있을 것으로 예상되는 한 쌍의 앰프들을 선택하였습니다. 청취자들은 어떤 종류의 블라인드 테스트를 할지도 스스로 결정하였습니다. 케이블 교환(케이블 바꿔치기는 스크린 뒤에서 시행함) 방식이나 릴레이를 사용하여 빠른 속도로 절환할 수 있는 ABX 스위칭 중의 하나를 선택할 수 있었습니다. ABX에 익숙하지 않은 청취자들은 블라인드 테스트의 자기 차례를 기다리는 동안 따로 마련된 시스템을 가지고 익숙해질 때까지 연습할 수 있게 하였습니다. 대부분의 청취자들은 편리한 ABX 방식을 선택하였으며 이 릴레이 시스템에 부가된 접점들이 음질을 악화시키지는 않는다고 느꼈습니다. 그러나 9명은 ABX 테스트 외에 케이블 바꿔치기 시험을 추가하기로 하였습니다.?
블라인드(케이블 교환) 테스트와 ?더블 블라인드(ABX) 테스트가 끝난 후 청취자들은 자기의 성적표를 받았으며 자신의 소감을 적는 질문 양식을 받았습니다. 그래서 확실히 구별했다고 생각했지만 결과는 무작위 답안지만 받고 말았던 쓰라린 경험들이 씌어진 기록들이 나오게 되었습니다. 높은 점수는 앰프들의 차이를 들었다는 것을 증명할 수 있겠지만 무작위 점수는 앰프의 소리가 모두 같다는 것을 증명할 수 없습니다. 뒤에 나오는 청취자들의 간단한 소감들만이 그들이 확실하다고 생각했던 답들이 틀린 줄 알게 되었을 때 느꼈던 실망들을 보여줍니다.

앰플리파이어 청취 테스트
회	비교 앰프	청취 패널 구성(1)	테스트 방식(2)	청취 시간(3)	선택수 (정답/합계)	정답 백분율	우발적으로 맞을 확률값(4)
1	Levinson vs. Pioneer	신봉자 1	ABX	Long	4/16	25%	-
2	Counterpoint(5) vs. NAD	신봉자 3	ABX	Short	30/48	63%	0.056
3	Hafler vs. Futterman	신봉자 1	ABX	Long	7/16	44%	-
4	Hafler vs. NAD	회의론자 8	ABX	Medium	63/128	49%	-
5	Futterman vs. Pioneer	회의론자 8	ABX	Short	74/128	58%	0.046
6	Futterman vs. Levinson	회의론자 8	ABX	Short	63/128	49%	-
7	Futterman vs. Levinson	신봉자 5	ABX	Long	43/76	57%	0.151
8	Futterman vs. Pioneer	신봉자 4	ABX	Long	30/64	47%	-
9	Futterman vs. Pioneer	신봉자 4	케이블 교환	Short	10/20	50%	-
10	Hafler vs. Levinson	신봉자 4	ABX	Medium	28/64	44%	-
11	Hafler vs. Levinson	신봉자 4	케이블 교환	Short	12/20	60%	0.252
12	Futterman vs. NAD	회의론자 2	ABX	Medium	14/32	44%	-
13	Futterman vs. Hafler	회의론자 2	ABX	Medium	21/32	66%	0.055

종합 성적
비교 앰프	선택수 (정답/합계)	정답 백분률	우발적으로 맞출 확률값(4)
Counterpoint vs. NAD	30/48	63	0.056
Futterman vs. Hafler	28/48	58	0.156
Futterman vs. Pioneer	114/212	54	0.151
Futterman vs. Levinson	106/204	52	0.312
Hafler vs. NAD	63/128	49	-
Levinson vs. Hafler	40/84	48	-
Futterman vs. NAD	14/32	44	-
Pioneer vs. Levinson	4/16	25	-

청취자 개인별 종합 성적
청취자	성격(1)	선호 방식(2)	종합 성적 (정답/합계)	정답 백분률	우발적으로 맞을 확률값(4)
1	신봉자	케이블 교환	13/32	41	-
2	신봉자	ABX	30/48	63	0.056
3	신봉자	ABX	7/16	44	0.056
4	회의론자	ABX	23/48	48	-
5	회의론자	ABX	22/48	46	-
6	회의론자	ABX	28/48	58	0.156
7	회의론자	ABX	23/48	48	0.156
8	회의론자	ABX	25/48	52	0.443
9	회의론자	ABX	25/48	52	0.443
10	회의론자	ABX	27/48	56	0.235
11	회의론자	ABX	27/48	56	0.235
12	신봉자	ABX	10/16	63	0.227
13	신봉자	ABX	7/12	58	0.387
14	신봉자	ABX	8/16	50	-
15	신봉자	ABX	9/16	56	0.402
16	신봉자	ABX	10/21	43	-
17	신봉자	ABX	12/21	57	0.332
18	신봉자	Open	7/21	33	-
19	신봉자	케이블 교환	11/21	52	0.500
20	신봉자	ABX	9/21	43	-
21	신봉자	ABX	13/21	62	0.192
22	신봉자	케이블 교환	9/21	43	-
23	신봉자	케이블 교환	8/21	38	-
24	회의론자	ABX	16/32	50	-
25	회의론자	ABX	19/32	59	-
주석(註釋): 모든 결과를 다 합하면 727번 시행에서 388개의 정답을 얻은 것으로 나옵니다. 그러므로 성공률은 50.3%입니다. 무작위로 답을 써 넣으면 얻을 것이라고 생각되는 평균 점수는 50점입니다. 1. 신봉자란 앰프의 음질은 현저히 다르다고 믿는 사람을 가리킵니다. 회의론자란 그러한 것을 믿지 않는 사람을 가리킵니다. 2. 청취자는 앰프를 비교 청취할 때 다음의 두가지 방법 중 하나를 선택하였습니다: 하나는 ABX 스위치 박스를 사용하는 ABX 방식(더블 블라인드)이며? 또 하나는 스피커 케이블을 한 쪽 앰프에서 빼내어 다른 쪽에 꼽는 ?케이블 교환 방식(싱글 블라인드)입니다. 테스트의 마지막 부분에서 어떤 방식을 선호하는지 질문하였습니다.(자기가 무엇을 듣는지 알고 듣는 "open" 테스트를 포함하여) 3. "Short"는 한시간 이내, "Medium"은 한시간에서 두시간 사이, "Long"은 두시간 이상의 청취를 가리킵니다. 4. 우발적으로 맞출 확률이란 소리의 차이를 가려내어 맞춘 것이 아니고 완전히 요행으로 맞출 확률을 가리킵니다. 여기서 보인 수치가 낮을수록 음질 차이를 가려내어 맞추었을 확률이 높은 것을 가리킵니다. 점수가 50점 이하인 경우에는 이 수치를 계산하지 않았습니다. 5. Counterpoint 파워 앰프는 청취 테스트 중에 고장이 났고 대쳬품을 주어진 시간내에 확보하지 못하여 더 이상의 테스트를 할 수 없었습니다.

청취자의 소감

테스트의 각 단계(A/B 비교를 하지 않은 예비 테스트, 블라인드 테스트, 성적표를 받은 후?마다 청취 패널들이 자신들의 주관적인 소감을 적도록 하였다. 다음의 내용은 그들의 반응들 중 일부이다.

---

개방 청취

Futterman:가장 달콤한 초고역(쏘지 않는 고역), 가장 깊이있는 소리, 가장 덜 금속성....사운드 스테이지의 넓이를 증가시키는 능력은 놀랍다... 바이올린 소리는 최고이며, 클라리넷은 아주 분명하고, 목관은 매우 생생하다.... 타악기는 바삭바삭하며.... 잔향을 이끌어내는 능력은 대단하다....
Hafler:베이스 악기의 소리는 광대역이다-약간 공허하다-명확하지만 충분히 바삭바삭하지 않다- 덜 풍부한 육성.... 바삭바삭한 베이스.... 깨끗하지 않다, 째지는 소리...거슬리는...육성의 깊이는 좋다, 베이스가 약하다, 약간 거슬린다.... 평범한 소리, 깊이가 없음...깊이는 좋은 것과 최고의 것 사이.... NAD나 pioneer 보다 낫다.... 약간 흐릿하다... 조금 더 생생한 느낌...
Levinson:더욱 달콤한 초고역... 저역 응답은 Futterman보다 좋다-몸을 울리는 충격은 더 세다... 깊이와 사운드 스테이지는 최고다... 육성은 매우 깨끗하다... 현악과 혼 소리는 깨끗하다-조용하다-타악기도 매우 깨끗...순간음의 첨단은 매우 좋다.... 잔향이 매우 명확하게 들린다...풍부한 임장감... 약간 까끌 까글한(gritty) 배경잡음....
NAD:고역은 Futterman 보다 더 감미롭다... 중고역은 날카롭다, 째진다...타악과 베이스가 무디게 들린다....악기 주위의 공기가 충분히 느껴지지 않음...Futterman 만큼 탁월하지 않고, Futterman 만큼 재미있지 않다... 평범한 소리, 진짜 깊이는 없다.... 흐릿하다-찌그러진다... 바이올린은 Futterman 처럼 깨끗하지 않다.
Pioneer:초고역이 약하다-윤곽이 흐리다-크레센도가 들어올 때 약간 째지는 소리가... 때때로 거칠다....충격이 약하다-저역이 없다-육성에 저역이 없다-현악이 덜 깨끗하다-약간 날카롭다- 아주 좋다-폭이 좁은 소리, 막힌 소리...더 심한 찌그러짐....최고의 진폭이 나오는 대목에서 찌그러진다... 약간의 잔향이 들린다....

---

블라인드 비교 청취

Pioneer vs. Levinson: 이 두 앰프의 소리는 놀라울 정도로 비슷하다.
Futterman vs. Hafler:Futterman이 더 깨끗하며 더 달콤한 소리를 낸다.
Hafler vs. Levinson:두 앰프의 소리가 이렇게 비슷한 것을 보고 놀랐다... 나는 그 차이를 거의 들을 수 없다는 것을 인정한다.
Levinson vs. Futterman:작은 차이가 있다. 그러나 $10,000 정도의 차이는 아니다.

---

그들의 결론

....... Futterman를 가진 애호가들은 이것을 읽고 매우 실망할 것이다.
........불행한 일이지만, ABX 비교기가 기기의 성능을 떨어뜨린다고 믿는 이 일류 애호가들은 이 엄청난 논쟁에 답을 낼 가장 유효한 방법을 잃었다.
........블라인드 청취 테스트는 두 최고급 앰프들 사이의 차이가 거의 없다는 것을 보여 주었다.
........나는 ABX 방식이 더 좋다고 생각한다. 왜냐하면 케이블을 뽑고 꼽는 시간 간격 때문에 청취의 정확성이 떨어진다.
........소스 재료, 다른 방식의 앰프,부수적인 장치등을 이용하면 그 차이가 드러날 수 있을지 모른다. 그러나 나에게는 어쩔 수 없을 정도로 그 차이를 가려내기 어려웠다.