|
광고효과의 측정
Measurement of Advertising Effect
광고효과에 대한 연구는 많은 수준에서 행해질 수 있다. 넓게는 광고의 개발이나 사용 그리고 평가에 대한 제반 연구도 광고효과에 대한 연구라고 볼 수 있다. 즉 그러한 연구들은 많은 대학에서 이루어진 기본적인 원리에 의한 연구들이나 또는 대중매체기관에 의해 제공된 일반적인 정보들뿐만이 아니라 전문조사기관에 의해 수집된 일반적인 시장조사 자료까지도 포함된다. 그러나 본 장에서는 광고효과에 대한 연구들 중 보다 한정된 범위 내에서 광고의 실질적인 제작과 그것의 사용과 관련된 연구들을 살펴보고자 한다.
위와 같은 한정된 범위 내에서 광고의 효과를 알아보기 위한 방법으로 크게 ① 사전검사(pretest), ② 사후검사(post test), ③ 캠페인의 평가(evaluation of campaign)와 같이 나눌 수 있다. 먼저 사전감사란 광고의 제작과정에서 행해지는 검사로서 무엇을 어떻게 보여 줄 것인가에 초점을 두는 것이다. 따라서 사전 검사는 그 성격상 질적이며 진단적이라 볼 수 있다. 반면에 사후검사는 “무엇을 해야 하는가?”라는 측면보다는 “얼마나 잘하였는가?”라는 문제와 관련된 것으로서 대체로 양적이며 평가적이다. 끝으로 캠페인 평가는 어느 특정 카피의 효과보다는 광고의 장기적인 효과를 알아보려는 것이다.
본 장에서는 이러한 세 가지 유형의 검사에 해당되는 방법들을 세부적으로 살펴보고 모든 유형의 검사에서 고려되어야 할 타당도와 신뢰도 문제를 알아보기로 한다.
사전검사(pretest)
사전검사는 하나의 카피가 완성되기 이전에 거치는 과정으로서 모든 광고에서 항상 이루어지는 것은 아니다. 더구나 사전검사를 위한 비용이나 시간이 많이 소요되므로 흔히 사전검사는 거치지 않고서 카피를 완성하는 경우도 많다.
그러나 앞에서 살펴본 바와 같이 메시지 형태의 개발절차에 의해 만들어진 카피가 광고목표의 달성을 위한 보다 효과적인 광고가 되기 위해서는 여러 가지 대안들에 대한 소비자의 반응을 알아봄으로써 보다 과학적인 광고를 만들 수가 있다. 사전검사는 여러 가지 방법으로 행해질 수 있으나 가장 일반적인 방법들을 소개하면 다음과 같다.
1. 소비자 배심원의 사용
소비자 배심원의 사용은 잠재적인 구매자들이 견해를 대표할 수 있는 것으로 보이는 사람들로 하여금 광고에 대해 보고 느낀 자신들의 의견을 말하도록 하는 것이다. 즉 응답자들로 하여금 서로가 광고나 상표에 대해 거리낌 없는 대화를 나누도록 함으로써 귀중한 통찰을 제공받을 수 있다. 단 이 잡단의 리더의 과제는 당면문제와 관련된 대화만이 이루어지도록 하는 일이다.
2. 짝진 표본의 사용
이것은 둘 이상의 비교집단을 사용함으로써 광고 요소의 변화에 따른 효과를 비교하고 그 차이를 알아보려는 것이다. 표본을 짝짓는 형태는 표본의 연령이나 성, 소득, 인종, 그리고 상표사용의 정도에서의 차이에 따라 다를 수 있다. 다시 말해서 카피 대표제를 분리시켜 보거나 또는 슬로건이나 시각적인 방법을 달리하였을 때, 혹은 본문의 내용을 다양하게 했을 때 어떤 것이 더 좋은 가를 비교해 볼 수 있다. 그 예로 한 집단에게는 카피의 한 요소가 변화된 형태의 광고를 보여주고 다른 집단에게는 카피의 또 다른 요소가 변화된 광고를 보여준 뒤 두 집단에게 각기 광고의 제시 전과 후의 태도를 측정해 본다. 그 결과 만약 상표에 대한 태도에 있어서 한 집단이 다른 집단보다 태도변화가 더 많았다면 그것은 검사되고 있는 요소의 변화 때문에 기인된 것으로 볼 수 있다.
3. 포트폴리오 검사
이 검사는 잡지나 신문광고에 대한 검사에 사용될 수 있으며 태도변화뿐 아니라 카피의 요소에 대한 회상율도 측정 가능하게 해준다. 이 검사의 의미는 “Portfolio”라는 단어의 의미가 말해 주듯이 적절한 편집내용에 따라 여러 가지 광고 속에 검사하고자 하는 광고를 삽입시킴으로써 소비자들로 부터 반응을 알아보고자 하는 것이다. 즉 하나의 편집된 책 속에 검사광고를 하나나 둘 이상 삽입시켜 소비자의 가정에 보낸 뒤 일반 잡지책을 읽듯이 자기 마음대로 읽게 한 후 각 광고에 대한 태도를 측정한다. 만약 동일 상품에 대해 서로 다르게 설계된 검사광고 혹은 실험광고 A, B에 대한 반응이 한 표본에서 30%가 A광고의 표제를 기억하고 60%가 B광고의 표제를 기억해 낸다면 표제 B가 A보다 더 나은 것으로 가정할 수 있다. 이러한 검사에서는 비단 표제뿐만이 아니라 광고카피의 다른 요소들, 즉 구성이나 본문, 그리고 색에 대해서도 반응을 알아볼 수 있다.
4. 스토리보드 검사(Storyboard test)
앞의 포트폴리오 검사는 잡지나 신문 같은 인쇄광고에 대해 주로 사용되는 반면 스토리보드 검사는 주로 TV광고를 위해 사용되는 방법이다. 스토리보드 도구로는 영사 슬라이드나 키네스트립스와 같은 필름에 의한 스토리보드를 사용하고 있다. 먼저 영사 슬라이드는 무성필름의 토막들을 보여 주는 것이고 키네스트립스는 활동사진으로 촬영된 무성사진들을 보여 주는 것이다. 이중 후자의 사용은 그 절차에 있어서 다소 많은 비용이 소요되기는 하나 화면의 확대나 축소 혹은 밝기의 정도 등의 간단한 시각적인 기법들뿐 아니라 청각적인 요소들도 검사할 수 있다. 이러한 스토리보드를 사용하는 검사절차는 포트폴리오 검사의 경우와 유사하다. 즉 응답자들에게 8~10개의 TV광고의 스토리보드를 보여준 뒤 응답자들이 보았던 상품이나 상표 그리고 광고 메시지의 내용에 대해 가능한 많은 것을 회상하도록 한다. 이러한 절차 가운데서 대안의 광고형태를 비교하고자 할 경우에는 앞에서 제시된 짝진 표본을 사용함으로써 카피의 변화에 따른 선호도를 측정할 수 있다.
5. 기계의 사용
많은 기계장치들이 광고카피의 사전검사에 사용되고 있다. 이러한 기계에 의한 방법은 주로 심리학에서 많이 사용되는 방법으로서 그 성질상 크게 두 가지로 나눌 수가 있다. 하나는 인쇄광고나 TV광고에 의한 접촉이 보다 정확하게 되도록 통제하려는 것이고, 또 하나는 광고에 대한 반응을 보다 정확하게 측정할 수 있도록 하기 위함이다. 이러한 두 가지 목적을 위해 가장 일반적으로 사용되는 기계장치를 소개해 보면 다음과 같다.
(1) 타키스토스코프
타키스토스코프는 응답자들에게 고속으로 광고를 보여 주는 장치이다. 즉 노출속도는 1/1000초에서부터 몇 초에 이르기까지 그 단위가 아주 미세하다. 이러한 기계를 사용한 검사의 목적은 광고의 많은 요소들을 얼마나 빠르게 재인해 낼 수 있는가를 측정하려는 것이다. 따라서 자극의 제시 속도가 매우 빨랐을 때는 그것이 혼동되거나 잘못 재인되기도 한다. 예를 들어 A상표에 대한 광고가 빠르게 제시되었을 때 그것이 A와 유사한 다른 상표로 지각되었다면 그것은 일상생활에서 소비자들이 광고를 무심코 보았을 때 발생되는 일종의 지각 결과임을 가정하여 보다 특색 있는 카피의 구성이 필요함을 알려 주는 것이다.
타키스토스코프는 구미 각국과 일본의 많은 광고대행사들에 의해 사용되어왔다.
(2) 눈 움직임 측정 카메라
눈의 움직임을 측정하는 카메라는 Herman Brandt(1947)에 의해 처음으로 광고에 사용되었으며 이 방법은 소비자들이 광고를 읽는 데 소요되는 시간의 양과 또 광고의 한 요소로부터 다른 요소로 눈이 움직이는 것을 측정하기 위해 사용하는 장치이다. 그러나 광고맥락에서의 가장 적절한 기구는 Mackworth(1967)의 카메라이다.
(3) 동공의 측정장치
이는 TV방송을 통해 광고가 나올 때 시청자들의 동공확장을 사진으로 측정하는 기구를 말한다. 이러한 장치의 사용 이유는 동공의 크기는 변화는 인간의 정서적 반응과 관계가 있을 것으로 가정하고 있기 때문이다.
이 기법에 의한 고전적인 실험이 Hess와 Polt(1960)에 의해 실시되었다. 그 결과를 보면 남자피험자들은 여자의 누드화에 대해서 동공의 크기가 특히 확장되었으며 반면 여자피험자들은 남자의 누드화뿐만 아니라 어머니와 아기의 사진에 대해서도 강한 반응을 나타내었다.
이러한 방법은 상당히 흥미롭게 보일 수 있다. 그러나 동공반응의 원인은 매우 복잡 미묘하여 정서적인 요인 이외의 것에 의해 나타날 수도 있다. 따라서 이러한 방법에 의한 결과를 해석하기 위해서는 사전에 많은 생리적 지식들을 필요로 한다(Blackwell, Hensel, & Sternthal, 1970).
(4) 피부전기반응
이 방법은 정서적인 반응을 측정하는 것으로서 앞에서 소개된 동공 측정 장치와 같은 방법으로 사용될 수 있다. 즉 이 방법은 전기의 전도율에 의한 변화를 정서적 반응의 함수로 생각한다. 구체적으로 말하자면 정서적인 각성은 땀 선의 활동을 증가시키고 땀은 전기전도율을 증가시키므로 그것을 정신전류나 피부전기반응에 의한 측정치로 기록한다.
이러한 방법은 최근에 Leo Burnett 광고대행사 연구팀이 새로운 TV쇼에 대한 시청자의 관심을 측정하기 위해 사용한 바가 있다.
(5) 뇌파전위기록기
이 장치는 소위 EEG로 불리는 것으로서, 뇌파의 활동을 측정하는 장치이다. 즉 소비자들이 인쇄광고나 방송광고에 접했을 때 각각에 따른 뇌파의 활동이 다를 수 있음을 가정하고 이를 측정하고자 하는 것이다.
Krugman(1971)은 인쇄광고와 TV광고의 효과를 EEG 반응에 의해 비교했는데, 반응자들은 인쇄광고에 비해서 TV광고에 보다 수동적으로 반응함으로써 메시지를 이해하는 데 있어 보다 많은 노력을 기울이지 않았음을 시사하고 있다.
(6) 집단의 쾌락적인 반응기록
이 방법은 한 피험자집단이 TV 프로그램을 보는 동안 그들이 좋아하는 정도를 계속적으로 기록하는 방법을 말한다. 이것은 일종의 프로그램 분석기라고도 볼 수 있으며 프로그램이나 방송광고에 대한 초 단위별 평정이 가능하다. 특히 이 방법은 광고의 전체부분 가운데서 최대 관심분야에 가장 중요한 메시지를 배치시키는 데 상당한 도움이 된다
6. 심리적인 평정척도
앞에서 소개된 기계에 의한 방법과는 달리 가장 손쉬우면서도 흔히 사용된 것이 지필검사에 의해 소비자의 심리적인 반응을 얻어내는 것이다. 그 종류로는 의미미분척도(semantic differential scale), Likert 척도, Thurstone 척도 등이 있다. 각 척도의 제작기법과 사용이론에 대해서는 심리학에서의 심리척도에 관한 서적이나 소비자행동에 관한 서적을 참조하기 바란다. 이러한 척도들은 앞에서 제시된 여러 가지 기계적인 방법과 병행해서 사용될 수도 있다.
사후검사(post test)
사후검사는 하나의 광고가 실시된 후에 그 효과를 검사하는 것을 말한다. 따라서 사후검사의 목적은 그 성격상 진단적인 것이라기보다는 평가적인 것이다. 이때 광고의 효과를 평가함에 있어서 가정 먼저 고려되어야 할 사항은 평가에 사용될 준거의 설정이다.
즉 왜 어떤 광고는 효과적인 반면에 또 다른 광고는 그렇지 못한가? 그 이유에 대해서는 효과를 측정하기 위해 사용된 준거가 무엇인가에 따라 달라질 수 있으며, 그러한 준거 도한 관련 상표나 광고의 목표에 따라 달라질 수 있다. 광고 연구에서 일반적으로 널리 사용되는 반응으로는 네 가지의 반응준거가 있다. 그 첫째는광고에 대한 재인이며, 두 번째는 TV광고에서 흔히 사용되는 것으로 광고와 광고내용에 대한 회상이다. 세 번째는 설득으로서 이는 하나의 광고가 얼마나 설득적인가하는 것이고, 마지막 준거로는 구매행동이 사용될 수 있다. 이는 곧 하나의 광고의 캠페인이 구매행동에 얼마나 영향을 주는가하는 문제이다.
1. 재 인
재인이란 반응자라 하나의 광고를 이전에 본 적이 있는 것으로 재인할 수 있는가를 말한다. 재인검사의 예로는 미국의 Bruzzone Company가 TV광고에 대해 검사한 것으로서, 이 검사는 1000명의 가정주부에게 우편으로 질문지를 보냄으로써 반응을 조사하였다. 이 검사를 위한 표본은 자동차 등록번호나 전화번호를 가지고 있는 가정주부들의 명단으로부터 추출되었으며 회수율은 약 50%였다. 재인에 관한 문항은 질문지의 윗부분에 제시되어 있고 상표와 관련된 연상에 대한 질문은 질문지의 아랫부분에 제시되어 있다. 결과를 보면 약 60%가 관련광고를 재인하였으며 이들의 73%는 세 가지 대안 가운데 정확하게 상표를 선택할 수 있었다. 이 질문지의 검사 – 재검사 신뢰도 계수는 98로 보고되었다(Bruzzone, 1979).
인쇄광고에 대한 재인검사로서 가장 널리 알려진 검사는 Starch검사이다. 전형적인 Starch검사의 방법으로는 반응자들에게 그들의 특정잡지를 읽어보았는가를 묻고 만약 읽어보았을 경우 그들이 잡지에서 본 적이 있는 광고를 다시한번 하나씩 상기해 보도록 요청한다. 그 반응은 다음과 같은 세 가지 측정치로 분류하여 각 반응의 백분율을 계산한다.
● 문제가 되고 있는 광고를 본 것으로 기억하고 있는 사람의 백분율
● 상표명을 보았거나 또 그 광고가 특정상품에 대한 것임을 알고 있는 사람의 백분율
● 광고의 대부분을 읽었다고 대답하는 사람의 백분율
이러한 Starch조사기관의 자료를 이용하고 있는 연구들은, 광고에 대한 재인은 상품의 종류, 상품의 종류에 대한 표적 대상들의 관여, 카피의 크기, 위치 그리고 잡지나 매체의 성질에 따라 달라질 수 있음을 보여 주고 있다.
재인은 효과적인 광고를 위한 필요조건이다. 만약 하나의 광고가 이러한 기본적인 검사를 통과하지 못한다면 그것은 아마도 효과가 없을 것이다. 그러나 물론 높은 재인율이 항상 효과적인 광고라는 의미는 아니다.
2. 회 상
회상은 한 표본이 광고를 회상할 수 있는 비율을 말한다. 회상의 종류에는 두 가지가 있다. 그 하나는 보조회상으로서 이는 상품이름이 빠져 있는 광고의 그림을 봄으로써 상표에 대해 회상하는 정도를 말한다. 또 하나는 비 보조 회상으로서 이는 단지 상품이름만을 봄으로써 그에 해당되는 상표명을 기억하는 정도를 말하는 것이다.
한편 TV광고의 경우 가장 잘 알려진 회상측정법은 광고를 보낸 후 24내지 30시간 이내에 시청자와 면담을 함으로써 알아보는 것으로, 소위 “day-after-recall(DAR)”이라고 부른다. TV광고에 대한 DAR의 측정은 1940년대 George Gallup에 의해 처음 사용된 것으로서 그 절차는 전화에 의해 150명에서 300명 정도까지의 시청자들에게 TV 시청 후 하루가 지난 뒤에 광고에 나타난 내용을 묻는 것이다.
그러나 DAR의 방법이 사용되기 시작한 이래 이러한 측정의 타당성에 관해 많은 논쟁이 있어 왔다. 그러한 논쟁 가운데 하나는, DAR은 정서적인 TV광고의 적절한 측정치가 되지 못한다는 비판이다. 그 예로 Foote, Cone, 그리고 Beld-ing은 세 가지 느낌(feeling)광고와 세 가지 생각하게 하는(thinking)광고에 대한 재인과 DAR을 측정한 결과, 느낌광고에 대해서 DAR은 아주 낮았으나(19%대 31%) 재인점수는 별 차이가 없었다(31% 대 37%), 이러한 결과로부터 알 수 있는 것은 느낌광고에 대한 기억능력은 그 내용에 대한 언어화를 필요로 하므로 이를 위한 측정치로는 재인이 DAR보다 더 나은 측정치가 될 수 있다는 것이다(Zielske, 1982).
DAR이 가지고 있는 보다 기본적인 문제는 유용하게 사용될 수 있는 타당한 측정치인가라는 것이다(Givson, 1983). 이와 관련하여 그 첫째는 신뢰도 문제이다. 즉 동일 상품군에 대한 검사-재검사 신뢰도는 30을 넘지 못하였다. 두 번째 문제는, DAR점수는 프로그램의 성질이나 그에 대한 호감에 따라 부당하게 영향을 받을 수 있다는 점이다. 세 번째는, 회상과 설득에 대한 측정치 사이에 어떠한 관련성도 발견되지 않았으며 그뿐만 아니라 회상과 판매량 사이에 어떠한 정적인 관계도 발견되지 않았다는 사실이다.
3. 설 득
상표에 대한 선호의 변화를 알아보기 위한 검사로서 대표적인 것은 1950년대 Schwein과 Lazarsfeld에 의해 시작된 McCollum/Spielman 검사이다(Lipstein, 1984). 이 검사의 과정을 보면, TV 프로그램 시사회를 위한 목적으로 전화에 의해 반응자들을 모은 뒤 한 집단에 15명씩 TV모니터 앞에 앉게 한다. 토론 뒤 TV 화면에 나타나는 인적 사항이나 상표 및 상품의 사용 정도를 묻는 질문에 답하도록 한다. 그 다음에 다음과 같이 30분 간 네 가지 프로그램을 시청하는 동안 그 중앙에 일곱 가지 광고를 삽입하여 보게 한다.
프로그램에 대한 청중의 반응을 얻은 뒤 광고속의 상표명에 대해 비 보조 회상을 하도록 하여 관련 상표가 광고되었다는 것을 회상한 사람의 백분율을 구한다. 그런 후 다음과 같이 하나의 프로그램이 진행되는 사이에 제시된 네 개의 검사 광고에 또 한 번 접촉하도록 한다. 검사광고에 대한 두 번째의 접촉 뒤에 상품의 유형에 따라 태도의 이동에 대한 측정치를 구한다. 화장품과 같이 자주 구매되는 포장상품에 대해서는 접촉 이전에 가장 자주 구매되는 것으로 지목한 상표와 접촉 이후에 선택하는 상표와 비교한다. 또 음료수와 같이 여러 가지 상표를 함께 구매하는 상품의 경우에는 접촉 이전과 이후에 선호되는 상표의 비율에 따라 전체를 10점 만점으로 하여 각 상표에다 점수를 할당한다. 또 내구재나 서비스 품목에 대해서는 가장 선호하는 상표, 그 다음으로 선호하는 상표, 기각한 상표, 선호하지도 한고 기각하지도 않은 상표를 결정하여 측정함으로써 비교한다.
그런데 이 검사에서 중요한 요인은 바로 두 번의 접촉을 허용한다는 점이다.
McCollum/Spielman은 그 이유에 대해서, 두 번 이하의 접촉에 의한 검사의 경우 그것은 인위적이고 타당한 검사가 될 수 없기 때문이라고 주장하고 있다. 끝으로 검사과정에서는 ① 메시지/ 슬로건에 대한 이해, ② 광고에 사용된 증명이나 정보 제시자, 그리고 메시지에 대한 평가, ③ 상표의 독특성이나 차별화에 대한 지각, ④ 광고애서 짜증나게 하거나 혼란시키는 요소, ⑤ 시청자의 관여 등의 진단적인 질문도 병행할 수 있다.
McCollum/Spielman은 검사의 타당도를 알아보기 위해 412개의 캠페인을 선택해서 그 캠페인들이 실시되는 동안 마케팅의 목표를 달성하였는가를 3년 동안에 걸쳐 검사하여 보았다. 이를 위해 실시된 광고 캠페인의 유형을 다음과 같이 네 개의 집단으로 나누었다.
● 높은 태도의 이동과 커뮤니케이션에 대한 높은 인식
● 높은 태도의 이동과 커뮤니케이션에 대한 낮은 인식
● 낮은 태도의 이동과 커뮤니케이션에 대한 높은 인식
● 낮은 태도의 이동과 커뮤니케이션에 대한 낮은 인식
분명히 태도의 이동과 같은 설득측정치는 캠페인의 성공을 잘 예언해 주고 있다. 반면에 커뮤니케이션에 대한 인식과 같은 회상측정치는 진단적인 가치를 지닐 수 있으나 캠페인의 성공과는 아무런 관계를 나타내지 못하였다.
한편 McCollum/Spielman검사 외에도 실제 TV방송에 의한 검사(on-air-test)도 사용될 수 있다. 즉 시청자에게 전화에 의해 검사 프로그램을 보도록 한 뒤 상표명에 대한 비보조회상이나 상표선호도를 측정한다. 그런 뒤 그 다음날 역시 같은 TV프로그램에 접촉하게 한 뒤 질문에 답하게 함으로써 회상이나 상표선호도에서의 변화를 추정할 수 있다.
4. 구매행동
네 번째 준거는 실제 상황에서의 상표의 선택이다. 이에 관한 검사들은 광고의 접촉이 구매행동에서의 변화에 미치는 영향에 초점을 둔다. 여러 가지 검사 가운데 대표적인 검사의 하나는 쿠폰에 의한 것이다.
구체적인 절차를 보면 쇼핑센타 내에서 무선으로 실험집단과 통제집단으로 나눈 뒤 실험집단에게는 다섯 개의 TV광고나 라디오 광고, 혹은 여섯 개의 인쇄광고에 접하도록 한 뒤 광고에 대한 질문에 답하도록 한다. 아울러 두 집단 모두에게 고객번호를 부여하고 또 다른 근처의 다른 상점에서 사용할 수 있는 쿠폰을 제공한다. 그 후 판매결과를 측정해 봄으로써 광고가 구매율을 통제집단의 구매율로 나눔으로써 효과의 측정치를 구할 수 있다.
캠페인의 평가
캠페인의 평가는 광고의 장기적인 효과를 알아보려는 것으로서, 이것은 캠페인의 추적을 통해 파악될 수 있다. 즉 표적 대상을 정기적으로 표집하여 그 반응을 알아봄으로써 관심 있는 측정치의 시간적인 추세를 알아볼 수 있다. 따라서 그 결과는 광고 캠페인의 평가에서 흔히 사용되는 측정치들로는 광고에 대한 인식, 광고의 요소에 대한 인식, 상표에 대한 인식, 상표의 속성에 대한 신념, 상품의 이미지, 사용 경우, 상표 선호도 등이다. 특히 관심의 대상이 되는 것은 광고가 어떻게 전달되고 있는가? 라기보다는 캠페인이 관련 상표에 어떻게 영향을 주고 있는가를 알아보는 것이다.
타당도와 신뢰도
지금까지 광고효과의 측정을 위한 여러 가지 방법들과 그 예들을 살펴보았다. 그러나 어떤 목적을 위해 어떤 방법을 사용하든 중요한 문제는 측정방법의 타당도와 신뢰도 문제를 고려해야 한다는 점이다. 즉 어떤 효과를 측정하기 위한 검사를 선택함에 있어서 가장 기본적인 문제는 그 검사가 타당한 것인지, 그리고 신뢰로운 것인지에 대한 의문을 제기하는 것이다. 다시 말해서 한 검사가 광고의 효과를 실제로 측정해 줄 수 있는 것인가, 혹은 같은 효과를 여러 번 측정했을 때도 그 검사는 같은 결과를 알려줄 만큼 신뢰성이 있는 도구인가 하는 문제이다. 이러한 문제들을 보다 세부적으로 살펴보기로 하자.
1. 타당도
광고의 효과를 측정하기 위한 검사가 보다 타당한 것이 되기 위해서는 다음과 같은 몇 가지 요인이 고려되어야 한다. 첫 번째는, 목적에 대한 조작적인 정의가 필요하다. 예를 들어 광고에 대한 검사가 커뮤니케이션 목표를 충족시키고 있는가를 알아보기 위한 것이라면 그러한 목표를 대표할 수 있는 측정이 가능하면서도 유용한 변인에 대한 정의가 필요하다.
둘째는, 한 검사 내에서의 피험자들은 표적 대상인 모집단을 대표할 수 있는 사람들이어야 한다. 따라서 이상적인 무선화에 의해서 표집하고 또 표집 된 표본의 크기가 충분히 클 때에 그 결과는 통계적으로 타당화 될 수 있다.
세 번째는 가장 중요한 것으로서, 검사환경과 측정도구에 대한 반응자의 반발이 있을 가능성을 배제할 수 있어야 한다. 왜냐하면 그러한 반발은 결과를 왜곡시킬 수 있기 때문이다. 사실상 반응자들이 검사상황에 처해 있을 때는 실제상황과는 다르게 행동하는 경향이 있다. 이러한 반발효과를 최소화하기 위한 하나의 방법으로는 실험의 실제목적과 다르게 설명하는 것이다. 즉 검사의 목적이 광고의 평가가 아니라 TV프로그램의 평가라고 알려 주는 것이다. 그러나 이러한 방법도 결코 위와 같은 편견을 완전하게 제거시킬 수는 없으며 잘못하면 반응자들을 기만하는 도덕적 윤리적인 문제까지 야기 시키게 된다. 따라서 기능하면 이러한 문제에 직면하지 않도록 비 반발적인 측정방법을 사용하는 것이 바람직하다.
2. 신뢰도
광고효과의 측정을 위한 검사의 선택에 있어서 또 하나 고려되어야 할 사항은 선택한 검사의 신뢰도 문제이다. 즉 한 검사는 사용될 때마다 똑같은 것을 측정하고 있는가 하는 것이다. 이러한 문제에 관해서 몇 가지 연구가 행해졌다. Clancy와 Ostlund(1976)는 실제방송검사에 의해 106개의 TV광고에 대한 회상을 측정한 결과 그 검사방법의 신뢰도 계수는 67로 나타났고 상품의 범주효과가 제거되었을 때는 29로서 매우 낮은 신뢰도 계수로 나타났다. 이와 관련하여 Silk(1977)는, 신뢰도 평가를 위해 검사-재검사 방법의 위험성을 지적하고 있다. 그 이유는 검사할 때마다 소비자가 처한 상황이 서로 다르기 때문에 매우 낮은 상관이 나올 가능성을 배제할 수 없기 때문이라는 것이다. 사실상 이러한 요인 때문에 검사-재검사의 신뢰도를 평가하기란 매우 어려운 일이다.
이상에서 언급된 광고 심리학자들의 연구를 다시한번 문제의식을 가지고 검토하고 재 검증하는 작업을 하는 것이 논문 작성을 하는 학생들의 올바른 연구 자세라 사료됨.