[인적성검사] 적성검사가 연습효과에 취약하지 않나요?

결론부터 말하자면 어떤 적성검사는 연습효과에 취약합니다. 반면에 어떤 적성검사는 연습효과가 거의 없습니다.

연습효과에 관한 연구는 대개 같은 문제로 재검사한 경우에 대한 연구였습니다. 메타분석 결과를 보면 재검사를 하면 영향력 크기가 .2대 정도로 나타납니다. 쉽게 말해서 연습 효과가 있다는 것입니다. 그리고 대체로 인지능력이 좋은 수검자일수록 재검사 효과가 크게 나타났습니다.

 

그런데 적성검사에서 주로 측정하는 일반인지능력 계통의 능력은 연습효과가 나타나기 어렵습니다. 흔히들 적성검사를 준비한다고 하면 고사성어를 익히고, 장문 독해 문제를 빠르게 푸는 비법을 배우고, 물의 농도나 속도 등의 공식을 외우고, 지우개나 볼펜 등을 주사위 대용으로 활용하는 편법을 배워서 한두 문제라도 더 맞추려고 하는 것이지 특정한 영역에서 의미 있는 능력 상승을 원하지는 않습니다. 애초부터 연습효과에 한계가 있다는 점을 인식하고 있는 것이겠죠.

 

심지어 작업기억(working memory)도 훈련해서 향상시킬 수 있다는 논문이 나온 적도 있습니다(Jaeggi et al. 2008). 최근에 구글 앱스토어에도 보면 "작업기억 훈련"(working memory training)을 시켜준다는 앱이 수십 개 있습니다. 논문 저자에 따르면 작업기억 훈련이 작업기억 자체도 향상시켰고 멀게는 결정성 지능도 향상시켰다고 합니다. 그런데 이후의 반복 연구(replication study)에서는 전이 효과가 확인되지 않았습니다. 다시 말해서 반복 연습한 바로 그 과제는 잘 수행했지만, 유사한 다른 과제에서는 그러지 못했다는 것입니다.

 

실제로 공공기관의 NCS 전형을 준비하는 수험생도 보면 지식을 외우면 되는 '모듈형'은 연습해서 점수가 올라가지만, 일반정신능력에 가까운 '피샛형'에서는 여러 해 공부를 해도 점수가 잘 올라가지 않는 경우가 많습니다.

 

 

적성검사를 개발하거나 선택할 때 연습효과가 걱정된다면 연습효과의 영향을 적게 받는 유형들로 고르면 됩니다. 그리고 문제 자체도 위에서 언급한 편법으로 풀지 못하도록 만들면 됩니다. 다만, 이런 형식이나 구성을 갖춘 문제를 개발하려면 제법 시간과 비용을 들여야 합니다.

 

또 연습효과의 영향을 덜 받게 하기 위해서는 수검자가 풀어본 문제가 최소한으로 출제되도록 하면 됩니다. ETS가 운영하는 GRE 등은 문제 풀(item pool) 방식으로 인지능력검사를 운영하는 한 사례라고 할 수 있습니다.

 

물론 적성검사에도 연습효과가 전혀 없지는 않겠지만, 선발 도구로서의 타당도를 저해할 정도는 전혀 아닙니다. 또 연습효과의 영향을 덜 받는 종류의 내용과 형식으로 문항을 구성할 수 있습니다. 또 되도록이면 많은 문제 풀(pool)에서 추출해서 수검자가 이전에 풀지 못한 문제들 중심으로 적성검사를 구성하면 됩니다.

 

이렇게 하면 다른 어떤 도구보다 핵심적 직무수행을 잘 예측하는 것으로 알려진 일반인지능력을 상대적으로 가장 잘 측정할 수 있습니다.

 

 

(글: 비에스씨 연구소)

 

 

“이 글은 비에스씨 뉴스레터 '비스킷'(2023-10-05)에 실린 내용입니다.

역량평가, 조직문화 등에 관한 새로운 컨텐츠를 받아보시려면 비스킷 뉴스레터를 구독하세요!”

 

>> 구독 신청하기

 

 

 

 

자세한 BSC 서비스 안내자료를 원하시면,

아래 배너를 클릭하셔서 BSC 홈페이지의 <문의하기>를 이용해 주시기 바랍니다.

 

 

도움이 되셨다면, 댓글과 공감 부탁드립니다!