논문은 과학이지만 리뷰는 비과학이다.

논문의 억셉 여부는 결국 리뷰어 서너 명의 의견에 의해 결정되곤 한다. 리뷰어가 agreeable 한 사람이 배정되면 운 좋게 억셉될 수도, nitpicking 하는 사람이 배정되면 운 나쁘게 리젝될 수도 있다.

사실 이런 특징은 우리 사회의 다른 어느 시스템이든 마찬가지이다. 경계선에 걸친 애매한 경우 담당자가 누가 걸리냐가 매우 중요해진다. 운전면허도 세무조사도 대출심사도 경계선에 가까울 수록 심사자의 영향력이 커진다. 경계선을 월등히 넘으면 심사자의 영향력을 벗어나 좀더 안정적으로 승인되고, 경계선에 현저히 못 미치면 안정적으로 반려된다. 결국 대학원생의 목표는 경계선을 월등히 넘는 뛰어난 논문을 작성하는 것이겠다.

혹자는 이에 대해 과학과 비과학의 차이점을 내세우던 사람들이 이럴 때만 꼭 합리화를 위해 비과학과의 유사성을 내세우는 셈 아니냐고 비판하곤 한다. 논문은 운전면허, 세무조사, 대출심사보다 훨씬 과학적인 것으로 포장되는데, 리뷰 시스템 문제에 있어서만 비과학적인 면모가 합리화되는 것 아니냐는 논지이다.

하지만 내 생각은 다르다. 논문은 과학이지만 리뷰는 비과학이다. 논문은 과학적으로 작성되지만, 리뷰는 과학적으로 작성되지 않는다. 애초에 논문 자체는 데이터를 바탕으로 한 주장문에 가깝다. 따라서 논문에 대한 완벽히 객관적인 평가는 어렵다. 리뷰에서는 이 논문의 내용이 사실인지에 대한 검증도 이루어지지만, 이를 넘어서 이 논문이 어느 정도의 임팩트를 가지는지에 대한 평가가 핵심이 된다. 따라서 리뷰에는 주관이 개입될 수밖에 없다. 이는 사회과학 뿐만 아니라 자연과학, 컴퓨터 과학, 공학 모두 마찬가지이다. 논문은 과학적 실험을 토대로 작성된 것이지만 팩트가 아닌 주장이기 때문에 논문 평가시 주관이 들어가는 건 당연하다고 생각한다.

물론 현존하는 리뷰 시스템에 결함이 아예 없다는 것은 아니다. 어떤 시스템이든 마찬가지이겠지만, 리뷰 시스템 역시 개선될 여지가 있다고 본다. 하지만 리뷰 자체에서 주관성을 완전히 배제할 수는 없다는 것이 나의 의견이다. 필연적인 주관성을 안고 가면서도 그 안에서 리뷰 시스템을 최대한 개선해나가는 것이 연구자들의 또다른 과제인 것 같다.

아무튼 리뷰 시스템에 불만을 품기보다는, 다음에는 nitpicking 하는 리뷰어도 설득할 만큼 좋은 논문을 쓰겠다는 마음가짐으로 한 걸음 한 걸음 발전해 나가는 것이 박사 과정 아닐까 싶다. 마치 쑥과 마늘로 버티면서 인간이 되고자 하는 곰의 입장과 일맥상통한달까.