AI에게 내 논문 리뷰를 맡겨보면 어떨까

논문을 쓰다 보면 한 가지 간절한 순간이 있다. 투고 직전, 누군가에게 “이거 한번만 봐줄 수 있어?”라고 물어보고 싶은 그 순간.

그런데 만약 그 “누군가”가 AI라면? ChatGPT에게 내 논문 초고를 던져주고 리뷰를 시키면 어떤 일이 벌어질까. 아직 안 해봤지만, 한번 상상해봤다.

아마 잘할 것 같은 것들

문법과 표현 교정은 확실히 잘할 것 같다. 영어 논문을 쓸 때 어색한 표현이나 반복되는 단어를 잡아주는 건 지금도 꽤 잘한다.

논리 흐름 체크도 어느 정도 가능할 것 같다. “이 문단과 저 문단의 연결이 자연스럽지 않다”거나 “이 주장의 근거가 약하다” 정도는 짚어줄 수 있지 않을까.

포맷 확인도 괜찮을 것 같다. 참고문헌 형식, 표/그림 번호 일관성, 약어 정의 여부 같은 기계적인 체크.

아마 못할 것 같은 것들

기술적 정확성 검증은 위험할 것 같다. 구조공학 논문에서 실험 세팅이 적절한지, 하중 조건이 현실적인지, 결과 해석이 맞는지를 판단하려면 분야의 깊은 이해가 필요하다. 지금 수준의 LLM이 이걸 신뢰할 만큼 해줄 수 있을지는 의문이다.

참신성 평가도 어려울 것 같다. “이 연구가 기존 연구 대비 어떤 기여가 있는가”는 해당 분야의 최신 동향을 정확히 알아야 판단할 수 있다. AI가 “novelty가 부족하다”고 말한다고 해서 그걸 곧이곧대로 믿기는 힘들 것 같다.

리뷰어의 관점을 완전히 대체하기도 어려울 것 같다. 같은 분야 연구자가 갖고 있는 직관과 경험에서 나오는 코멘트는 AI가 흉내내기 힘든 부분이다.

그래도 쓸모는 있을 것 같다

완벽한 리뷰어는 아니더라도, 초고 단계에서 셀프 체크 도구로는 충분히 쓸모 있을 것 같다. 투고 전에 한번 돌려보면서 “혹시 내가 놓친 게 있나” 정도로 활용하면 괜찮지 않을까.

다만, AI가 “이 논문은 잘 쓰여졌습니다”라고 말해도 리뷰어가 reject을 날리는 건 별개의 문제니까. 과신은 금물이다.

다음에 진짜 해볼까

이건 상상으로만 쓴 글이다. 다음에 실제로 내 논문을 넣어보고, AI 리뷰가 어디까지 맞고 어디서부터 틀리는지 비교해보는 글을 써봐도 재밌을 것 같다.

리뷰어 3명 중 1명이 AI인 시대가 올 수도 있지 않을까. 아니, 이미 오고 있는 건지도 모르겠다.