한국언론진흥재단 대구지사서 데이터 수집·정제·분석 전문연수

PDF·회의록·판결문을 분석 가능한 데이터로 전환하는 실습 진행

바이브 코딩·OCR·API 활용법 소개…“최종 검증과 판단은 기자의 몫”

[한국유통신문= 김도형 기자] 방대한 공공문서와 디지털 기록 속에서 보도 가치가 있는 사실을 찾아내고, 인공지능을 활용해 취재 범위를 확장하는 데이터 저널리즘 실무교육이 대구에서 열렸다.

한국언론진흥재단 대구지사는 지난 8월 21일 뉴스타파 김지연 기자를 초청해 ‘데이터로 취재하고, AI로 확장하는 저널리즘 실무 전문연수’를 실시했다.

이번 연수에서는 데이터 저널리즘의 기본 개념부터 자료 수집과 정제, 엑셀·스프레드시트 분석, 광학문자인식인 OCR, 생성형 AI, API, 웹 크롤링, 바이브 코딩까지 실제 취재 현장에서 활용할 수 있는 방법이 폭넓게 소개됐다.

특히 참가 기자들이 선거 관련 증명서와 지방의회 회의록 등 공공자료를 직접 분석 가능한 데이터로 바꾸는 실습을 진행해 이론 중심 교육과 차별화했다.

“데이터 취재의 출발점은 기술이 아니라 질문”

김 기자는 데이터 저널리즘의 핵심을 ‘데이터를 많이 모으는 기술’이 아니라 ‘취재 질문을 데이터로 검증하는 과정’이라고 설명했다.

예를 들어 특정 지역의 폭염 피해가 심각하다는 문제의식이 있다면 먼저 어느 장소가 얼마나 더운지, 과거보다 온도가 얼마나 변했는지, 특정 계층에 피해가 집중됐는지 등을 질문해야 한다. 이러한 질문이 온도와 기간, 지역, 대상 등 필요한 데이터의 범위를 결정한다는 것이다.

김 기자는 공개된 데이터를 그대로 인용하는 데 그치지 않고, 새로운 질문을 던지거나 서로 다른 자료를 결합해야 기존 보도와 차별화된 결과를 얻을 수 있다고 강조했다.

공개되지 않은 자료는 정보공개청구와 행정소송 등을 통해 확보할 필요가 있다. 뉴스타파 역시 공공기관의 예산 집행자료, 특수활동비 관련 기록, 선거 후보자 자료 등 접근하기 어려운 정보를 확보한 뒤 분석 가능한 형태로 가공해 탐사보도에 활용해 왔다고 소개했다.

이는 데이터 저널리즘이 컴퓨터 작업에만 머무는 것이 아니라 기존의 현장 취재와 제보 확인, 정보공개청구, 문서 검증을 결합한 보도 방식이라는 의미다.

PDF를 표로 바꾸자 숨겨진 패턴이 보였다

공공기관이 공개하는 자료 상당수는 PDF나 스캔 이미지 형태로 제공된다. 사람이 한 장씩 읽을 수는 있지만 수백·수천 건을 비교하거나 통계를 내려면 행과 열로 구성된 데이터로 변환해야 한다.

김 기자는 과거에는 기자와 연구자가 PDF 문서를 일일이 확인해 엑셀에 옮겨 적어야 했지만, 최근에는 OCR과 생성형 AI, 파이썬 코드를 결합해 작업시간을 크게 줄일 수 있게 됐다고 설명했다.

강연에서는 선거 후보자가 제출한 전과기록 증명서를 사례로 들었다. 문서에서 후보자 이름과 선거구, 범죄명, 선고일자, 형량 등의 항목을 추출한 뒤 한 명의 후보자를 하나의 행으로 정리하면 전체 후보자의 기록을 조건별로 비교할 수 있다.

정리된 자료에서는 특정 범죄 유형, 발생 시기, 정당과 지역별 분포 등 취재 목적에 맞는 대상을 선별할 수 있다. 이후 원본 문서와 판결문, 당사자 해명 등을 추가로 확인하면 개별 문서를 읽는 방식으로는 발견하기 어려운 사회적 패턴을 보도할 수 있다.

김 기자는 “AI를 이용하더라도 먼저 한 건을 정확하게 데이터로 만드는 기준을 세워야 한다”며 “성공한 작업 방식을 반복하도록 설계하는 것이 자동화의 기본”이라고 설명했다.

분석용 데이터는 ‘한 행에 한 건’ 원칙

이날 교육에서는 분석 가능한 데이터의 구조를 설계하는 방법도 다뤄졌다.

사람이 보기 편하도록 여러 항목을 한 칸에 넣거나 셀을 합친 표는 분석과 자동화에 적합하지 않다. 취재 대상 한 건을 하나의 행에 두고 이름, 날짜, 지역, 유형, 금액 등 비교하려는 속성을 각각 별도의 열에 입력해야 한다.

날짜와 금액, 기관명 등의 표기 방식도 통일해야 한다. 같은 날짜가 여러 형식으로 입력되거나 숫자와 문자가 섞이면 필터링과 통계 과정에서 오류가 발생할 수 있기 때문이다.

교육생들은 엑셀과 스프레드시트 기능을 이용해 날짜와 범죄 유형을 정리하고, 조건별로 자료를 필터링하는 과정을 실습했다. AI가 생성한 결과를 그대로 사용하는 것이 아니라 원본 열을 보존한 채 별도의 열에 변환 결과를 기록하는 방법도 소개됐다.

이 방식은 오류가 발견됐을 때 원본과 변환 결과를 비교하고 수정할 수 있어 데이터의 추적 가능성과 신뢰성을 높인다.

코딩을 몰라도 자연어로 자동화…‘바이브 코딩’ 주목

이번 연수에서 참가자들의 관심을 끈 분야는 생성형 AI에 자연어로 지시해 프로그램을 만드는 ‘바이브 코딩’이었다.

과거에는 웹페이지에서 여러 문서를 내려받거나 PDF 내용을 표로 변환하려면 기자가 직접 프로그래밍 언어를 배우거나 개발자의 도움을 받아야 했다. 최근에는 “특정 페이지에서 회의록을 찾아 PDF로 저장하라”, “문서에서 필요한 항목을 추출해 표로 정리하라”는 방식으로 AI와 대화하며 자동화 코드를 만들 수 있다.

김 기자는 AI의 도움을 받아 파이썬 코드를 작성하고, 대량의 PDF에서 필요한 내용을 추출하거나 웹에 공개된 자료를 반복적으로 내려받는 취재 사례를 설명했다.

지방의회 회의록과 같이 양이 방대한 자료도 자동으로 수집한 뒤 특정 현안과 관련된 표현을 검색하고, 해당 발언자와 선거 출마자 자료를 결합하면 새로운 취재 대상을 찾아낼 수 있다.

다만 바이브 코딩은 “버튼 한 번으로 모든 취재가 끝나는 기술”이 아니다. 웹사이트의 구조와 문서 형식이 서로 다르고, 스캔 상태나 글자 인식 품질에 따라 오류가 발생하기 때문이다.

실제 강연에서는 스캔된 PDF가 조금만 기울어져도 문자 인식률이 낮아질 수 있어 문서의 수평을 보정한 뒤 OCR을 적용해야 하는 사례가 소개됐다. AI에 막연히 “자료를 정리해 달라”고 요청하기보다 필요한 항목과 출력 형식, 오류 처리 기준을 구체적으로 제시해야 안정적인 결과를 얻을 수 있다는 설명이다.

API·OCR·음성인식으로 취재 범위 확장

공공데이터포털이나 전자공시시스템 등에서 제공하는 API를 활용하면 웹페이지를 일일이 방문하지 않고도 대량의 자료를 구조화된 형태로 받을 수 있다.

API는 기관이 정한 규칙에 따라 필요한 데이터를 요청하고 전달받는 공식 통로다. 웹페이지 화면을 직접 수집하는 크롤링보다 안정적일 수 있지만, 제공기관의 인증키 발급과 이용조건을 준수해야 한다.

API가 제공되지 않는 자료는 웹 크롤링이나 문서 자동 내려받기 방식으로 확보할 수 있다. 그러나 서버에 과도한 요청을 보내거나 접근 제한을 우회해서는 안 되며, 해당 사이트의 이용약관과 개인정보·저작권 관련 기준도 확인해야 한다.

음성인식 기술은 영상과 녹음파일을 문자로 변환하는 데 활용된다. 수많은 유튜브 영상과 회의 발언을 자동 전사한 뒤 주요 인물이나 쟁점별로 분류하면 사람이 모든 영상을 처음부터 재생하는 데 드는 시간을 줄일 수 있다.

판결문과 카카오톡 대화, 스캔 문서처럼 양이 방대한 자료는 OCR로 문자화하고, 문서 기반 AI 도구를 이용해 사건별 쟁점과 인물, 시점 등을 정리할 수 있다. 다만 자동 전사와 OCR은 고유명사, 숫자, 법률용어를 잘못 인식할 수 있어 원본 대조가 필수다.

 

“AI는 자료를 줄여주지만 기사 가치는 판단하지 못해”

김 기자는 AI가 데이터 수집과 정제, 분류, 요약 과정에서 기자의 업무를 크게 줄여줄 수 있지만 무엇이 중요한 사실인지 결정하는 것은 여전히 기자의 역할이라고 강조했다.

후보자 수천 명의 기록을 표로 만들거나 판결문에서 반복되는 내용을 분류하는 작업은 AI가 지원할 수 있다. 그러나 어떤 사안이 공익적 의미를 갖는지, 개인의 과거 기록을 보도할 필요성이 있는지, 통계에서 발견된 차이가 실제로 무엇을 뜻하는지는 기자가 취재를 통해 판단해야 한다.

데이터에서 상관관계가 나타났다고 해서 곧바로 인과관계로 단정할 수도 없다. 표본과 기간, 누락된 자료, 분류 기준에 따라 분석 결과가 달라질 수 있으므로 취재 과정과 한계를 독자에게 투명하게 설명해야 한다.

AI가 제시한 요약이나 분류 결과에는 존재하지 않는 사실을 만들어내는 환각과 문맥 오해가 포함될 수 있다. 따라서 중요한 수치와 인용, 인물관계, 사건 일자 등은 반드시 원문서와 복수의 자료로 재확인해야 한다.

AI 시대, 기자에게 더 중요해진 ‘검증과 책임’

이번 연수는 AI가 기자를 대체하는 기술이 아니라 반복적인 작업을 줄이고 더 많은 자료를 검토할 수 있도록 돕는 취재 도구라는 점을 확인하는 자리였다.

데이터 수집과 문서 변환에 쓰이던 시간을 줄이면 기자는 현장 확인과 인터뷰, 반론 청취, 사회적 의미 분석에 더 집중할 수 있다. 반면 AI가 만든 결과를 검증 없이 기사에 반영하면 잘못된 정보가 대량으로 생산될 위험도 커진다.

민감한 제보자료나 개인정보, 수사·재판 기록을 외부 AI 서비스에 입력할 때는 보안과 정보보호 문제도 고려해야 한다. 언론사는 도구별 데이터 저장·학습 정책을 확인하고, 필요하면 개인정보를 비식별화하거나 기관이 승인한 환경에서 자료를 처리해야 한다.

김 기자의 이날 강연은 데이터 저널리즘의 경쟁력이 화려한 기술 자체에 있는 것이 아니라 정확한 질문을 설계하고, 자료를 체계적으로 수집하며, 결과를 끝까지 검증하는 저널리즘의 기본에서 나온다는 점을 일깨웠다.

AI가 취재의 속도와 범위를 확장할 수는 있지만 보도의 방향과 공익성, 사실에 대한 최종 책임은 결국 기자에게 남는다는 메시지다.

 

 

 

<저작권자(c)한국유통신문. 무단전재-재배포 금지> 

 기사제보 및 사회적 공헌활동 홍보기사 문의: 010-3546-9865, flower_im@naver.com

검증된 모든 물건 판매 대행, 중소상공인들의 사업을 더욱 윤택하게 해주는

 

마스터컴퍼니

 

[전자책] 대한민국 탐정 실무의 정석 | - 예스24

[전자책] 억대연봉 포상금 탐정사 실무지침서 | - 예스24