김훈 박사, 제11기 데이터거래사 교육서 ‘품질평가 기준’ 심층 해부… "AI 시대, 새로운 평가 척도가 필요하다"

[한국유통신문= 김도형 기자] 

"데이터에서 가치를 찾으려는 순간, 우리는 필연적으로 품질이라는 벽에 부딪힙니다. 데이터가 누락됐거나, 통계가 잘못됐거나, 심지어 개인정보가 섞여 있다면 어떻게 해야 할까요? AI에게 물어볼 수도 있겠지만, 근본적인 해결책은 되지 못합니다."

제11기 데이터거래사 교육 2부 데이터 품질평가 두번째 강연에서 김훈 박사는 데이터 실무자들이 겪는 현실적인 고민을 화두로 던지며 강의의 문을 열었다. 그는 “데이터 분석에 필요한 수준까지 데이터를 정제하고 품질을 확보하는 데 프로젝트 시간의 45%가 소요되고, 실제 의미 있게 쓰이는 데이터는 5%에 불과하다는 통계가 있다”며, 이 ‘시간과 비용’의 문제를 해결하는 열쇠가 바로 체계적인 ‘데이터 품질평가’에 있다고 강조했다.

품질평가의 나침반, DQ 인증제도

김 박사는 국내 데이터 품질평가의 핵심 기준으로 ‘데이터 품질인증(DQC, Data Quality Certification)’ 제도를 소개했다. 이는 ‘데이터 산업법’에 근거한 국가 공인 제도로, 데이터의 완성도와 신뢰도를 공식적으로 인증하여 데이터 유통과 활용을 촉진하는 것을 목표로 한다.

평가 대상: 데이터의 ‘내용(정형/비정형)’과 ‘관리체계’ 두 가지를 모두 평가한다.

평가 등급: 데이터 내용은 Platinum / Gold / Silver 3등급으로, 관리체계는 Level 1~5까지 5단계로 나누어 평가의 객관성과 변별력을 높였다.

평가 항목: 완전성, 유효성, 정확성, 일관성, 유일성 등 국제 표준을 기반으로 한 구체적인 지표들을 통해 데이터의 품질을 다각도로 측정한다. 특히 최근에는 비정형 데이터와 관리체계에 대한 평가 기준이 추가 및 강화되며 빠르게 변화하는 데이터 환경에 대응하고 있다.

김 박사는 "DQ 인증의 세부 항목들을 살펴보면, 단순히 값이 있냐 없냐를 넘어 형식적으로, 의미적으로 유효한지, 논리적으로 모순은 없는지 등 매우 디테일한 기준을 적용하고 있다"며, "이는 데이터 거래 시 구매자에게 신뢰를 주고, 판매자에게는 데이터의 가치를 증명하는 중요한 근거가 된다"고 설명했다.

글로벌 스탠다드, ISO/IEC 25012가 제시하는 길

김 박사는 국내 제도의 뿌리가 되는 국제 표준 'ISO/IEC 25012'도 심도 있게 다뤘다. 이 표준은 데이터 품질 특성을 크게 두 가지로 구분한다.

고유(Inherent) 데이터 품질: 데이터 자체의 본질적인 품질. 정확성, 완전성, 일관성, 신뢰성, 최신성 등이 포함된다.

시스템 종속(System-dependent) 데이터 품질: 시스템과 연계되었을 때의 품질. 가용성, 이식성, 복구성 등이 해당된다.

그는 “이 표준은 데이터 품질을 측정하는 공통된 수식으로 ‘전체 데이터 수 대비 조건을 만족하는 데이터 수’라는 간단한 공식을 제시한다”며, “비록 단순해 보이지만, 이는 전 세계 누구나 동일한 잣대로 품질을 측정할 수 있게 하는 표준화의 첫걸음”이라고 그 의미를 부여했다.

AI 시대의 도래, 새로운 품질 척도를 요구하다

강의의 핵심은 AI 시대에 맞춰 진화하는 품질평가 패러다임이었다. 김 박사는 기존 ISO/IEC 25012 표준에 AI 특성을 반영한 ‘ISO/IEC 5259’ 표준을 소개하며, 새롭게 추가된 평가 항목들을 강조했다.

감시 가능성(Auditability): AI 학습에 사용된 데이터를 필요시 확인할 수 있는가?

다양성(Diversity) 및 관련성(Relevance): 학습 데이터가 편향되지 않고, 목표와 관련성이 있는가?

목표 적합성(Fitness for Purpose): AI의 특정 목적에 부합하는 품질을 갖추었는가?

김 박사는 “AI는 데이터의 미묘한 편향성에도 성능이 크게 좌우될 수 있다. 특히 채용, 대출 등 인간의 삶에 직접적인 영향을 미치는 고위험 AI 분야에서는 데이터의 다양성과 공정성을 평가하는 것이 무엇보다 중요하다”고 역설했다.

그는 “데이터 품질평가는 이제 ‘있는 그대로’를 넘어 ‘AI에 적합하게’라는 새로운 차원으로 진입하고 있다”며, “국제 표준의 변화에 발맞춰 우리만의 평가 체계를 끊임없이 발전시켜 나가는 것이 데이터 강국으로 가는 길”이라고 말하며 강의를 마쳤다. 기술의 발전에 따라 끊임없이 진화하는 품질평가의 세계, 그 최전선에서 기준을 세우고 신뢰를 만들어가는 데이터거래사들의 역할이 더욱 중요해지고 있다.

<저작권자(c)한국유통신문. 무단전재-재배포 금지> 

 기사제보 및 사회적 공헌활동 홍보기사 문의: 010-3546-9865, flower_im@naver.co

검증된 모든 물건 판매 대행, 중소상공인들의 사업을 더욱 윤택하게 해주는