댓글 감성 분석, 2026 한국어 라벨 검수 시트

TL;DR: 한국어 댓글 감성 분석 검수는 대표 표본과 난례를 분리하고, 검수자 합의 라벨과 모델 결과를 감정별로 비교합니다. 전체 정확도 하나로 승인하지 않고 중요한 오분류와 판정 불가 범위를 보고 사용 여부를 결정합니다.

긍정률을 보고서에 넣기 전에 반어와 구매 질문을 어떻게 처리했는지 설명할 수 있도록 검수 시트를 구성합니다.

댓글 감성 분석 검수의 대표 표본과 난례 구분

보고할 플랫폼과 기간을 고정한 뒤 해당 댓글 모집합에서 표본을 추출합니다. 반어·신조어·짧은 답글은 별도 난례 시험셋으로 관리합니다.

광고·봇의 포함 여부는 소셜 데이터 정제 기준에서 먼저 확인하고, 이 글에서는 유효 댓글의 감정 라벨을 검수합니다.

플랫폼별로 층을 나누면 특정 채널만 검수하는 일을 피할 수 있지만, 층별 추출 비중이 실제 댓글 비중과 다르면 단순 평균을 전체 오류율로 제시하지 않습니다. 모집합 추정에는 설계에 맞는 가중과 불확실성 검토가 필요합니다. (Source: Statistics Canada, 연도 미상)

예를 들어 배송 반어를 집중 수집한 탭은 모델의 취약점을 찾는 데 사용합니다. 그 탭의 오류 비중을 전체 고객의 부정 감정 비중으로 바꾸지 않습니다. 행동별 시험과 집계 성능을 구분하는 접근입니다. (Source: Ribeiro 외, 2020)

표본을 뽑기 전에는 무엇을 한 건으로 셀지 정합니다. 같은 작성자가 여러 댓글을 남겼다면 댓글 수와 작성자 수는 다릅니다. 답글까지 포함할지, 삭제되거나 맥락을 확인하지 못한 댓글을 어떻게 기록할지도 추출 조건에 넣습니다. 그래야 검수한 표본과 보고서의 집계 대상이 달라지는 일을 막습니다.

예를 들어 특정 플랫폼 댓글이 대부분인 모집합에서 플랫폼마다 같은 수를 뽑으면 소수 플랫폼을 더 자세히 확인할 수 있습니다. 다만 그 결과를 단순 합산한 정확도는 원래 댓글 분포를 그대로 반영하지 않습니다. 담당자는 플랫폼별 오류를 먼저 보고하고 전체 수치가 필요할 때 추출 비중을 검토합니다. 표본을 많이 뽑았다는 이유만으로 대표성을 확보했다고 표현하지 않습니다.

난례 탭에는 선정 이유도 남깁니다. “반어로 의심됨”, “새로운 줄임말 포함”, “원문 없는 답글”처럼 모델이 어려워할 조건을 적습니다. 난례는 오류를 찾는 시험 자료이지 시장의 감정 분포를 추정하는 표본이 아닙니다. 같은 댓글이 두 탭에 들어가면 원문 ID로 중복을 확인하고 평가 목적을 구분합니다.

반어와 구매 질문의 대상·맥락별 라벨 합의

먼저 대상 브랜드와 속성을 고정하고 검수자 A·B가 독립 판정한 뒤 불일치를 조정합니다. 중립과 맥락 부족에 따른 판정 불가는 분리합니다.

설명용 창작 댓글인 “향은 좋은데 포장은 별로입니다”를 한 줄로 받았다고 가정합니다. 원문 ID는 유지하고 향과 포장으로 행을 나눈 뒤 각각 긍정과 부정으로 합의합니다. 서로 다른 속성의 감정을 무조건 혼합으로 묶지 않습니다. 같은 속성에 상반 감정이 공존하는 경우를 별도로 다루는 근거는 속성 기반 감성 연구에서 확인합니다. (Source: Pontiki 외, 2014)

“어디서 구매합니까?”는 구매 질문이라는 별도 태그를 남기고, 질문만으로 긍정을 확정하지 않습니다. “참 빠릅니다”는 배송 맥락이 없으면 반어를 단정하지 않습니다. 이 운영 규칙은 편집 제안이며 공인 한국어 댓글 표준을 뜻하지 않습니다.

다음 표의 댓글은 모두 라벨 규칙 설명용 창작 예시이며 실제 고객 발화를 인용한 것이 아닙니다. 표는 공인 정답표가 아니라 검수자 간 논의를 시작할 운영안입니다.

속성별 행을 늘린 뒤에는 집계 단위도 함께 바꿔 적습니다. 댓글 하나를 두 행으로 나눈 자료에서 행 수를 그대로 댓글 수라고 부르면 긍정률의 분모가 달라집니다. 댓글 단위 보고에는 혼합 감정을 처리할 규칙을 따로 두고, 속성 단위 보고에는 한 댓글이 여러 번 포함될 수 있음을 표시합니다.

검수자 A·B는 가능하면 모델의 예측 라벨을 보기 전에 판정합니다. 모델 답을 먼저 보면 두 검수자가 같은 답에 영향을 받아 독립 판정의 의미가 약해집니다. 불일치가 생기면 다수결로 덮기보다 대상 선택, 맥락 부족, 지침 해석 중 어느 부분이 달랐는지 기록합니다. 지침을 수정했다면 같은 유형의 이전 댓글도 재검토 대상에 넣습니다.

댓글 감성 분석 오류와 감정별 분모의 비교

합의 라벨을 행, 모델 라벨을 열로 둔 **혼동행렬(confusion matrix)**을 만들고 감정별 표본 수와 오류를 비교합니다. 검수자 일치도는 합의 전 A·B로 확인하며 모델 정확도와 혼동하지 않습니다.

정밀도(precision): 특정 감정으로 예측한 댓글 중 합의 기준에도 맞는 비율을 뜻합니다. **재현율(recall)**은 합의 기준상 해당 감정인 댓글 중 모델이 찾은 비율을 뜻합니다. (Source: Google ML, 연도 미상)

다음은 실제 성능이 아닌 계산 설명용 가상 예시입니다. 합의상 부정인 댓글이 16건이고, 모델의 부정 예측 10건 중 8건이 맞았습니다. 부정 정밀도는 8÷10=80%, 재현율은 8÷16=50%입니다.

예측이 맞는 비율만 보면 놓친 부정 댓글을 가리게 됩니다. 판정 불가로 평가에서 제외한 건수와 이유도 별도 기록합니다.

이 예시에서 모델은 합의상 부정 댓글 16건 가운데 8건을 놓쳤습니다. 또 부정으로 예측한 10건 중 2건은 합의상 부정이 아닙니다. 앞의 오류는 불만 누락이고 뒤의 오류는 다른 감정을 부정으로 잘못 분류한 경우입니다. 두 오류를 같은 “오답”으로만 묶으면 어떤 업무가 영향을 받는지 알기 어렵습니다.

위 정보만으로 전체 정확도를 계산할 수는 없습니다. 긍정·중립을 포함한 전체 표본 수와 각 분류 결과가 주어지지 않았기 때문입니다. 담당자는 확인한 두 지표만 보고하고 나머지 값을 추정해서 채우지 않습니다. 작은 표본에서는 댓글 몇 건의 판정 변경만으로 지표가 크게 달라질 수 있으므로 건수와 비율을 함께 제시합니다.

검수자 일치도도 같은 주의가 필요합니다. A·B가 모두 배송 맥락을 보지 못했다면 서로 일치해도 타당한 판정이라고 단정하기 어렵습니다. 합의 전 불일치와 합의 뒤 모델 오류를 다른 열에 보관하면 라벨 지침을 고칠지 모델을 조정할지 구분하는 데 도움이 됩니다.

검수 결과의 사용 범위와 보고서 보류 사유

업무상 중요한 오류와 평가 범위를 먼저 정하고, 확인한 범위만 사용합니다. 검수 시트는 긍정률 보고표가 아니라 그 수치를 어디까지 사용할지 남기는 문서입니다.

아래는 복사해 사용할 수 있는 편집 제안입니다. 항목별 값을 댓글 단위 행과 평가 요약 탭에 기록합니다.

예를 들어 포장 불만을 놓치는 문제가 확인되면 전체 지표를 승인하는 대신 해당 속성의 자동 집계를 제한합니다. 핵심 층을 검수하지 못했다면 보류하고, 모델이나 지침 변경 시 재검수합니다. 보편 합격 점수를 만들지 않는 이유는 평가가 사용 목적과 위험에 맞아야 하기 때문입니다. (Source: NIST MEASURE, 연도 미상)

감성 지표를 보고서에 배치하는 방법은 캠페인 성과 측정 가이드와 구분해 참고합니다. 싱클리 소셜 제품 안내는 대화를 주제·감정별로 정리하는 기능을 소개하지만, 이 글의 라벨 합의와 사용 승인 절차를 자동 수행한다는 뜻은 아닙니다.

사용 승인 문장은 분석 목적을 포함해야 합니다. 예를 들어 앞선 가상 예시처럼 부정 댓글을 절반만 찾았다면 불만을 빠짐없이 검토하는 업무에 모델 결과만 사용하기는 어렵습니다. 담당자는 부정으로 예측된 댓글뿐 아니라 놓친 유형을 추가 검수 대상으로 지정합니다. 반대로 같은 결과를 전체 고객의 감정 비율 보고에 사용하려면 대표 표본과 다른 감정의 오류도 확인해야 합니다.

포장 불만에서 오류가 반복됐다는 상황 역시 설명용 가정입니다. 이 경우 “모델 전체 사용 금지”와 “모든 지표 승인” 사이에서 업무를 나눕니다. 포장 관련 자동 감정 집계는 보류하고 원문을 사람이 검토하며, 다른 속성은 해당 속성의 검수 근거가 있을 때만 사용합니다. 보고서에는 제외한 범위와 수동 검수 여부를 함께 적습니다.

재검수 조건은 날짜만으로 정하지 않습니다. 모델 버전, 라벨 정의, 수집 플랫폼이 달라지거나 새로운 제품의 댓글이 들어오면 기존 평가를 그대로 적용할 수 있는지 확인합니다. 수정에 사용한 난례를 다시 잘 맞혔다고 전체 성능 개선을 선언하지 않고, 별도로 보관한 평가 표본에서도 결과를 확인합니다. 검수 시트의 마지막 칸에는 다음 확인 담당자와 보류 해제에 필요한 자료를 남깁니다.

핵심 요약

• 대표 표본과 난례의 목적을 구분합니다.

• 독립 판정과 합의 라벨을 함께 보존합니다.

• 감정별 오류를 보고서 사용 제한과 연결합니다.

좋은 검수는 높은 점수를 만드는 일이 아니라 수치의 사용 범위를 설명하는 일입니다. 소셜 리스닝 활용 범위를 상담하려면 싱클리 데모를 신청합니다.