대조군 오염, 2026 크리에이터 실험 해석 결정서

TL;DR: 크리에이터 캠페인 대조군 오염을 발견하면 원배정과 사전 분석 목적을 보존하고, 교차 노출 증거와 미관측 범위를 기록합니다. 원배정 분석도 간섭을 자동 해결하지 않으므로 순수 노출 효과라는 주장을 제한합니다.

대조군의 콘텐츠 노출을 지우면 보고서 숫자는 달라지지만 비교의 근거까지 회복되지는 않으므로 해석 결정서를 먼저 작성합니다.

대조군 오염의 출발점인 배정과 실제 노출의 구분

대조군 오염(contamination): 비처치로 배정한 집단이 처치 콘텐츠에 노출되는 등 계획한 비교 조건이 달라지는 상황을 뜻합니다. 한 단위의 처치가 다른 단위의 결과에 영향을 주는 **간섭(interference)**도 함께 검토합니다.

이 글은 실제 무작위 배정표와 성과 관측이 있는 실험을 대상으로 합니다. 자연 발생한 노출·비노출 집단 비교를 무작위 실험으로 부르지 않습니다. 처치가 콘텐츠 노출인지 광고 추가 운영인지부터 명시합니다.

실험을 시작하기 전 비용과 비교 조건은 시딩과 광고 비교 설계에서 검토하고, 여기서는 오염 발견 이후의 해석에 집중합니다.

예를 들어 광고를 받지 않도록 배정한 사람도 공개 크리에이터 게시물을 검색해 볼 수 있습니다. 광고 미게재가 모든 콘텐츠 미노출을 보장하지 않습니다. 간섭은 결과에 여러 방향으로 작용하므로 오염이 언제나 효과를 줄인다고 단정하지 않습니다. (Source: J-PAL Randomization, 연도 미상)

배정표를 읽을 때는 담당자가 통제한 행동을 한 문장으로 적습니다. 예를 들어 “일부 지역에만 크리에이터 영상을 광고로 추가 집행했다”는 실험과 “일부 지역에만 콘텐츠를 공개했다”는 실험은 다릅니다. 전자는 공개 게시물이 존재하는 환경에서 광고 추가 집행의 효과를 묻습니다. 대조군이 공개 게시물을 봤다는 이유만으로 두 실험을 똑같이 실패로 처리할 수는 없습니다.

다만 처치군의 광고가 공유를 거쳐 대조군 구매에 영향을 줬다면 이야기가 달라집니다. 실험 담당자는 기존 공개 노출과 실험 때문에 늘어난 확산을 구분해야 합니다. 구분할 자료가 없다면 “광고 배정에 따른 관측 차이”는 보고하되 “영상 시청 자체의 구매 효과”라는 표현은 피합니다. 무엇을 배정했는지와 무엇의 효과를 주장하는지가 일치해야 합니다.

교차 노출 경로와 관측 증거의 기록

노출 가능 경로, 관측된 교차 노출, 확인 불가를 분리합니다. 재게시 URL을 발견한 것과 대조군이 실제로 봤다는 것은 다른 증거입니다.

재게시 URL만 있다면 경로와 확인 시각을 기록합니다. 적법한 집계 실험 로그로 대조군 노출을 확인했다면 집단과 관측 기간을 연결합니다. 로그가 없다면 미관측으로 남기고 노출 0건으로 바꾸지 않습니다.

쿠폰의 외부 배포 책임은 할인 코드 사건 검수와 구분합니다. 자연 공유로 생긴 실험 오염이 곧 부정 주문을 뜻하지는 않습니다.

이 구분은 편집 제안입니다. 개인 식별정보를 모으거나 쿠폰 사용자를 부정 이용자로 판정하지 않습니다. 공유 쿠폰 전환은 경로 단서이지 증분 효과의 증명이 아닙니다. 동시 할인, 성과 누락, 사전 계획 변경도 따로 남깁니다. (Source: J-PAL Pre-analysis plans, 연도 미상)

기록표에는 발견일뿐 아니라 노출 추정 시점과 구매 관측 기간도 넣습니다. 구매가 끝난 뒤 발견한 재게시가 구매 전에 존재했는지는 별도 확인 사항입니다. 같은 링크가 여러 커뮤니티에 올라왔더라도 실제 시청자 수를 링크 수로 대체하지 않습니다.

아래는 실제 사건이 아닌 기록 방식 설명용 가상 예시입니다. 각 행은 증거 수준이 달라 서로 더해 오염 인원으로 계산하지 않습니다.

실무에서는 증거를 확인한 담당자와 다음 확인 항목까지 같은 행에 적는 편이 좋습니다. 예컨대 로그가 광고 노출만 포함한다면 자연 게시물 시청은 미확인으로 남깁니다. 보고서의 “오염 없음”과 “현재 로그에서 확인하지 못함”은 전혀 다른 결론입니다. 자료 범위를 적어 두면 다음 분석자가 빈칸을 노출 0으로 오해하는 일을 줄입니다.

노출된 대조군의 사후 제외와 해석 오류

노출자를 사후 제외한 결과를 주 분석의 대체값으로 제시하지 않습니다. **원배정 분석(intention-to-treat, ITT)**은 실제 처치 수용과 관계없이 최초 배정대로 분석합니다. 사후 제외는 비교 집단의 구성을 바꿀 수 있습니다. (Source: Cochrane Handbook 8장, 연도 미상)

다음은 실제 캠페인 성과가 아닌 계산 설명용 가상 예시입니다. 각 1,000명을 무작위 배정하고 모든 구매 여부를 관측했습니다.

처치군 구매자는 120명, 대조군은 100명입니다. 구매율은 12%와 10%로 관측 차이는 2%포인트입니다.

대조군에서 교차 노출자 200명을 확인했고 그중 구매자가 40명입니다. 이들을 빼면 대조군 구매율은 (100−40)÷(1,000−200)=7.5%로 내려가고 차이는 4.5%포인트로 커집니다. 이는 제거 전후의 산술 비교이지 회복된 증분 효과가 아닙니다.

원래 분모를 보존하되 2%포인트도 불확실성과 간섭 검토 없이 순수 노출 효과로 확정하지 않습니다. 추가 분석에는 제외 규칙과 탐색 목적을 표시합니다. ITT는 간섭이나 누락을 없애는 보정 공식이 아닙니다. (Source: J-PAL Data analysis, 연도 미상)

사후 제외가 문제인 이유는 구매와 노출이 무관하지 않을 수 있기 때문입니다. 제품에 관심이 큰 대조군 참여자는 스스로 영상을 검색하고 구매할 가능성도 있습니다. 이런 사람만 대조군에서 지우면 처음 무작위로 만든 집단과 다른 집단을 비교하게 됩니다. 삭제 후 숫자가 더 선명해져도 무작위 배정의 근거가 되살아나는 것은 아닙니다.

표의 모든 값은 앞선 가상 예시의 산술 결과입니다. 200명을 제외하면 구매자 40명뿐 아니라 구매하지 않은 160명도 분모에서 빠집니다. 따라서 담당자는 구매 건수만 수정하지 말고 제외 인원과 제외된 성과를 함께 공개해야 합니다.

이 예시만으로 통계적 유의성이나 사업상 이익을 판단하지 않습니다. 실제 보고서에는 배정 단위에 맞는 불확실성 추정과 성과 누락 검토가 추가로 필요합니다. 노출 로그가 일부 이용자에게만 남는다면 “확인된 노출자”와 “전체 노출자”도 구분합니다. 관측되지 않은 노출까지 안다고 가정한 보정값은 주 결과로 쓰지 않습니다.

대조군 오염의 해석 범위와 최종 판정

대조군 오염의 비율 하나가 아니라 사전 질문을 현재 자료로 답할 수 있는지 판단합니다. 아래 해석 결정서는 공식 합격 기준이 아닌 실무용 편집 제안입니다.

앞선 예시는 원배정 결과를 보존하면서 해석을 제한하는 방식으로 기록합니다. 유지와 제한은 동시에 적용할 수 있습니다. 집단을 크게 묶는 재설계도 집단 간 간섭을 자동 제거하지 않으며 군집 내 상관을 분석에 반영해야 합니다. (Source: Cochrane Handbook 23장, 연도 미상)

결정서에는 결론과 함께 허용할 보고 문장과 금지할 보고 문장을 적습니다. 앞선 가상 실험이라면 “최초 배정 기준 구매율 차이는 2%포인트였으며 대조군 교차 노출이 확인됐다”는 사실을 남깁니다. “교차 노출자를 제거하니 캠페인의 실제 증분 효과가 4.5%포인트로 복원됐다”는 문장은 근거가 부족합니다. 숫자를 유지하는 결정과 그 숫자의 인과 해석을 제한하는 결정은 충돌하지 않습니다.

재설계가 필요하다면 먼저 확산 경로를 고릅니다. 지역 밖 재게시가 문제였는데 지역만 더 크게 묶으면 같은 문제가 반복될 수 있습니다. 온라인 공유가 활발한 캠페인에서는 지역 경계가 실제 시청 경계와 얼마나 겹치는지 확인하고, 충분히 분리할 수 없다면 연구 질문 자체를 광고 추가 집행 효과로 좁히는 방안을 검토합니다. 이 변경은 다음 실험의 계획이지 이미 끝난 실험을 유리하게 다시 정의하는 절차가 아닙니다.

군집 배정을 검토할 때도 총 이용자 수만 보고 실험 규모가 충분하다고 판단하지 않습니다. 같은 지역이나 집단의 이용자들은 비슷한 조건에서 행동할 수 있기 때문입니다. 분석 담당자는 군집 수와 크기 차이, 집단 내부의 유사성을 반영해 검정력을 다시 검토합니다. 마케팅 담당자는 분석이 끝나기 전 오염률 하나로 캠페인 확대를 승인하지 않고, 현재 결과로 답할 수 없는 질문을 다음 실험의 과제로 남깁니다.

결정서 작성 후에는 실험 담당자와 분석 담당자가 같은 배정표를 기준으로 검토했는지 확인합니다. 원자료를 덮어쓰지 않고 분석별 포함 조건과 결과를 구분해 저장하면 사후 제외값이 주 결과로 잘못 전달되는 일을 막습니다. 캠페인 예산을 결정하는 사람에게는 현재 확인한 차이, 그 차이에 붙는 한계, 추가 자료가 필요한 결론을 나란히 전달합니다. 새 로그가 도착해 판정을 바꿀 때도 변경일과 근거를 남겨 이전 보고서와의 차이를 설명합니다.

핵심 요약

• 최초 배정과 실제 노출을 분리합니다.

• 사후 제외로 커진 차이를 증분 회복으로 부르지 않습니다.

• 오염의 합격선 대신 주장 범위와 재설계 사유를 기록합니다.

오염 대응의 목표는 좋은 숫자가 아니라 방어 가능한 결론입니다. 소셜 리스닝 활용 범위를 상담하려면 싱클리 데모를 신청합니다.