작성: medad 편집팀 · AI 노출 측정 관점. 마케터가 리포트에서 정확도라는 말을 만나면 무엇을 맞혔는지부터 물어야 합니다. 업체 목록의 반복 정도와 이름 추출의 정오 판정, 실제 구매 경로의 확인은 다른 검증입니다.

핵심 요약

응답 누락을 브랜드 비언급으로 채우지 않습니다. 목록 겹침은 정확도나 오류율을 뜻하지 않습니다. 주소 인용과 이름 언급, 문의·구매 영향은 서로 다른 증거로 보고해야 합니다.

정확도의 대상을 합의합니다

답변에서 이름을 제대로 추출했는지 확인하려면 사람이 대조할 기준 표본이 필요합니다. 서로 다른 회차에 비슷한 이름이 나왔는지만 확인하는 계산은 그 표본을 대신하지 않습니다. 담당자는 리포트의 각 숫자에 무엇을 세고 어떤 기록과 대조하는지 설명을 요청하는 편이 좋습니다.

이번 medad 자료는 자사 API 관찰이며 추출·판정의 오류율을 검증한 정답 표본이 없습니다. 따라서 관찰값을 측정 정확도의 인증처럼 제시할 수 없습니다. 마케터가 확인할 것은 숫자의 크기 이전에 재검토 가능한 원문과 집계 조건이 남아 있는지입니다.

겹침 계산의 포함 조건을 고정합니다

2026-09-26~10-17 UTC 네 회차, 공통 질문 45개, AI 5곳의 연속 회차 341쌍에서 이름 목록 겹침 평균은 22.6%였습니다. 두 응답이 모두 존재하면서 적어도 한쪽에 이름이 있는 경우를 비교했습니다. 한국 시각 10/11 회차는 부분 측정이라는 조건도 붙습니다.

계산은 각 쌍에서 공통 이름을 합집합 이름으로 나눈 Jaccard 값을 낸 뒤 평균한 방식입니다. 이름을 전부 합쳐 만든 단일 비율과 혼합하면 해석이 달라집니다. 양쪽이 빈 목록인 경우와 응답 자체가 없는 경우는 모두 제외되지만 제외 이유는 서로 다르므로 목록으로 남겨야 합니다.

같은 질문 집합의 의미를 확인합니다

공통 질문 45개는 9/12~10/17 UTC 여섯 회차에서 공통 질문 번호를 먼저 고른 집합이며 겹침 계산은 최근 네 회차만 사용했습니다. 새 질문만 모으거나 언급이 약한 질문만 골라 만든 집합과 다릅니다. 질문 원문이 비슷하다는 이유로 서로 다른 번호를 임의로 합치지 않는 것이 중요합니다.

재등장 집계에서 관찰된 이름 문자열 351개 중 250개는 한 회차, 43개는 세 회차 이상에 나왔습니다. 각각 71.2%, 12.3%입니다. 공백·영문 대소문자를 정리했지만 업체의 다른 표기를 사람이 통합한 자료가 아니므로 시장 전체의 업체 유지율 같은 이름으로 바꾸지 않습니다.

인용의 수집 경로를 밝힙니다

2026-10-03 UTC medad 측정은 질문 120개와 AI 5곳의 API 유효 응답 598개를 다뤘습니다. 그 회차의 자사 웹사이트 출처 집계는 7건, medad 이름이 나온 질문은 1개입니다. 엔진이 돌려준 출처 목록에서 센 주소와 질문 단위의 언급은 다른 종류의 관찰입니다.

보고서 예시에서는 원문 응답, 집계한 출처, 연결된 페이지를 이어 볼 수 있어야 합니다. 도구가 확인한 주소 전체인지 최종 답변의 인용인지도 설명해야 합니다. 출처 링크가 있다는 사실만으로 페이지가 답변의 주장을 실제로 뒷받침한다고 판단하지 않고 해당 내용을 대조하는 단계가 남습니다.

변화의 원인보다 비교 가능한 분모를 봅니다

10/10 UTC의 유효 응답 550개와 10/17 UTC의 598개는 예정 질문이 같아도 실제 구성이 다릅니다. Perplexity 응답 수는 76개에서 120개로 달라졌습니다. 이름 언급은 각각 1개(0.2%)와 4개(0.7%)였으나 이를 콘텐츠 성과의 안정적인 증가로 결론 내릴 통제 비교는 아닙니다.

누락된 응답을 언급 실패로 처리하면 브랜드가 받은 실제 답과 수집하지 못한 칸이 뒤섞입니다. 공통으로 받은 질문·엔진 쌍을 먼저 비교하고 나머지는 별도로 설명하세요. API의 답변은 실제 앱 이용자 표본이 아니며 방문·문의·구매 경로까지 관찰한 자료도 아닙니다.

행동의 증거는 다른 자료에서 찾습니다

인용 뒤 문의가 생겨도 문의자가 본 경로를 확인하지 못했다면 인용의 구매 효과로 배분할 수 없습니다. 사이트 유입과 문의 시각, 이용자가 말한 경로를 연결하더라도 연결되지 않은 부분과 기억에 의존한 응답의 한계를 표시해야 합니다.

이번 자료에는 그 행동 경로를 연결한 전환 실적이 없습니다. 원문 응답의 변화와 사업 결과의 변화를 한 선으로 설명하지 않고 각각 확인할 증거를 정하세요. 숫자의 정의가 분명해야 보강할 콘텐츠와 추가 검증할 측정을 서로 다른 다음 작업으로 제안할 수 있습니다.

재계산 가능한 자료를 검수합니다

질문 명단과 번호, 포함 회차, 엔진별 유효 응답, 제외 사유, 이름 정리 기준을 요청하세요. 보고된 평균이 쌍별 평균인지 전체 목록 집계인지도 확인합니다. 정확도라는 표현을 썼다면 어떤 표본을 사람이 확인했고 오류를 어떻게 판단했는지 추가로 묻는 편을 권합니다.

필자 medad 편집팀은 이 자료를 측정값의 범위를 읽는 사례로 다룹니다. 출처는 자사 API 측정 정본과 그 안에 명시된 Google AI 기능·OpenAI 웹 검색·Google Analytics 기여 분석 문서입니다. 구매 영향이 필요하다면 응답 관찰과 별도로 연결된 행동 기록의 증거를 확보해야 합니다.

이미지 출처: medad 제작

참고 자료: Google Search Central, AI features and your website · OpenAI, Web search API guide · Google Analytics Help, Get started with attribution — 제공 정본에 기록된 자료. 자료 확인 시점과 관찰 범위는 본문에 명시했습니다.

필자 소개: medad 편집팀은 AI 검색 대응을 위한 기획·제작·검수·발행·측정의 연결을 다룹니다. 이 글은 해당 운영 관점에서 작성한 독립 원고입니다.