# AI 인용률 측정: 질문 세트·반복 측정·비교 조건 설계 방법

> AI 답변의 언급률과 인용률을 실제로 측정하는 방법을 정리합니다. 질문 세트 구성, 반복 실행, 분자·분모 정의, 수집 실패 처리, 전후 비교 조건과 결과 해석까지 설명합니다.

## 핵심 요약

> AI 인용률은 미리 정한 질문 세트를 같은 실행 조건에서 반복하고, 완결된 응답 가운데 측정 대상 사이트가 출처로 연결된 응답의 비율로 계산할 수 있습니다. 이 글은 실무용 측정 규약을 제안하며, 모든 서비스에 통용되는 공식 지표를 뜻하지 않습니다. 브랜드 언급과 사이트 인용을 구분하고, 한 응답에서 같은 사이트가 여러 번 인용돼도 응답 단위로 한 번만 셉니다. 질문은 탐색·비교·선택 의도로 구성하고 브랜드 포함 여부를 나눠 관리합니다. 반복 횟수와 관측 일정을 사전에 정하고, 서비스·모드·검색 설정·대화 문맥·지역·언어를 기록합니다. 수집 실패는 별도로 공개하며, 정상 응답에 인용이 없는 경우는 분모에 포함합니다.

원문: [AI 인용률 측정: 질문 세트·반복 측정·비교 조건 설계 방법](https://www.growfeed2026.com/blog/ai-0361579cd20b4907aefd943be85f88e7)

발행자: 그로우피드

작성자: 그로우피드

분류: GEO

게시: 2026-11-09

수정: 2026-11-09

AI 인용률은 미리 정한 질문을 같은 조건에서 반복해 실행하고, 완결된 응답 중 측정 대상 사이트가 출처로 연결된 응답의 비율로 측정할 수 있습니다. 다만 비율을 계산하는 것만으로 충분하지는 않습니다. 어떤 질문을 넣었는지, 무엇을 인용으로 셌는지, 실패한 실행을 어떻게 처리했는지까지 같아야 전후 변화를 비교할 수 있습니다.

이 글에서는 응답 단위의 사이트 인용률을 중심으로 실무용 측정 방법을 제안합니다. 모든 AI 서비스가 공통으로 채택한 공식 지표를 설명하는 것은 아닙니다.

## 

1. 언급·인용·근거의 적절성을 나눠 기록합니다

브랜드 언급은 답변 본문에 측정 대상 브랜드나 제품이 등장하는 것입니다. 사이트 인용은 답변의 출처 표시가 측정 대상으로 정한 사이트의 페이지를 연결하는 것입니다.

둘은 따로 발생할 수 있습니다. 브랜드가 추천돼도 공식 사이트 링크가 없을 수 있고, 다른 주제를 설명하면서 공식 사이트를 인용하더라도 브랜드를 추천한 것은 아닐 수 있습니다.

| 확인할 항목 | 판정 기준 |
| --- | --- |
| 브랜드 언급 | 답변 본문에 대상 브랜드나 제품이 등장했는가 |
| 사이트 인용 | 답변의 출처 표시가 대상 사이트의 페이지를 연결했는가 |
| 근거의 적절성 | 연결된 페이지가 답변의 관련 설명을 실제로 뒷받침하는가 |

제삼자 기사에서 브랜드를 다룬 경우는 해당 기사의 인용입니다. 자사 사이트 인용과 구분하고, 필요하면 ‘브랜드 관련 제삼자 출처’로 별도 기록합니다. 사용자가 질문에 넣은 브랜드명이나 URL을 답변이 단순히 반복한 것만으로 출처 인용으로 세지는 않습니다.

링크가 붙었다는 사실과 링크가 설명을 뒷받침한다는 판단도 나눠야 합니다. 인용된 페이지를 열어 관련 문장의 근거를 확인합니다. 페이지가 열리지 않는다면 인용 표시는 기록하되, 근거 확인 상태는 ‘미확인’으로 남깁니다.

OpenAI의 웹 검색 API 문서는 답변에 인용된 URL을 담은 주석과 검색 중 참고한 URL 목록을 구분합니다. 따라서 수집 시스템에 페이지를 참고한 기록이 있다는 이유만으로 최종 답변에서 인용됐다고 세면 안 됩니다. 이 설명은 해당 API 문서에 근거하며, 모든 서비스의 내부 구조가 같다는 뜻은 아닙니다. [OpenAI 웹 검색 문서](<https://developers.openai.com/api/docs/guides/tools-web-search>)

## 

2. 분자와 분모를 먼저 고정합니다

이 글에서 사용하는 기본 계산식은 다음과 같습니다.

- 언급률 = 대상 브랜드를 언급한 완결 응답 수 ÷ 완결 응답 수 × 100
- 사이트 인용률 = 대상 사이트를 출처로 연결한 완결 응답 수 ÷ 완결 응답 수 × 100
- 수집 완료율 = 완결 응답 수 ÷ 예정된 실행 수 × 100

여기서 완결 응답은 원문과 출처 영역을 끝까지 수집해 판정할 수 있는 응답입니다.

검색을 하지 않았거나 출처가 없더라도 응답이 완결됐다면 분모에 넣습니다. 내용상 답변 거절도 정상적으로 수집됐다면 포함하고 별도 상태로 표시합니다. 반면 타임아웃, 빈 응답, 도중 중단처럼 판정 가능한 결과를 확보하지 못했다면 수집 실패로 기록합니다.

한 답변에서 같은 사이트가 여러 번 인용돼도 이 지표에서는 한 번만 셉니다. 질문을 새 대화에서 다시 실행해 받은 답변은 별개의 관측값입니다.

대상 사이트의 범위도 먼저 정해야 합니다. 여러 도메인이나 서브도메인을 합칠 것이라면 허용 목록을 만들고 측정 기간 내내 같은 기준을 적용합니다. 개별 게시글을 평가하려면 사이트 전체와 구분해 URL별 인용률을 계산합니다. 추적 매개변수를 제거하는 등 주소를 정리하는 규칙도 기록하되, 경로가 다른 글을 임의로 합치지는 않습니다.

전체 출처 링크 중 자사 링크의 비중은 다른 계산입니다. 응답 단위의 인용률과 같은 이름으로 보고하면 안 됩니다.

수집 실패는 ‘인용 없음’으로 바꾸지 않습니다. 계획한 실행 수, 완료 수, 실패 수를 함께 공개해야 합니다. 실패가 특정 질문이나 서비스에 몰려 있다면 남아 있는 응답만으로 계산한 인용률도 치우칠 수 있습니다. 이런 경우에는 비교를 보류하거나 해석 범위를 줄입니다.

분모가 0이라면 결과는 0%가 아니라 ‘계산 불가’입니다.

## 

3. 실제 탐색 의도를 질문 세트로 만듭니다

질문은 담당자가 원하는 표현보다 독자가 해결하려는 과제에서 출발해야 합니다.

예를 들어 외부 협력자와 문서를 공유할 협업 도구를 찾는 상황이라면 다음처럼 질문을 나눌 수 있습니다.

| 의도 | 질문 예문 | 관찰할 부분 |
| --- | --- | --- |
| 정보 탐색 | 외부 협력자와 문서를 공유할 때 어떤 기능을 확인해야 하나요? | 설명에 활용되는 출처 |
| 조건 비교 | 외부 협력자에게 문서별 권한을 주려면 협업 도구를 어떤 기준으로 비교해야 하나요? | 비교 조건에 맞는 근거 |
| 선택 검토 | 소규모 팀이 외부 협력자와 쓸 문서 협업 도구를 고를 때 어떤 대안을 검토할 수 있나요? | 후보 언급과 출처 연결 |

동일한 질문을 말투만 바꿔 여러 개 넣으면 특정 의도가 과도하게 반영될 수 있습니다. 비슷한 질문은 같은 묶음으로 표시하고, 의도별 구성 비중을 정합니다. 검색량이나 실제 문의 자료가 없다면 이 구성을 전체 시장 수요의 비중으로 설명해서는 안 됩니다.

브랜드명을 포함하는지도 구분합니다.

브랜드명을 넣지 않은 질문은 대상을 모르는 상황에서 자연스럽게 발견되는지를 살피는 데 사용합니다. 브랜드명이나 자사 URL을 포함한 질문은 이미 대상을 아는 상황에서 어떤 답변이 나오는지 살펴보는 데 사용합니다. 두 결과를 한데 합치면 발견 가능성과 기존 인지 상황의 응답을 구분하기 어렵습니다.

브랜드명이 없는 질문이라고 편향이 사라지는 것도 아닙니다. 특정 브랜드에 유리한 고유 기능만 조건으로 나열하지 않았는지도 확인해야 합니다.

운영할 때는 기간 비교용 고정 질문 세트와 새 기회를 찾는 탐색 질문을 따로 두는 것이 좋습니다. 질문 문구, 구성, 판정 기준을 바꾸면 버전을 올리고 비교 가능한 공통 질문의 결과를 별도로 냅니다. 기존 결과를 본 뒤 유리한 질문만 남기지 않습니다.

탐색·비교·선택 질문으로 고정 질문 세트를 구성하고 신규 질문은 별도 탐색하는 구조

## 

4. 반복 횟수와 관측 일정을 사전에 정합니다

같은 질문의 답변이 매번 같을 것이라고 가정하면 안 됩니다. Anthropic은 에이전트 평가 안내에서 실행마다 출력이 달라지므로 한 과제에 여러 번의 시도를 사용한다고 설명합니다. 이 원리는 반복 관측 설계의 참고가 되지만, 특정 반복 횟수로 인용률의 정확도가 보장된다는 근거는 아닙니다. [Anthropic 평가 안내](<https://www.anthropic.com/research/demystifying-evals-for-ai-agents>)

각 질문은 새 대화에서 실행해 앞선 답변의 문맥이 섞이지 않게 합니다. 다만 새 대화를 열었다고 계정의 메모리, 개인화, 위치 영향까지 없어졌다고 가정하지 말고 확인 가능한 설정을 기록합니다.

같은 대화에서 “다른 출처도 찾아줘”라고 이어 묻는 결과는 최초 질문의 결과와 구분합니다.

반복 횟수와 시간표는 결과를 보기 전에 정합니다. 예를 들어 고정 질문 30개를 서비스별로 5회씩 관측하는 계획이라면 서비스 한 개당 150개, 두 개라면 300개의 실행이 예정됩니다. 이는 측정 규모를 계산하는 설계안이며, 실제 측정 결과나 권장 최소 표본 수가 아닙니다. 필요한 규모는 질문 범위, 관측 변동, 비용과 판단하려는 차이에 따라 결정합니다.

연속 반복은 같은 시점의 변동을, 날짜를 나눈 관측은 시간에 따른 변화를 살피는 데 사용합니다. 두 방식을 혼합할 수 있지만 전후 비교의 일정은 맞춰야 합니다.

인용이 나올 때까지 반복한 뒤 성공 응답만 고르는 방법은 피합니다. 수집 실패의 재시도 횟수와 대기 규칙도 미리 정합니다.

재시도는 새로운 표본으로 추가하지 않습니다. 예정 실행마다 최종 상태를 하나만 부여하고, 재시도로 복구됐다면 완료에 한 번만 포함합니다. 최초 실패와 재시도 이력은 시도별 기록으로 별도 보관합니다. 측정이 종료되면 예정 실행 수와 최종 완료·실패 수가 맞는지 확인합니다.

## 

5. 전후 비교에서는 질문과 실행 조건을 맞춥니다

인용률이 달라졌을 때 그 이유를 해석하려면 실행 조건을 함께 확인해야 합니다. 최소한 다음 항목을 기록합니다.

| 구분 | 기록할 조건 |
| --- | --- |
| 측정 경로 | 서비스명, 사용 화면 또는 API |
| 답변 설정 | 표시된 모델과 모드, 검색 설정 |
| 이용 환경 | 언어, 지역, 확인 가능한 계정·개인화 설정 |
| 대화 문맥 | 새 대화 여부, 이전 메시지 포함 여부 |
| 실행 계획 | 관측 기간, 시간대, 반복 횟수, 재시도 규칙 |
| 평가 기준 | 질문 세트 버전, 대상 도메인, 인용 판정 규칙 |

사용 화면이 공개하지 않는 모델 버전이나 개인화 세부 정보는 추정하지 말고 ‘확인 불가’로 적습니다. ChatGPT 화면과 별도 API로 수집한 결과도 서로 다른 측정 경로로 분리합니다.

Google은 AI Overviews와 AI Mode가 서로 다른 모델과 기술을 사용할 수 있어 답변과 링크가 달라진다고 설명합니다. 서비스명만 같다고 같은 측정 조건으로 취급해서는 안 됩니다. [Google AI 기능 안내](<https://developers.google.com/search/docs/appearance/ai-features>)

콘텐츠 변경 전후를 비교할 때는 고정 질문과 비슷한 관측 일정을 유지하고, 콘텐츠 수정일, 모델 표시 변경, 서비스 장애 같은 사건을 함께 기록합니다.

가능하다면 영향을 덜 받는 질문 묶음도 함께 관측해 전반적인 서비스 변화와 특정 주제의 변화를 살핍니다. 다만 대조 질문을 뒀다는 이유만으로 콘텐츠 변경의 인과 효과가 증명되지는 않습니다. 검색 자료 갱신과 경쟁 문서 변화 등 다른 요인이 함께 달라질 수 있습니다.

변경 전후 질문과 실행 조건, 반복 계획을 맞추고 응답 원문과 출처를 기록하는 과정

## 

6. 총비율보다 질문별 변화와 원문을 함께 읽습니다

기록표는 응답 한 건을 한 행으로 두고, 다음 정보를 연결해 남깁니다.

- 질문 ID, 질문 세트 버전, 정확한 질문 문구
- 실행 시각과 시간대, 서비스·모드와 실행 조건
- 예정 실행 ID, 개별 시도 ID, 완료·실패 상태
- 응답 원문, 인용 위치, 출처의 원본 URL과 정리한 URL
- 브랜드 언급 여부, 대상 사이트 인용 여부, 근거 확인 상태

이름이 겹치는 브랜드는 문맥으로 구분합니다. 자동 판정을 사용한다면 일부 원문을 사람이 검토해 정한 기준과 일치하는지도 확인합니다.

판정 보류는 수집 실패와 다릅니다. 응답을 수집했더라도 브랜드 동명이인이나 모호한 출처 표시 때문에 판단이 어려울 수 있습니다. 이런 항목은 최종 집계 전에 검토합니다. 끝내 해결되지 않는다면 해당 지표의 확정 비율 산출을 보류하고, 확인된 건수와 판정 보류 건수, 전체 완료 응답 수를 함께 공개합니다. 보류를 ‘언급 없음’이나 ‘인용 없음’으로 자동 처리하지 않습니다.

보고서는 서비스별·관측 기간별로 언급·인용 응답 수와 분모, 계획·완료·실패 수를 나란히 보여줍니다. 질문별·의도별 결과도 분리하면 일부 질문의 변화가 전체 비율을 끌어올렸는지 확인할 수 있습니다.

질문마다 완료 횟수가 다르면 단순 전체 비율에서 많이 수집된 질문의 비중이 커집니다. 같은 반복 계획을 유지하고, 질문별 비율을 같은 비중으로 평균한 값을 보조 지표로 사용할 때는 계산 방식을 밝힙니다.

변화를 설명할 때는 퍼센트포인트와 상대 증감률을 구분합니다. 이전 값이 0이면 상대 증가율은 계산할 수 없습니다.

반복 응답은 같은 질문과 시점에 묶여 있으므로 모두 독립된 시장 표본이라고 보고 오차를 계산해서는 안 됩니다. 신뢰구간이나 통계적 판단이 필요하다면 질문·관측일의 묶음 구조를 반영하는 분석 설계를 검토합니다. 전체 평균과 함께 질문별·관측일별 변동을 제시하고, 작은 차이를 확정적인 개선으로 해석하지 않습니다.

또한 이 질문 세트에서 관측된 비율을 전체 이용자의 노출 확률로 확대하지 않습니다. 인용률과 사이트 방문, 문의, 구매 전환도 서로 다른 지표입니다.

Google은 AI 기능을 통한 사이트 성과를 Search Console과 분석 도구로 살피는 방법을 별도로 설명합니다. 다만 AI 기능의 성과는 Search Console의 일반 Web 검색 성과에 포함되며, 이 글에서 정의한 질문 세트별 인용률을 제공하는 것은 아닙니다. [Google AI 기능 안내](<https://developers.google.com/search/docs/appearance/ai-features>)

## 

자주 묻는 질문(FAQ)

### 질문은 몇 개, 몇 번 측정해야 하나요?

모든 주제에 통하는 고정 개수는 없습니다. 주요 의도를 빠뜨리지 않도록 구성하고, 반복 관측에서 나타나는 변동과 필요한 판단 수준을 보고 규모를 정합니다. 질문을 늘리는 일과 같은 질문을 더 반복하는 일은 서로 다른 불확실성을 줄이는 데 도움이 됩니다.

### 인용이 없는 정상 답변도 분모에 넣나요?

이 글의 응답 단위 측정 기준에서는 넣습니다. 출처가 없거나 검색이 실행되지 않은 완결 응답도 포함합니다. 출처가 표시된 응답만 따로 분석한다면 조건부 비율임을 명시하고 기본 인용률과 분리해야 합니다.

### 브랜드는 나왔는데 다른 사이트가 출처라면 어떻게 하나요?

브랜드 언급으로 기록하되 자사 사이트 인용으로 세지 않습니다. 필요하면 브랜드 관련 제삼자 출처라는 별도 분류를 둡니다. 브랜드 언급이 긍정적인 추천인지도 원문을 읽고 구분합니다.

### 같은 질문에서 한 번이라도 인용되면 성공인가요?

한 번 이상 인용된 질문의 비율은 ‘질문 커버리지’로 따로 볼 수 있습니다. 다만 반복 횟수가 많을수록 관측 기회가 늘어나므로 같은 횟수로 비교해야 합니다. 이 값이 응답 단위 인용률을 대신하지는 않습니다.

### 인용률이 오르면 콘텐츠 개선 효과라고 볼 수 있나요?

해당 질문과 조건에서 관측 비율이 높아졌다고 말할 수 있습니다. 모델, 검색 자료, 경쟁 문서, 관측 시점도 바뀔 수 있어 콘텐츠 변경의 효과라고 단정할 수는 없습니다. 방문과 문의 같은 사업 성과도 별도로 확인해야 합니다.

## 출처

- [OpenAI — Web search](<https://developers.openai.com/api/docs/guides/tools-web-search>)

- [Anthropic — Demystifying evals for AI agents](<https://www.anthropic.com/research/demystifying-evals-for-ai-agents>)

- [Google Search Central — AI features and your website](<https://developers.google.com/search/docs/appearance/ai-features>)