임베딩과 하이브리드 검색: AI는 키워드가 달라도 어떻게 관련 글을 찾을까?

AI는 질문과 똑같은 문장만 찾는 것이 아닙니다

AI 검색에서 질문과 관련된 자료를 찾는 과정을 이해하려면, 단어의 일치와 의미의 관련성을 함께 살펴봐야 합니다.

고객은 “혼자 노트북으로 작업하기 좋은 카페”를 찾지만, 매장 소개에는 “1인 좌석과 콘센트가 있으며 노트북 이용이 가능합니다”라고 적혀 있을 수 있습니다. 질문과 소개 문장이 같지는 않지만, 고객이 원하는 상황과 관련된 정보를 담고 있습니다.

반대로 “작업하기 좋은 카페”라는 표현이 글에 들어 있다고 해서 그 매장이 고객의 조건에 반드시 맞는 것은 아닙니다. 노트북 이용이 제한되거나, 원하는 시간에는 운영하지 않을 수도 있기 때문입니다.

이 차이를 이해하는 데 도움이 되는 개념이 키워드 검색, 임베딩, 벡터 검색, 하이브리드 검색입니다.

이번 글에서는 Microsoft의 Azure AI Search 공개 문서를 사례로 각 기술의 역할을 살펴봅니다. 실제 AI 서비스마다 사용하는 검색 기술과 출처 선정 방식은 다르므로, 아래 설명을 모든 서비스에 공통으로 적용되는 내부 구조로 받아들여서는 안 됩니다.

1. 키워드 검색은 정확한 표현을 찾는 데 여전히 중요합니다

키워드 검색은 질문과 문서에서 검색 가능한 용어를 비교해 관련 자료를 찾는 방식입니다.

Azure AI Search의 전체 텍스트 검색은 질의 구문 분석, 언어 분석, 문서 매칭, 점수 계산의 단계를 거칩니다. 따라서 검색어와 완전히 같은 문장이 있는지만 확인하는 단순한 문자열 비교와는 다릅니다. Microsoft의 전체 텍스트 검색 설명

고객이 특정 상호명이나 상품명, 서비스 이름을 알고 묻는 경우에는 정확한 명칭이 중요한 단서가 됩니다.

예를 들어 어떤 서비스의 이용 조건을 찾는 고객에게는 “다양한 서비스를 제공합니다”라는 소개보다, 실제 서비스 이름과 적용 대상을 명시한 설명이 더 구체적인 정보를 제공합니다. 비슷한 이름의 상품이나 여러 지점이 있다면 어느 대상을 설명하는지도 구분해야 합니다.

또한 검색어와 같은 단어가 없는 글이 검색됐다고 해서 반드시 벡터 검색을 사용했다고 결론 내릴 수는 없습니다. 검색 시스템은 동의어를 연결하거나 질문을 다른 표현으로 확장할 수도 있습니다.

Azure AI Search의 동의어 맵은 서로 연결된 용어로 질의를 확장해, 사용자가 직접 입력하지 않은 표현이 들어 있는 문서도 찾을 수 있도록 합니다. Microsoft의 동의어 검색 설명

콘텐츠 작성자가 여기서 가져갈 기준은 명확합니다. 같은 키워드를 여러 번 반복하기보다 독자가 식별해야 하는 이름을 정확히 쓰고, 그 이름이 어떤 서비스와 조건을 뜻하는지 설명하는 것이 먼저입니다.

2. 임베딩은 글의 특징을 숫자 벡터로 표현하는 처리입니다

임베딩은 텍스트 등을 모델이 비교할 수 있는 숫자들의 묶음으로 바꾸는 처리입니다. 이 숫자들의 묶음을 벡터라고 합니다.

검색에서는 문서와 질문을 각각 벡터로 바꾸고, 서로 비교할 수 있는 벡터 공간에서 관계를 살펴봅니다. 문서의 표현을 그대로 복사하지 않은 질문도 관련 자료와 연결할 수 있는 기반입니다.

검색 시스템은 문서의 벡터를 색인에 저장해 두고, 질문이 들어오면 질문도 벡터로 변환할 수 있습니다. Azure AI Search는 정확한 결과를 위해 색인과 질의에 같은 임베딩 모델을 사용하도록 안내합니다. 서로 호환되지 않는 방식으로 만든 숫자를 그대로 비교해서는 의미 있는 유사도를 기대하기 어렵기 때문입니다. Microsoft의 임베딩 생성 안내

다만 임베딩을 사람이 정한 홍보 항목별 채점표처럼 이해하면 오해가 생깁니다.

벡터의 숫자 하나가 곧바로 ‘친절함 점수’이고, 다른 숫자가 ‘전문성 점수’인 것은 아닙니다. 숫자 표현 사이의 관계를 이용해 문서와 질문의 관련성을 비교하는 데 쓰인다고 이해하는 편이 적절합니다.

또한 의미적으로 가깝다는 것은 두 문장이 같은 사실을 말한다는 뜻이 아닙니다.

‘노트북 이용 가능’과 ‘혼잡 시간에는 노트북 이용 제한’은 같은 주제를 다루지만, 고객에게 전달해야 하는 조건은 다릅니다. 임베딩을 이해할 때도 의미의 관련성과 실제 조건의 일치를 구분하는 관점이 필요합니다.

3. 벡터 검색은 질문과 가까운 문서 후보를 찾습니다

벡터 검색은 질문 벡터와 문서 벡터 사이의 유사도를 이용해 관련 자료를 찾는 방식입니다.

Microsoft는 벡터 검색이 문구가 달라도 의미나 개념이 유사한 콘텐츠를 연결할 수 있다고 설명합니다. 다만 실제 검색 결과는 사용하는 모델과 색인, 검색 설정 등에 따라 달라집니다. Microsoft의 벡터 검색 개요

‘혼자 작업할 곳’과 ‘1인 좌석에서 노트북 이용이 가능한 공간’은 같은 문장이 아닙니다. 하지만 서로 관련된 정보 요구를 담고 있습니다. 이런 관계를 찾는 것이 벡터 검색을 이해하는 출발점입니다.

긴 문서는 검색 시스템의 설계에 따라 여러 조각으로 나뉘어 처리될 수 있습니다. 이때 특정 부분에 “위에서 설명한 조건”이나 “앞의 서비스” 같은 표현만 남아 있다면, 그 부분만 읽었을 때 무엇을 설명하는지 모호해질 수 있습니다.

콘텐츠를 점검할 때는 중요한 문단을 따로 읽어보는 방법이 유용합니다.

• 어떤 서비스나 대상을 설명하는지 알 수 있나요?

• 질문에 대한 답이 문단 안에 있나요?

• 결론을 바꾸는 조건이 함께 남아 있나요?

• 확인할 근거를 찾을 수 있나요?

이 점검은 모든 AI의 문서 분할 경계를 맞히기 위한 작업이 아닙니다. 앞뒤 문맥에 지나치게 의존하는 설명을 발견하기 위한 편집 방법입니다. 구체적인 문단 구성은 그로우피드의 문서 구조 설계 글에서도 살펴볼 수 있습니다.

벡터 검색이 찾아주는 것은 관련 자료의 후보입니다. 그 후보가 최신인지, 정확한지, 최종 답변에 필요한지는 별도로 확인해야 합니다.

4. 하이브리드 검색은 두 방식의 단서를 함께 활용합니다

하이브리드 검색은 키워드 기반 검색과 벡터 기반 검색을 결합하는 방식입니다.

Azure AI Search는 하나의 요청에서 전체 텍스트 검색과 벡터 검색을 병렬로 실행한 뒤, 결과를 하나로 통합합니다. 정확한 이름이나 제품 코드가 중요한 질문과, 표현이 달라도 의미상 가까운 설명이 필요한 질문에서 서로 다른 단서를 활용할 수 있습니다. Microsoft의 하이브리드 검색 개요

따라서 하이브리드 검색을 “키워드로 못 찾으면 벡터 검색으로 넘어가는 방식”으로만 이해할 필요는 없습니다. 두 방식의 결과를 함께 확보한 다음 통합하는 구조도 있습니다.

각 단계의 역할을 나누면 다음과 같습니다.

이 구조를 콘텐츠 작성으로 옮기면 두 가지 질문이 생깁니다.

첫째, 이 글에서 실제 서비스가 무엇인지 정확히 식별할 수 있는가?

둘째, 고객이 다른 표현으로 질문하더라도 어떤 필요에 답하는 글인지 이해할 수 있는가?

정확한 명칭과 자연스러운 설명은 함께 필요합니다. 서비스 이름만 나열하면 고객의 상황을 설명하기 어렵고, 추상적인 표현만 사용하면 실제 제공 범위를 파악하기 어려울 수 있습니다.

5. RRF는 서로 다른 검색 결과를 순위 기준으로 합칩니다

키워드 검색의 점수와 벡터 검색의 유사도는 서로 다른 방식으로 계산될 수 있습니다. 두 값을 같은 기준의 평가 점수라고 생각하고 단순히 더하는 데에는 주의가 필요합니다.

Azure AI Search는 여러 검색 목록을 통합할 때 RRF, Reciprocal Rank Fusion을 사용합니다.

RRF는 각 목록에서 문서가 놓인 순위를 바탕으로 값을 계산하고, 같은 문서가 여러 목록에서 얻은 값을 합쳐 새로운 순위를 만드는 방식입니다. 기본 원리는 다음과 같이 표현할 수 있습니다.

문서의 통합 점수 = 각 검색 목록에서 얻은 ‘1 ÷ (상수 + 순위)’의 합

여기서 중요한 것은 각 검색의 원래 점수를 같은 기준이라고 가정하지 않는다는 점입니다. 통합 결과는 문서가 각 목록에서 어떤 위치에 있었는지를 반영합니다. Microsoft의 RRF 설명

이 원리를 “같은 내용을 여러 블로그에 복사하면 유리하다”는 뜻으로 옮겨서는 안 됩니다.

RRF가 설명하는 것은 검색 시스템 안에서 만들어진 여러 결과 목록의 통합입니다. 복제 게시물이 늘어나는 것과 서로 다른 검색 방식에서 관련 문서로 평가되는 것은 다른 문제입니다.

콘텐츠 운영에서는 게시물 수를 늘리는 일보다, 각 글이 어떤 질문에 답하고 어떤 고유한 정보를 제공하는지부터 살펴봐야 합니다.

6. 재정렬은 이미 찾은 후보를 질문에 맞춰 다시 평가합니다

재정렬은 검색으로 확보한 후보들의 관련성을 다시 평가하는 단계입니다.

Azure AI Search의 의미 기반 재정렬은 키워드 검색의 관련성 점수를 계산하는 BM25 또는 결과 통합 방식인 RRF로 만들어진 초기 결과를 대상으로, 질문과 문서의 의미적 관련성을 다시 살핍니다. 하이브리드 검색에서는 통합 결과에 선택적으로 적용할 수 있습니다. Microsoft의 의미 기반 재정렬 설명

검색 후보를 확보하는 일과 후보의 순서를 정교하게 고르는 일은 다른 과제입니다.

필요한 문서가 후보 목록에 들어오지 않았다면, 재정렬만으로 그 문서를 새로 찾아올 수는 없습니다. 반대로 관련 후보가 충분히 확보됐더라도, 고객의 질문에 더 적합한 자료를 위로 올리는 과정이 필요할 수 있습니다.

검색 결과를 읽을 때도 점수가 무엇을 뜻하는지 구분해야 합니다.

질문과 관련성이 높다고 평가된 글이라도 영업시간이 오래됐거나, 이용 제한을 빠뜨렸거나, 질문한 지점과 다른 지점을 설명할 수 있습니다. 높은 관련성 점수를 사실 확인 완료나 추천 보장의 표시로 받아들여서는 안 됩니다.

7. 카페 검색 질문을 따라가면 단계별 역할이 보입니다

다음 질문을 생각해 보겠습니다.

혼자 노트북으로 작업할 수 있고, 늦은 시간에도 이용 가능한 카페를 찾고 싶습니다.

이 질문에는 공간의 성격, 노트북 이용 조건, 운영 시간이라는 서로 다른 요구가 담겨 있습니다.

그런데 문서가 “분위기가 좋고 누구나 편하게 머무를 수 있는 카페”라고만 설명한다면 어떨까요? 공간의 분위기는 전달할 수 있지만, 고객이 실제로 작업할 수 있는지 판단할 정보는 부족합니다.

반면 좌석 구성, 콘센트, 노트북 이용 제한, 운영 시간을 각각 설명하면 어떤 조건을 확인할 수 있고 무엇이 아직 불명확한지 구분하기 쉬워집니다.

‘콘센트가 있다’는 정보만으로 ‘노트북을 제한 없이 사용할 수 있다’고 추정해서는 안 됩니다. ‘늦게까지 운영한다’는 설명만으로 고객이 원하는 시간에 해당 지점을 이용할 수 있다고 결론 내리기도 어렵습니다.

검색 시스템을 운영하는 입장에서는 지역·운영 시간처럼 구조화해 저장하고 필터 가능하도록 설정한 값에 조건을 적용하는 방법도 검토할 수 있습니다. Azure AI Search는 필터를 벡터 검색과 함께 사용할 수 있도록 지원합니다. Microsoft의 벡터 검색과 필터 설명

다만 공개 블로그 작성자가 외부 AI 서비스의 필터를 직접 지정할 수 있는 것은 아닙니다. 콘텐츠에서는 사람이 확인할 수 있는 실제 조건을 명확하게 제공하는 데 집중해야 합니다.

8. GEO 콘텐츠에는 고객 표현과 정확한 정보를 함께 담으세요

다음은 앞에서 살펴본 검색 원리를 콘텐츠 기획에 적용한 편집 제안입니다.

고객이 하려는 일을 먼저 설명합니다

“프리미엄 공간을 제공합니다”라는 문장에 머무르기보다 누가 어떤 목적으로 이용할 수 있는지 설명해 보세요.

작업, 대화, 모임처럼 이용 목적이 달라지면 필요한 정보도 달라집니다. 작업 목적이라면 좌석과 이용 제한이, 모임 목적이라면 수용 범위와 예약 조건이 중요할 수 있습니다.

다만 검색어에 맞추기 위해 실제로 지원하지 않는 이용 목적을 추가해서는 안 됩니다. 고객의 표현을 이해하는 것과 제공하지 않는 서비스를 약속하는 것은 다릅니다.

서비스명과 적용 조건을 가까이 둡니다

브랜드명, 지점명, 서비스명은 정확히 쓰고 가격·시간·예약·이용 제한은 해당 설명과 연결합니다.

여러 상품이나 지점을 함께 소개할 때는 어느 조건이 어디에 적용되는지 구분해야 합니다. 한 지점의 운영 시간을 다른 지점의 안내에 섞거나, 특정 상품의 혜택을 전체 서비스의 조건처럼 쓰면 독자의 판단이 달라질 수 있습니다.

중요한 답변 문단에는 대상과 조건이 함께 남도록 구성해 보세요.

형용사 대신 판단할 정보를 제공합니다

‘편리하다’, ‘합리적이다’, ‘전문적이다’는 표현만으로는 선택 근거가 부족할 수 있습니다.

제공 범위, 포함 항목, 이용 절차와 제한을 설명하면 독자가 자신의 상황과 비교할 수 있습니다. 수치를 사용할 때는 확인한 값과 적용 기준을 함께 제시해야 합니다.

글을 길게 만드는 것보다, 읽은 뒤에도 남는 질문을 줄이는 데 초점을 맞추는 편이 좋습니다.

질문마다 필요한 답과 근거를 연결합니다

가격을 묻는 질문에는 비용에 포함되는 범위를, 이용 조건을 묻는 질문에는 해당 정책과 확인 경로를 연결하는 방식입니다.

하나의 주제에서 표현만 바꾼 페이지를 계속 늘리기보다, 고객이 실제로 어떤 결정을 내려야 하는지와 그 결정에 필요한 정보가 무엇인지 정리해 보세요.

그로우피드의 쿼리 팬아웃 글이 ‘어떤 하위 질문을 살펴볼 것인가’를 다뤘다면, 이번 글은 ‘그 질문과 관련된 자료를 어떤 방식으로 찾는가’를 설명합니다.

두 관점을 연결하면 키워드를 나열하는 데서 나아가 고객의 정보 요구를 중심으로 콘텐츠를 기획할 수 있습니다.

9. 검색 관련성과 실제 인용 결과는 따로 확인해야 합니다

콘텐츠를 고쳤다는 사실, 검색에서 관련 후보로 찾을 수 있다는 사실, 실제 답변에서 출처로 인용됐다는 사실은 구분해야 합니다. 앞의 작업을 했다고 뒤의 결과가 자동으로 따라오는 것은 아닙니다.

Google은 자사 AI Overviews·AI Mode에 별도의 AI 전용 파일이나 특수 마크업이 필요하지 않다고 안내합니다. 기본 요건을 충족해도 크롤링·색인·노출을 보장하지 않는다고 설명합니다. 이는 Google Search에 관한 안내이며 다른 플랫폼의 내부 기준을 대신하지 않습니다. Google의 AI 검색 기능 안내

발행 이후에는 확인할 질문과 AI 서비스, 검색 기능 사용 여부, 확인 시점, 답변과 출처 링크를 함께 기록해 보세요.

관찰할 내용도 나눠두는 편이 좋습니다.

• 브랜드 이름이 답변에 등장했는가?

• 실제 이용이나 선택의 대상으로 추천됐는가?

• 어떤 페이지가 출처로 연결됐는가?

• 해당 원문이 답변의 설명과 조건을 뒷받침하는가?

질문 표현이나 검색 기능 사용 여부가 달라졌다면 같은 조건의 결과로 묶지 않도록 해야 합니다. 한 번의 답변만으로 지속적인 인용 상태를 판단하기도 어렵습니다.

그로우피드의 GEO 콘텐츠를 읽을 때도 기술의 적용 여부와 실제 관찰 결과를 함께 살펴보는 기준이 유용합니다.

임베딩과 하이브리드 검색을 이해하는 목적은 고객의 질문과 문서가 어떻게 연결될 수 있는지 파악하고, 그 질문에 답할 수 있는 정확한 콘텐츠를 만드는 데 있습니다.

자주 묻는 질문(FAQ)

1. 검색어가 글에 그대로 없으면 AI 검색에서 찾을 수 없나요?

그렇지 않습니다. 벡터 검색은 의미적으로 관련된 표현을 찾는 데 활용할 수 있고, 키워드 검색도 동의어나 질의 확장 설정으로 다른 표현에 대응할 수 있습니다. 다만 어떤 방식이 적용되는지는 서비스와 검색 설정에 따라 다릅니다.

2. 임베딩과 벡터 검색은 같은 뜻인가요?

임베딩은 텍스트 등을 숫자 벡터로 바꾸는 처리이고, 벡터 검색은 그 벡터 사이의 유사도를 이용해 자료를 찾는 작업입니다. 벡터를 만드는 과정과 만들어진 벡터로 검색하는 과정의 차이입니다.

3. 하이브리드 검색은 벡터 검색보다 항상 좋나요?

항상 그렇다고 단정할 수 없습니다. 질문의 성격과 검색 대상 문서, 임베딩 모델, 필터, 결과 통합과 재정렬 설정에 따라 결과가 달라집니다. 자체 검색 시스템을 평가한다면 실제 이용 질문과 판단 기준을 정해 비교해야 합니다.

4. RRF와 재정렬은 같은 단계인가요?

다릅니다. Azure AI Search에서 RRF는 여러 검색 결과 목록을 하나로 통합하는 데 쓰이고, 의미 기반 재정렬은 초기 후보들의 질문 관련성을 다시 평가합니다. 하이브리드 검색에서는 통합 결과에 재정렬을 선택적으로 적용할 수 있습니다.

5. 블로그에 임베딩 숫자나 벡터 코드를 넣어야 하나요?

일반 독자용 글에 숫자 벡터를 붙여 넣는 것을 AI 인용 요건으로 볼 근거는 없습니다. 검색 시스템의 임베딩 생성과 색인 설정은 해당 시스템의 구현 영역입니다. 콘텐츠 작성자는 실제 서비스의 설명·조건·근거를 사람이 읽고 확인할 수 있게 제공하는 데 집중하면 됩니다.

6. 이 원리를 반영해 글을 쓰면 ChatGPT에 인용되나요?

인용을 보장할 수는 없습니다. 이 글은 Azure AI Search의 공개 기술을 사례로 설명하며 ChatGPT의 비공개 출처 선정 공식을 제시하지 않습니다. 콘텐츠의 정확성과 실제 답변의 인용 여부를 각각 확인해야 합니다.