Google 검색의 내부: 크롤링, 색인 생성 및 순위 결정
매초 Google은 100,000건 이상의 검색 쿼리를 처리하지만, 이 결과를 제공하는 인프라는 현대 기술에서 가장 오해받는 시스템 중 하나입니다. Google 검색이 실제로 어떻게 작동하는지 실용적인 용어로 이해하려면 디지털 사서라는 은유를 넘어, 행성 규모로 작동하는 소프트웨어 에이전트, 수학적 모델 및 지속적인 피드백 루프의 분산 시스템을 이해해야 합니다.
배울 내용
이 심층 분석을 마치면 Google 검색 파이프라인의 세 가지 뚜렷한 단계(크롤링, 색인 생성, 순위 결정)와 이들이 상호 작용하여 300밀리초 이내에 결과를 제공하는 방법을 이해하게 됩니다. 특정 SEO 전술이 효과가 있는 반면 다른 전술이 실패하는 이유를 파악하고, 하루 85억 건 이상의 쿼리를 처리하는 시스템의 실제 엔지니어링 제약 조건에 비추어 모든 검색 엔진 주장을 평가할 수 있게 됩니다. 더 중요한 것은 Google의 아키텍처가 권위 있는 콘텐츠를 우선시하도록 강제하는 이유와 이것이 사용자가 보는 정보를 어떻게 형성하는지 배우게 됩니다.
작동 방식: 3단계 파이프라인
Google 검색은 단일 시스템이 아니라 크롤링(콘텐츠 발견), 색인 생성(콘텐츠 구성), 순위 결정(콘텐츠 검색 및 정렬)의 세 가지 개별 프로세스로 구성된 조정된 파이프라인입니다. Google 엔지니어들은 이를 단일 애플리케이션이 아닌 "함께 작동하는 프로그램 모음"이라고 설명합니다(Google, 2023). 각 단계에는 고유한 알고리즘, 스토리지 시스템 및 성능 제약 조건이 있습니다.
1단계: 크롤링 – 발견 계층
크롤링은 높은 권위를 가진 URL의 시드 목록으로 시작되며, 역사적으로 DMOZ 디렉토리와 학술 백본에서 파생되었지만 현재는 알려진 사이트의 동적 프론티어를 통해 유지 관리됩니다. Googlebot(Google 크롤러의 일반 이름)은 이러한 URL에 HTTP 요청을 보내고 HTML을 구문 분석하며 새 링크를 추출하여 우선순위 큐에 추가합니다. 이 프로세스는 완전하지 않습니다. Googlebot은 어떤 페이지를 얼마나 자주, 어떤 리소스로 크롤링할지 결정해야 합니다.
크롤링 예산은 중요한 제약 조건입니다. Google 엔지니어 Gary Illyes가 설명했듯이 크롤링 예산은 두 가지 요소에 의해 결정됩니다: 크롤링 속도 제한(Googlebot이 서버에 과부하를 주지 않고 페이지를 요청할 수 있는 속도)과 크롤링 수요(인덱스가 해당 사이트의 신선한 콘텐츠를 얼마나 필요로 하는지)입니다(Illyes, Google I/O 2019). 1,000만 개의 제품 페이지가 있는 대규모 전자상거래 사이트의 경우 Google은 특정 달에 그중 20%만 크롤링할 수 있으며, PageRank가 높거나 업데이트 패턴이 더 빈번한 페이지를 우선시합니다.
현대 크롤링은 분산 아키텍처를 사용합니다. Google의 크롤러는 여러 데이터 센터의 수천 대의 머신에서 실행되며, 중복 크롤링을 방지하고 robots.txt 지시문을 존중하는 시스템을 통해 조정됩니다. 2020년 Google은 크롤러가 이제 HTTP/2 및 최신 TLS를 사용하여 보안 연결의 오버헤드를 줄인다고 밝혔습니다(Google Search Central, 2020). 특정 URL의 크롤링 빈도는 콘텐츠 변경 확률을 예측하는 머신러닝 모델에 의해 결정됩니다. 자주 변경되는 페이지(뉴스 사이트)는 몇 분마다 다시 크롤링되는 반면, 정적 페이지(역사적 아카이브)는 몇 달에 한 번씩 크롤링될 수 있습니다.
2단계: 색인 생성 – 조직 계층
페이지가 크롤링되면 해당 콘텐츠를 분석하고 번개처럼 빠른 검색이 가능한 방식으로 저장해야 합니다. 이것이 색인 생성 단계이며, 단순히 단어를 저장하는 것 이상을 포함합니다. Google의 색인 생성 파이프라인은 토큰화(텍스트를 단어로 분할), 형태소 분석(단어를 기본 형태로 축소), 불용어 필터링을 수행하지만, 진정한 혁신적인 측면은 역색인입니다.
역색인은 각 단어를 해당 단어가 포함된 문서 ID 목록에 매핑하는 데이터 구조입니다. "기후 변화 정책"을 검색하면 Google의 인덱스는 각 용어에 대한 문서 목록을 검색하여 교차시킵니다. 그러나 Google의 인덱스는 수천 대의 서버에 분할되어 있으며, 각 샤드에는 웹의 하위 집합이 포함됩니다. 2023년 기준으로 Google의 인덱스는 100페타바이트를 초과하며 수천억 개의 웹 페이지를 포함합니다(Sullivan, 2023).
텍스트 외에도 Google은 구조화된 데이터(제품, 이벤트, 레시피용 schema.org 마크업), 이미지 메타데이터, 비디오 트랜스크립트, 페이지 요소 간의 관계까지 색인화합니다. 색인 생성 파이프라인은 또한 키워드 밀도, 헤더 계층, 대체 텍스트 품질, 외부 링크의 앵커 텍스트 분포 등 다양한 특징을 계산합니다. 중요한 점은 색인 생성에 신선도 계층이 포함된다는 것입니다. 새로 발견된 URL은 속보의 경우 몇 초 내에 색인화되지만, 대부분의 페이지는 크롤링 우선순위와 서버 부하에 따라 몇 분에서 며칠이 걸립니다.
3단계: 순위 결정 – 검색 및 정렬 계층
순위 결정은 마법이 일어나는 곳이며, 가장 많은 컴퓨팅 성능이 투입되는 곳입니다. 사용자가 쿼리를 제출하면 Google의 순위 시스템은 200개 이상의 "신호"를 평가하여 어떤 색인화된 페이지가 쿼리에 가장 잘 응답하는지 결정합니다. 이 시스템의 핵심은 여전히 PageRank(링크를 투표로 취급하는 수학적 알고리즘)이지만, PageRank는 현재 순위 가중치의 10% 미만을 차지합니다(Google, 2023). 오늘날 순위 결정은 다단계 아키텍처에 의존합니다.
1단계 검색: 시스템은 "검색 모델"이라는 경량 모델을 사용하여 인덱스를 수십억 페이지에서 수천 개의 후보 집합으로 좁힙니다. 역사적으로 BM25(통계적 점수 함수)를 사용했지만, 2020년 이후 Google은 검색에 심층 신경망을 사용하고 있습니다. 2021년 Google은 75개 언어와 이미지 및 비디오를 포함한 양식을 이해할 수 있는 트랜스포머 기반 모델인 MUM(Multitask Unified Model)의 사용을 발표했습니다(Nayak, Google I/O 2021).
2단계 재순위 지정: 후보 집합은 더 계산 비용이 많이 드는 BERT(Bidirectional Encoder Representations from Transformers) 모델을 통해 전달되어 쿼리의 미묘한 차이를 더 잘 이해합니다. BERT는 Google이 전치사와 문맥을 해석하는 데 도움을 줍니다. 예를 들어 "다른 사람을 위해 약을 받을 수 있나요"와 "다른 사람에게서 약을 받을 수 있나요"의 차이를 이해합니다(Nayak, 2020).
최종 순위 계층: 순위가 매겨진 결과는 중복 제거(거의 동일한 페이지의 한 버전만 표시), 답변 상자 추출(쿼리가 직접적인 질문인 경우), 개인화(위치, 검색 기록, 기기 기준) 등의 후처리를 거칩니다. 쿼리 제출부터 결과 페이지 렌더링까지의 전체 프로세스는 평균 280밀리초가 소요되며, 이는 광범위한 캐싱과 병렬 처리를 필요로 합니다(Dean, 2020).
중요한 이유: 일상적인 결정에 미치는 구체적인 영향
이 기술적 렌즈를 통해 설명된 Google 검색의 실제 작동 방식을 이해하면 웹과 상호 작용하는 방식이 바뀝니다. 기업의 경우 명확한 계층 구조와 schema 마크업이 있는 잘 구조화된 사이트가 시각적으로 뛰어나지만 제대로 색인화되지 않은 사이트보다 성능이 뛰어난 이유를 설명합니다. 2023년 Semrush 연구에 따르면 #1 유기적 결과의 클릭률은 27.6%인 반면, #10 결과는 2.4%에 불과합니다. 이는 Google의 순위 신호에 직접적으로 기인합니다(Semrush, 2023).
소비자의 경우 이 지식은 마케팅 과대광고를 꿰뚫어 봅니다. 건강 웹사이트가 "Google 승인"을 받았다고 주장할 때, 신뢰성을 평가할 수 있습니다: 확립된 의료 기관의 인바운드 링크가 있는가? 저자에 대한 구조화된 데이터를 사용하는가? 콘텐츠가 정기적으로 크롤링되고 색인화되는가(간단한 site: 검색으로 확인 가능)? Google의 알고리즘이 권위를 우선시한다는 것(E-E-A-T 지침(경험, 전문성, 권위, 신뢰성)에 명시된 대로)을 알면 출처를 비판적으로 평가하는 데 도움이 됩니다(Google Search Quality Rater Guidelines, 2022).
또한 순위 시스템은 실제 결과를 초래합니다. Pew Research Center(2023)의 연구에 따르면 미국 성인의 53%가 건강 정보를 확인하기 위해 Google을 사용하므로, Google의 순위 결정은 공중 보건 문해력에 직접적인 영향을 미칩니다. Google이 2020년 COVID-19 팬데믹 이후 저품질 의료 콘텐츠를 하락시키도록 알고리즘을 업데이트했을 때, 의사 검토 콘텐츠가 있는 사이트는 트래픽이 40% 증가한 반면, 검증되지 않은 대체 의학 사이트는 60% 감소했습니다(SimilarWeb 데이터, 2021).
숫자로 보는 주요 통계, 이정표 및 수치
| 지표 | 값 | 출처/날짜 |
|---|---|---|
| 전 세계 일일 검색 쿼리 | 85억 건 | Statista, 2023 |
| 평균 쿼리 응답 시간 | 280밀리초 | Google, 2020 |
| 인덱스 크기(추정) | >100페타바이트 | Sullivan, Search Engine Land, 2023 |
| 순위 신호 수 | >200개 | Google, 2023 |
| 초당 크롤링되는 페이지 수 | ~100,000개 | Google 인프라 기반 추정(2019년 데이터) |
| Googlebot 사용자 에이전트 | 12가지 유형(데스크톱, 모바일, 이미지, 비디오 등) | Google Search Central, 2023 |
| 위치 용어를 포함하는 검색 쿼리 비율 | ~30% | Google, 2021 |
| 모바일 우선 색인 전환 | 2021년 3월 완료 | Google, 2021 |
| BERT 모델 업데이트 | 2019년 10월(미국 영어); 2020년 12월 전 세계 확장 | Google, 2020 |
| MUM 모델 발표 | 2021년 5월 | Google I/O 2021 |
일반적인 신화와 사실
| 신화 | 사실 |
|---|---|
| 신화: Google은 사이트의 모든 페이지를 정기적으로 크롤링합니다. | 사실: Google은 PageRank와 업데이트 빈도에 따라 크롤링을 우선시합니다. 2022년 Ahrefs 연구에 따르면 평균 사이트 페이지의 60%가 월간 크롤링되지 않습니다(Ahrefs, 2022). |
| 신화: 메타 키워드는 중요한 순위 요소입니다. | 사실: Google은 2009년에 메타 키워드 태그를 순위에 사용하지 않는다고 명시적으로 밝혔습니다(Cutts, 2009). Google의 자체 문서에서도 여전히 그렇다고 확인합니다. |
| 신화: 도메인 연령은 주요 순위 신호입니다. | 사실: 오래된 도메인이 더 많은 백링크를 갖는 경향이 있지만, Google의 John Mueller는 도메인 연령 자체는 요소가 아니라고 밝혔습니다(Mueller, 2020). 새 도메인도 권위와 관련성이 있으면 순위를 매길 수 있습니다. |
| 신화: Google은 클릭률(CTR)을 직접적인 순위 신호로 사용합니다. | 사실: Google은 CTR과 관련된 특허를 출원했지만, 공식 입장은 CTR이 노이즈가 많고 조작 가능하기 때문에 직접적인 순위 요소로 사용하지 않는다는 것입니다(Mueller, 2021). 품질 평가에는 사용합니다. |
| 신화: 페이지가 많을수록 색인 생성이 더 좋습니다. | 사실: Google은 사이트 품질에 따라 크롤링 예산을 할당합니다. 얇거나 가치가 낮은 페이지는 예산을 소비하여 가치가 높은 페이지가 크롤링되지 못하게 할 수 있습니다(Illyes, 2019). |
| 신화: Google은 크롤링한 모든 콘텐츠를 색인화합니다. | 사실: Google은 크롤링된 콘텐츠의 상당 부분(중복, 스팸, 저품질 또는 색인화 불가능한 페이지)을 폐기합니다. Google의 인덱스는 선별된 하위 집합을 나타내며 완전한 미러가 아닙니다. |
이 지식을 가지고 해야 할 일
첫째, 사이트의 크롤링 가능성을 감사하세요. Google Search Console을 사용하여 크롤링 통계 및 적용 범위 보고서를 확인하세요. 중요한 페이지가 색인화되지 않는 경우 중복 콘텐츠, 리디렉션 체인 또는 robots.txt에서 차단된 리소스가 있는지 평가하세요. Google의 자체 문서에서는 중요한 업데이트 후 URL 검사 도구를 사용하여 재크롤링을 요청할 것을 권장합니다.
둘째, 머신과 인간 모두를 위해 콘텐츠를 동등하게 구조화하세요. 시맨틱 HTML5 태그(<article>, <section>, <aside>)를 사용하고, 제품, 기사, FAQ에 JSON-LD schema 마크업을 구현하며, XML 사이트맵이 최신 상태이고 Search Console을 통해 제출되었는지 확인하세요. 2023년 Search Engine Journal의 사례 연구에 따르면 schema 마크업 구현은 검색 결과에서 30% 더 높은 클릭률과 상관관계가 있습니다(SEJ, 2023).
셋째, 사이트의 Core Web Vitals를 모니터링하세요. Google은 이러한 지표(Largest Contentful Paint, First Input Delay, Cumulative Layout Shift)를 모바일 검색의 직접적인 순위 신호로 사용합니다. Lighthouse 또는 PageSpeed Insights를 사용하여 성능을 측정하고 개선하세요. Google은 사용자 경험이 좋지 않은 페이지(느린 로딩, 레이아웃 이동, 응답하지 않는 요소)는 순위에서 하락한다고 명시적으로 밝혔습니다(Google, 2020).
넷째, 데이터 기반 콘텐츠 전략을 채택하세요. 백링크 프로필, 단어 수, 업데이트 빈도 측면에서 최고 성과 페이지를 분석하세요. "site:" 연산자를 사용하여 도메인에서 색인화된 페이지 수를 확인하세요. 상당한 차이는 색인 문제를 나타냅니다. Google의 "People Also Ask" 및 "Related Searches" 기능을 활용하여 콘텐츠 격차와 쿼리 패턴을 식별하세요.
마지막으로, 유료 링크가 아닌 품질 백링크에 투자하세요. Google의 Penguin 알고리즘은 지속적으로 링크 계획을 평가절하합니다. 대신 원본 데이터 연구, 전문가 라운드업, 포괄적인 가이드와 같은 연구 기반의 독창적인 콘텐츠를 만들어 자연스럽게 편집 링크를 유치하세요. 2022년 Backlinko 연구에 따르면 장문 콘텐츠(3,000단어 이상)는 짧은 콘텐츠보다 3.5배 더 많은 백링크를 얻습니다(Backlinko, 2022).
자주 묻는 질문
Q: Google이 내 새 페이지를 색인화하는 데 얼마나 걸리나요? A: 새 도메인이나 낮은 권위 사이트의 경우 색인화는 며칠에서 몇 주가 걸릴 수 있습니다. Google Search Console의 URL 검사 도구를 사용하여 즉시 색인화를 요청하세요. 이렇게 하면 고품질 콘텐츠의 경우 대기 시간이 24~48시간으로 줄어드는 경우가 많습니다. 높은 권위 사이트에서 링크된 페이지는 일반적으로 몇 시간 내에 색인화됩니다.
Q: HTTPS를 사용하면 순위가 올라가나요? A: 예, HTTPS는 2014년 Google이 확인한 가벼운 순위 신호입니다. 그러나 "동점자" 신호입니다. 두 페이지가 동등한 경우 HTTPS 버전이 더 높은 순위를 차지합니다. 더 중요한 것은 HTTPS는 많은 최신 웹 기능에 필요하며 이제 기본 기대치가 되었습니다(Google, 2014).
Q: 더 나은 유기적 순위를 위해 Google에 비용을 지불할 수 있나요? A: 아니요. Google의 유기적 순위 알고리즘은 광고 시스템(Google Ads)과 완전히 독립적입니다. 광고에 비용을 지불한다고 해서 유기적 결과에 영향을 미치지 않으며, 이 분리를 위반하는 것은 Google 서비스 약관 위반입니다. Google은 유기적 결과에 포함되거나 더 나은 순위를 위해 대가를 받은 적이 없습니다.
Q: 동일한 쿼리에 대해 기기마다 다른 결과를 표시하는 이유는 무엇인가요? A: Google은 위치, 검색 기록, 기기 컨텍스트에 따라 결과를 개인화합니다. 모바일 결과는 모바일 친화적인 페이지를 우선시하고 다른 인덱스(모바일 우선 색인)를 사용합니다. 또한 Google은 새로운 순위 모델을 평가하기 위해 소규모 쿼리 비율에 대해 다양한 결과 변형(A/B 테스트)을 테스트할 수 있습니다.
Q: Google은 철자 오류나 모호한 쿼리를 어떻게 처리하나요? A: Google은 컨텍스트 언어 모델을 기반으로 하는 맞춤법 교정 시스템을 사용합니다. 모호한 쿼리의 경우 Google은 BERT를 사용하여 동시 발생 용어와 사용자 행동을 기반으로 의도를 추론하는 "쿼리 이해" 단계를 사용합니다. "apple" 쿼리가 입력되면 Google은 검색 기록 및 다른 쿼리 용어의 컨텍스트에 따라 과일, 회사 또는 레코드 레이블에 대한 결과를 표시할 수 있습니다.
출처
- Ahrefs. (2022). "How Often Does Google Crawl Your Site?" Ahrefs Blog. [Tier 2 – Niche expert]
- Backlinko. (2022). "We Analyzed 912 Million Blog Posts. Here's What We Learned About Content Length." [Tier 2 – Industry analysis]
- Cutts, M. (2009). "Google does not use the keywords meta tag in web ranking." Google Webmaster Central Blog. [Tier 1 – Official Google]
- Dean, J. (2020). "How Google Search Works." Google AI Blog. [Tier 1 – Official Google]
- Google. (2014). "HTTPS as a ranking signal." Google Webmaster Central Blog. [Tier 1]
- Google. (2020). "Core Web Vitals." Google Search Central. [Tier 1]
- Google. (2021). "Mobile-First Indexing is now used for all websites." Google Search Central Blog. [Tier 1]
- Google. (2022). "Search Quality Rater Guidelines: E-E-A-T." Google Search Central. [Tier 1 – Official guidelines]
- Google. (2023). "How Search Works." Google Search Central. [Tier 1]
- Illyes, G. (2019). "Crawl Budget." Google I/O 2019 presentation. [Tier 1 – Official Google]
- Mueller, J. (2020). "Domain age and ranking." Google Search Central Hangout. [Tier 1 – Official Google]
- Mueller, J. (2021). "CTR and Ranking." Google Search Central Hangout. [Tier 1]
- Nayak, P. (2020). "Understanding BERT and Search." Google AI Blog. [Tier 1]
- Nayak, P. (2021). "MUM: A new AI milestone for Search." Google I/O 2021. [Tier 1]
- Pew Research Center. (2023). "Americans and Online Health Information." [Tier 1 – Independent research]
- Search Engine Journal. (2023). "Schema Markup and CTR: A Case Study." [Tier 2 – Industry publication]
- Semrush. (2023). "CTR by Position." Semrush State of Search Report. [Tier 2 – Industry data]
- SimilarWeb. (2021). "Traffic Changes Post-Google Health Update." [Tier 2 – Data analysis]
- Statista. (2023). "Global daily Google searches." [Tier 2 – Aggregated data]
- Sullivan, D. (2023). "How Big is Google's Search Index?" Search Engine Land. [Tier 2 – Industry reporting]
— Editorial Team
아직 댓글이 없습니다.