Google Search Console의 크롤링 통계 보고서 활용하기
최근에 웹사이트의 성과를 개선하고자 Google Search Console(GSC)의 다양한 기능을 활용하는 것이 중요해졌습니다. 그 중에서도 크롤링 통계 보고서는 잘 알려지지 않았지만 매우 유용한 도구입니다. 이 보고서는 Google이 웹사이트를 크롤링하는 방식을 이해하고, 웹사이트 상의 문제를 해결하여 검색 엔진 최적화(SEO) 효과를 극대화하는 데 도움을 줍니다.
크롤링 통계란 무엇인가?
크롤링 통계 보고서는 Google Search Console의 기능 중 하나로, Googlebot이 지난 90일 동안 웹사이트를 크롤링한 통계를 보여줍니다. 이 보고서를 통해 다음과 같은 주요 질문에 대한 답을 얻을 수 있습니다.
- Google의 크롤링 요청은 얼마나 되었나요?
- 서버의 응답 속도는 얼마나 빠른가요?
- Googlebot이 웹사이트에서 어떤 문제를 만나고 있나요?
특히, 전자상거래 사이트와 같은 페이지가 많은 웹사이트의 소유자는 이 정보가 매우 유용할 수 있습니다. 많은 페이지가 index되지 않거나 크롤링되지 않는다면, 어떤 조치를 취해야 할지 이해하는 데 도움이 됩니다.
크롤링 통계 보고서 접근 방법
크롤링 통계 보고서는 GSC의 메뉴 깊숙한 곳에 숨겨져 있습니다. 다음 단계를 따라 쉽게 찾아볼 수 있습니다:
- GSC에 로그인한 후, 좌측 사이드바에서 설정을 클릭합니다.
- 크롤링 섹션으로 스크롤한 후, 크롤링 통계 보고서 열기 링크를 클릭합니다.
이제 크롤링 통계 보고서가 나타나며, 다양한 그래프와 차트를 볼 수 있습니다.
통계 내용 분석하기
1. 총 크롤링 요청
이 그래프는 Google이 웹사이트에서 생성한 총 크롤링 요청 수를 보여줍니다. 성공적인 크롤링과 실패한 크롤링 요청을 모두 포함합니다.
2. 총 다운로드 크기
크롤링 동안 Google이 다운로드한 콘텐츠의 총 크기를 측정합니다. 다운로드 크기가 크다면, 콘텐츠의 크기나 데이터 양이 많다는 것을 의미할 수 있습니다.
3. 평균 응답 시간
서버가 Google의 요청에 얼마나 빠르게 응답하는지를 나타냅니다. 낮은 응답 시간은 사이트의 속도가 빠르다는 것을 의미하며, 이는 더 빠른 크롤링과 색인화로 이어질 수 있습니다.
4. 호스트 상태
Google이 robots.txt 파일, DNS 확인, 서버 연결에서 겪었던 문제를 보여줍니다. 문제가 없으면 녹색 체크 표시가 나타나고, 문제가 있을 경우 경고 아이콘이 나타납니다.
5. 크롤링 응답
Googlebot이 웹사이트를 크롤링할 때 각 응답 코드별 비율을 보여줍니다. 200 응답은 정상적인 요청이며, 404 응답은 페이지가 존재하지 않음을 나타냅니다.
6. 파일 유형
다양한 파일 유형(예: 이미지, JavaScript, 비디오)과 각 파일 유형의 비율을 보여줍니다.
7. 크롤링 목적
Google이 색인하지 않은 콘텐츠를 요청하는 경우(발견)와 이미 알고 있는 콘텐츠를 요청하는 경우(새로 고침)를 보여줍니다.
8. Googlebot 유형
어떤 Googlebot이 웹사이트에 접근했는지를 보여줍니다.
크롤링 문제 식별 및 해결
크롤링 통계 보고서는 서버 오류, 페이지 오류 및 크롤링 예산 문제를 찾아내고 해결하는 데 유용합니다.
1. 서버 문제
5XX 응답이 많이 발생한다면, 호스팅 제공업체에 문의하여 서버에 문제가 있는지 확인해야 합니다.
2. 페이지 오류
404 오류 등 페이지 오류는 사용자 경험을 떨어뜨리고 SERP에서의 가시성을 감소시킵니다. 404 페이지 목록을 다운로드하여 적절한 대체 페이지로 301 리디렉션을 설정하는 것이 좋습니다.
3. 크롤링 예산 문제
크롤링 비율에 큰 변동이 있거나 색인된 페이지가 없는 경우 크롤링 예산 문제일 수 있습니다. 이를 해결하기 위해 사이트 구조를 단순하게 하고 내부 링크를 추가하여 크롤링을 쉽게 할 수 있습니다.
최적화 착수하기
크롤링 통계 보고서는 기술적인 문제를 식별 및 해결하는 데 그치지 않고 사이트 최적화에도 기여할 수 있습니다. 예를 들어, 크롤링 목적 보고서를 통해 Google이 본인의 콘텐츠를 어떻게 다루는지, 새로운 콘텐츠가 얼마나 색인되고 있는지를 확인할 수 있습니다.
사이트 개선 작업을 진행한 후에는 크롤링 보고서를 다시 참조하여 개선된 성과를 추적해 보세요. 총 다운로드 크기나 평균 응답 시간을 낮추는 것을 목표로 할 수 있습니다.
결론
크롤링 통계 보고서는 웹사이트 성과와 Google의 크롤링 능력을 이해하는 데 큰 도움이 됩니다. 이를 통해 기술 성능 문제를 찾아내고 해결하여 SEO 투자 수익을 극대화할 수 있습니다. GSC의 다양한 기능을 활용하여 자신의 웹사이트를 활성화하고 성장시키는 데 박차를 가해보세요!
참고 자료
더 많은 SEO 관련 정보가 궁금하다면, Neil Patel의 블로그를 방문해 보세요.
- source: Neil Patel Blog
