오늘 오늘의 읽기주간 돌아보기작은 실천
2026.1110화요일 TUE
오늘의 읽기

AI 봇 서버 로그 용어 정리: fetch·ASN·rDNS 읽는 법

약 8분 분량

AI 봇 서버 로그 지표는 무엇을 세는지와 분모가 무엇인지에 따라 의미가 크게 달라집니다. 넥스트티가 자체 사이트 서버 로그를 2026년 7월 한 달간 부분 관측해 공개한 자료를 보면, 이 사이트에 들어온 AI 요청의 약 93%가 장기 수집(crawl)이었고 실시간 인용은 7%였습니다. 같은 조건에서 실시간 인용 fetch 8,583건은 모두 글로벌 엔진에서 나왔고 국내 엔진은 0건이었지만, 이는 한 사이트·한 달·부분 관측 결과이므로 AI 요청 전반의 경향으로 일반화하지 않습니다.

이런 수치를 운영 중인 사이트의 판단에 쓰려면 용어의 정의와 측정 조건을 함께 읽어야 합니다. 아래에서는 관측 자료에 나온 지표를 하나씩 풀어 봅니다.

실시간 인용과 장기 수집, 두 요청의 차이

장기 수집(crawl)은 AI 서비스가 학습이나 색인을 위해 페이지를 미리 모으는 요청입니다. 사용자의 질문과 바로 연결되지 않습니다. 나중에 답변의 재료가 될 수 있는 문서를 축적하는 성격으로 볼 수 있습니다.

실시간 인용(ai_cite)은 사용자가 AI에 질문한 시점에 발생하는 요청입니다. AI가 답변을 만들면서 근거 페이지를 그 자리에서 불러옵니다. 로그에서는 이 요청 한 건을 fetch 1건으로 셉니다. fetch는 서버가 페이지를 한 번 내준 기록입니다. 같은 페이지를 여러 번 불러오면 그만큼 건수가 늘어납니다.

관측 자료에서 장기 수집은 실시간 인용의 약 14.3배였습니다. 이 사이트에서는 AI 요청의 대부분이 당장의 답변보다 사전 수집에 쓰였다고 읽을 수 있습니다. 다만 장기 수집이 많다고 해서 실제 답변에 인용될 가능성도 그만큼 높다고 보기는 어렵습니다. 수집과 인용은 서로 다른 단계의 지표입니다. 따라서 따로 기록하고 따로 해석합니다.

엔진별 비중과 고유 페이지 수

실시간 인용을 엔진별로 나누면 ChatGPT가 7,619건(89%), Claude가 772건(9%)이었습니다. 이 비중의 분모는 관측 대상 사이트에 들어온 실시간 인용 fetch 8,583건입니다. 따라서 이 수치는 한 사이트 안에서의 구성비입니다. AI 서비스의 시장 점유율로 읽지 않습니다.

고유 페이지 수는 중복을 제거하고 센 페이지 개수입니다. ChatGPT는 고유 924페이지, Claude는 고유 223페이지를 불러왔습니다. fetch 건수와 고유 페이지 수를 함께 보면 엔진의 접근 방식을 가늠할 수 있습니다. 소수 페이지를 반복해서 불러오는지, 여러 페이지에 넓게 접근하는지가 드러납니다. 건수만 보면 일부 페이지의 반복 호출이 전체 인상을 좌우할 수 있습니다. 그래서 두 값을 나란히 적습니다.

국내 엔진의 실시간 인용 0건(0%)도 같은 원칙으로 읽습니다. 이 값은 한 사이트, 한 달, User-Agent 기준 분류라는 조건에서 나왔습니다. 이것만으로 국내 엔진이 외부 페이지를 인용하지 않는다고 일반화할 수는 없습니다. 분류 규칙에 잡히지 않는 방식으로 접근했을 가능성도 배제할 수 없습니다.

데이터센터 ASN과 rDNS 정방향 확인

ASN(Autonomous System Number : 자율 시스템 번호)은 인터넷에서 IP 주소 대역을 운영하는 네트워크 단위를 가리킵니다. 요청 IP가 어느 ASN에 속하는지 보면 요청이 어디서 왔는지 구분할 수 있습니다. 가정용 회선인지, 클라우드나 데이터센터 네트워크인지가 드러납니다.

관측 자료에서 데이터센터 ASN 유입 비중은 89.3%(7,666/8,583건)였습니다. 실시간 인용 요청의 대부분이 데이터센터 네트워크에서 들어왔다는 뜻입니다. 봇이라는 User-Agent 표시와 실제 네트워크 출처가 대체로 일치한다는 보조 근거로 볼 수 있습니다.

rDNS(reverse DNS : 역방향 도메인 이름 조회) 정방향 확인은 두 단계로 이루어집니다. 먼저 요청 IP를 역방향으로 조회해 호스트 이름을 얻습니다. 그다음 그 호스트 이름을 다시 정방향으로 조회해 원래 IP로 돌아오는지 확인합니다. 이 절차를 통과하면 해당 엔진사 네트워크에서 온 요청이라고 판단할 근거가 강해집니다. 관측 자료에서 이 확인을 통과한 요청은 174건이었습니다.

174건은 확인에 성공한 건수입니다. 나머지 요청이 위장 봇이라는 뜻은 아닙니다. 엔진사마다 호스트 이름을 제공하는 방식이 다를 수 있습니다. 그래서 rDNS 확인 건수는 검증의 강도를 보여 주는 지표로 읽습니다. 요청 전체의 진위를 판정하는 데 그대로 쓰지 않습니다.

일별 변동을 읽는 법

측정 기간 중 실시간 인용이 가장 많았던 날은 07-06으로 453건이었습니다. 가장 적었던 날은 07-18로 102건이었습니다. 하루 단위 수치는 변동 폭이 큽니다. 그래서 특정 날짜의 급증이나 급감을 콘텐츠 변경이나 외부 사건과 바로 연결하기 쉽습니다.

그러나 이번 측정만으로는 변동의 원인을 특정하기 어렵습니다. 엔진 내부 동작, 질문량 변화 등 여러 요인이 겹칠 수 있습니다. 봇 분류도 User-Agent 기준입니다. 엔진사가 정책을 바꾸면 같은 요청이 다른 범주로 재분류될 수 있습니다. 일별 수치는 기간 전체의 흐름과 함께 봅니다. 변동이 큰 날은 원인을 단정하지 않고 확인할 항목으로 남깁니다.

운영 사이트 로그에 적용할 때 점검 항목

  1. 측정 조건을 먼저 적습니다. 대상 사이트, 기간, 분류 기준, 전수 관측인지 부분 관측인지를 수치와 함께 기록합니다.
  2. 장기 수집과 실시간 인용을 따로 집계합니다. 두 요청을 합치면 인용 신호가 수집량에 묻힙니다.
  3. 엔진별 비중에는 분모를 함께 표시합니다. 사이트 안의 구성비를 시장 점유율로 오해하지 않게 합니다.
  4. fetch 건수와 고유 페이지 수를 함께 봅니다. 반복 호출과 넓은 접근을 구분하는 기준이 됩니다.
  5. User-Agent로 1차 분류한 뒤 ASN과 rDNS로 교차 점검합니다. 확인 건수와 미확인 건수는 나눠 적습니다.
  6. 특정 엔진이 0건으로 나오면 분류 규칙에 그 엔진이 포함되어 있는지부터 확인합니다.
  7. 엔진사 정책이 바뀌었다는 소식이 있으면 분류 규칙을 바꾼 날짜를 기록합니다. 그래야 변경 전후를 비교할 수 있습니다.

정리

아래 표는 근거 사례로 인용한 관측 값입니다. 넥스트티 자체 사이트의 서버 로그를 2026년 7월 1일부터 31일까지 부분 관측한 값입니다. 봇은 User-Agent로 1차 분류하고 ASN·rDNS로 교차 점검했습니다.

지표관측 값읽을 때 주의
실시간 인용(ai_cite) fetch 합계8,583건(글로벌 엔진 100%)국내 엔진 0건(0%)은 이 사이트와 기간에 한정된 결과
ChatGPT 인용 fetch7,619건(89%, 고유 924페이지)사이트 안의 비중이며 시장 점유율이 아님
Claude 인용 fetch772건(9%, 고유 223페이지)사이트 안의 비중이며 시장 점유율이 아님
장기 수집(crawl) 비중AI 요청 중 약 93%(실시간 인용 7%)수집이 많아도 인용이 늘어난다고 단정할 수 없음
장기 수집 대 실시간 인용약 14.3배서로 다른 단계의 지표로 따로 해석
일별 인용 최다·최소07-06 453건 · 07-18 102건관측만으로 원인을 단정하지 않음
데이터센터 ASN 유입 비중89.3%(7,666/8,583건)네트워크 출처를 보여 주는 보조 근거
rDNS 정방향 확인174건미확인 요청이 곧 위장 봇이라는 뜻은 아님

AI 봇 로그 지표는 요청의 종류, 분모, 분류 기준을 함께 볼 때 의미가 분명해집니다. 같은 8,583건이라도 무엇을 기준으로 나눴는지에 따라 해석이 달라집니다. 엔진사 정책이 바뀌면 분류 결과도 달라질 수 있습니다. 운영 중인 사이트의 로그를 점검할 때는 먼저 실시간 인용과 장기 수집을 나눠 집계합니다. 그다음 엔진별 비중마다 분모와 측정 기간을 함께 적습니다.

GEO SEO 데일리

생성형 AI 검색 최적화(GEO)와 검색엔진 최적화(SEO)를 하루 한 장 분량으로 정리하는 일력형 읽기 사이트

이용 안내

검색 결과와 AI 답변은 각 서비스의 정책과 시점에 따라 달라질 수 있습니다.

이 사이트의 글은 일반 정보이며 특정 검색 순위나 AI 답변 노출을 보장하지 않습니다.