왜 내 블로그는 봇한테 HTML을 안 주는가

Mon, 11 May 2026 00:00:00 +0000

왜 내 블로그는 봇한테 HTML을 안 주는가

TL;DR: 검증된 봇에게 HTML 대신 Markdown 원본을 제공하면 두 가지를 얻습니다. AI 답변에 내 콘텐츠가 왜곡 없이 인용되고, Data Transfer Out 비용이 94 % 줄어듭니다. AWS WAF Bot Control로 봇을 식별하고, CloudFront Functions로 URL을 재작성하는 구조입니다.

Key Terms: Bot Control Targeted = AWS WAF의 봇 탐지 레벨. IP 평판·TLS 핑거프린팅·행동 분석을 조합해 봇을 분류 | CloudFront Functions = CloudFront 엣지에서 JavaScript를 실행하는 경량 컴퓨팅(viewer-request/viewer-response 단계) | Data Transfer Out = CloudFront에서 인터넷으로 나가는 트래픽에 부과되는 비용 | 검증된 봇(Verified Bot) = AWS WAF가 신원을 확인한 신뢰할 수 있는 크롤러(Googlebot, Bingbot, GPTBot 등)

Bandwidth Optimization on Build on AWS

왜 내 블로그는 봇한테 HTML을 안 주는가

왜 내 블로그는 봇한테 HTML을 안 주는가