AI에게 블로그를 통째로 맡겨봤어요. 주제를 고르고, 자료를 조사하고, 본문을 쓰고, 이미지를 만들어서, 발행까지 사람 손 안 대고 도는 파이프라인을 두 개 만들었거든요. 하나는 자체 도메인에 올린 워드프레스, 다른 하나는 블로그스팟이었어요.
워드프레스는 7월 23일부터 8월 23일까지 딱 한 달 동안 44편을 냈어요. 블로그스팟은 8월 8일에 시작해서 역시 8월 23일에 멈췄으니 15일 동안 37편이고요. 합쳐서 81편이에요.
그리고 오늘 다시 재봤습니다.
81편 중에 구글이 색인한 건 1편이에요.
실제로 잰 숫자
서치콘솔 API로 발행글 주소를 하나씩 조회했어요. 눈으로 보고 짐작한 게 아니라 구글이 각 주소를 어떤 상태로 보고 있는지 직접 물어본 값이에요.
| 상태 | 워드프레스 | 블로그스팟 |
|---|---|---|
| 발행 편수 | 44편 | 37편 |
| 크롤링했지만 색인 안 함 | 27 | — |
| 발견은 했지만 크롤링도 안 함 | — | 25 |
| 리디렉션 오류 | — | 9 |
| 구글이 이 주소를 모름 | 16 | 3 |
| 색인됨 | 1 | 0 |
색인된 그 한 편은 일리노이주 미청구재산 검색 방법에 대한 글이에요. 왜 하필 그 한 편인지는 저도 몰라요.
두 사이트가 실패한 방식이 서로 달라요
처음엔 그냥 “둘 다 망했네” 하고 넘어갔는데, 표를 다시 보니까 두 사이트가 다른 지점에서 막혀 있더라고요.
워드프레스는 27편이 “크롤링했지만 색인 안 함”이에요. 구글이 우리 글을 실제로 읽었다는 뜻이에요. 읽고 나서 “이건 색인할 가치가 없다”고 판단한 거예요.
블로그스팟은 25편이 “발견은 했지만 크롤링도 안 함”이에요. 주소가 있다는 건 아는데 읽어보러 오지도 않은 거예요.
이 차이가 중요해요. 전자는 콘텐츠 문제고 후자는 크롤링 예산 문제거든요. 글을 아무리 더 잘 써도 후자는 안 풀려요. 읽으러 오질 않으니까요.
원인을 세 개로 쪼갰어요
1. 니치를 검색결과를 안 보고 골랐어요
첫 번째 사이트 주제는 미청구재산이었고, 두 번째는 제품 리콜이었어요. 둘 다 “수요가 있어 보인다”는 판단으로 정했어요. 검색량 지표는 봤죠.
그런데 상위 10개를 누가 차지하고 있는지는 안 봤어요.
나중에 직접 검색해보니까 미청구재산은 각 주 정부 공식 사이트가 상위를 독점하고 있었어요. 정부가 직접 운영하는 조회 서비스가 있는데 제 블로그가 왜 필요하겠어요. 리콜은 더 심했어요. 사건이 터지는 즉시 대형 언론사가 압도적인 도메인 권위로 상위를 가져가고, 레몬법 같은 키워드는 상위 9개 중 6개가 법무법인이었어요. 고객 한 명이 수천 달러짜리 리드라서 SEO에 돈을 무제한으로 쓰는 시장이더라고요.
들어갈 자리가 애초에 없었어요.
2. 겪지 않은 일을 쓰게 했어요
AI에게 “미청구재산 찾는 법”을 쓰라고 시키면 씁니다. 아주 그럴듯하게 써요. 문제는 그게 어디서 읽은 걸 재조합한 결과라는 거예요. 저는 미국 미청구재산을 찾아본 적이 없고, AI도 찾아본 적이 없어요.
이게 왜 문제인지는 나중에 애드센스에서 답을 받고 알았어요. 반려였거든요.
억울하지 않았어요. 정확한 판정이었어요. 세상에 이미 있는 정보를 다시 조합해서 올린 글이 81편 있었던 거니까요. 구글 입장에서 이걸 색인할 이유가 없죠.
3. 아무 데도 안 알렸어요
이게 제일 뼈아픈 부분이에요.
저는 “좋은 글을 꾸준히 쌓으면 검색에 잡힌다”고 믿었어요. 그래서 발행만 하고 기다렸어요. 어디에도 공유하지 않았고, 누구도 이 사이트를 언급하지 않았어요.
결과를 서치콘솔에서 그대로 옮기면 이래요. 워드프레스는 두 달 동안 검색 노출 217회에 클릭 0회예요. 색인된 그 한 편이 어쩌다 검색결과에 뜨긴 했는데, 217번 떠서 단 한 명도 안 눌렀다는 뜻이에요. 블로그스팟은 노출 자체가 0회고요.
신생 도메인에 외부 신호가 하나도 없으면 구글은 크롤링 예산을 안 줘요. 블로그스팟의 “발견은 했지만 크롤링도 안 함” 25건이 정확히 그 상태예요. 여기서 글을 100편 더 써도 숫자는 안 움직여요.
체크박스 하나 때문에 9건이 죽었어요
블로그스팟 쪽에 “리디렉션 오류” 9건이 있잖아요. 이건 콘텐츠 문제가 아니라 설정 하나였어요.
블로그스팟 설정에 HTTPS 리디렉션이라는 스위치가 있어요. http로 들어온 접속을 https로 넘겨주는 기능이에요. 그게 꺼져 있었어요. 그 상태로 구글이 크롤링한 주소들이 “리디렉션 오류”로 기록됐고, 그게 9건이에요.
나중에 이 스위치를 켰어요. 그리고 오늘 그 9개 주소를 하나씩 직접 열어보니까 전부 정상이에요. 문제는 이미 고쳐져 있었어요. 그런데 서치콘솔에 남은 기록은 꺼져 있던 시점 상태 그대로예요. 재크롤링이 안 됐으니까요.
그러니까 이 9건은 “지금 고장난 것”이 아니라 “고장났던 흔적”이에요. 사이트가 새로 크롤링될 기회를 못 받고 있으니 흔적이 안 지워지는 거죠. 앞에서 말한 크롤링 예산 문제랑 결국 같은 데로 이어져요.
그런데 저는 이 원인을 다른 걸로 확신했었어요
솔직하게 적을게요. 저는 이 9건을 모바일 리디렉션 순환 때문이라고 진단했었어요.
블로그스팟은 모바일 접속에 주소 뒤에 ?m=1을 붙여서 넘겨요. 그런데 넘어간 페이지의 대표 주소 표시는 다시 원래 주소를 가리켜요. 서로를 가리키는 구조죠. 이걸 보고 “아 이게 순환이라서 구글이 포기했구나” 하고 확신했어요. 그럴듯하잖아요.
그런데 이번에 새 블로그를 만들어서 똑같이 재봤더니, 새 블로그도 정확히 같은 구조예요. 테마를 바꿔도 안 없어져요. 블로그스팟이라는 플랫폼이 원래 그렇게 동작하는 거예요. 세상 모든 블로그스팟 블로그가 이 구조인데 다들 멀쩡히 색인되고 있고요.
진짜 원인은 HTTPS 스위치였어요. 훨씬 시시하죠.
이게 제가 오늘 배운 것 중에 제일 값진 거예요. 그럴듯한 설명은 데이터가 아니에요. 저는 구조를 눈으로 보고, 논리적으로 말이 되니까, 확인 없이 결론을 내렸어요. 비교 대상 하나만 만들어봤으면 5분 만에 알 수 있는 거였는데요.
그리고 비교 대상을 만들었더니, 하나가 더 나왔어요
새 블로그를 세우면서 설정을 훑다가 “크롤러 및 색인 생성”에서 스위치 두 개를 발견했어요. 맞춤 robots.txt 사용과 맞춤 로봇 헤더 태그 사용이요. 켜져 있길래 원래 켜는 건가 싶어서 실제 파일을 열어봤어요.
/robots.txt를 열었더니 완전히 비어 있었어요. 한 줄도 없이요.
스위치를 켜면 “네가 직접 쓰겠다”는 뜻이거든요. 그런데 내용을 안 채웠으니, 플랫폼이 알아서 만들어주던 기본값이 통째로 빈 파일로 덮인 거예요.
스위치를 끄고 다시 열어봤어요. 이게 원래 들어 있어야 할 내용이에요.
User-agent: *
Disallow: /search
Disallow: /share-widget
Allow: /
Sitemap: https://주소/sitemap.xml
두 줄이 중요해요. Disallow: /search는 검색 결과와 라벨 목록 페이지를 크롤링하지 말라는 뜻이에요. 이게 없으면 라벨 하나당, 검색어 하나당 생기는 수많은 페이지가 전부 크롤링 대상이 돼요. 크롤링 예산이 넉넉한 사이트면 상관없어요. 예산이 거의 없는 신생 사이트에서는 그 몇 안 되는 기회를 아무도 안 볼 목록 페이지가 가져가는 거예요.
그리고 예전 블로그를 확인해봤어요. 지금도 robots.txt가 비어 있어요. 15일 동안 그 상태로 돌았어요.
이게 “발견은 했지만 크롤링도 안 함” 25건의 원인이라고 단정하진 않을게요. 배포가 0이었던 것도 똑같은 증상을 만들거든요. 둘 중 뭐가 얼마나 기여했는지는 지금 데이터로 못 갈라요. 다만 둘 다 나쁜 상태였다는 건 확실해요.
교훈은 앞이랑 같아요. 안 건드려도 되는 설정을 켜두면, 빈 값이 멀쩡한 기본값을 덮어써요. 그리고 그건 화면 어디에도 경고로 안 떠요. 파일을 직접 열어봐야 보여요.
그래서 뭘 배웠냐면
첫째, 니치는 검색량이 아니라 “지금 누가 그 자리에 앉아 있는가”로 골라야 해요. 대표 검색어 서너 개를 직접 검색해서 상위 10개가 정부 사이트인지, 대형 언론인지, 법무법인인지, 돈 있는 회사의 콘텐츠 마케팅인지를 눈으로 봐야 해요. 이 중 하나라도 장악하고 있으면 신생 사이트는 못 들어가요.
둘째, 겪은 것만 써야 해요. 이건 도덕 얘기가 아니라 전략 얘기예요. 재조합한 정보는 이미 원본이 상위에 있어서 이길 수가 없어요. 반대로 제가 실제로 겪은 실패는 세상에 저만 갖고 있어요. 지금 이 글처럼요.
셋째, 발행은 시작이지 끝이 아니에요. 아무도 안 오는 사이트에 구글은 크롤링 예산을 안 줍니다. 사람이 실제로 있는 곳에 먼저 던져서 최소한의 신호를 만들어야 그때부터 검색이 자생해요.
그리고 하나 더, 이건 아직 확신 못 하는 거예요. 블로그스팟은 15일에 37편이니까 하루 두세 편씩 쏟아낸 셈이에요. 갓 만든 도메인이 그 속도로 글을 뱉으면 구글이 곱게 볼 이유가 없죠. “발견은 했지만 크롤링도 안 함”이 25건인 게 신호가 없어서인지, 이 속도까지 겹친 건지는 지금 데이터로는 못 갈라요. 다만 다음엔 속도를 낮춰서 이 변수를 빼보려고 해요.
한 달과 호스팅비, 도메인비, API 요금을 내고 배운 것들이에요. 기간은 짧았는데 수업료는 안 짰어요. 그래도 짐작이 아니라 숫자로 배운 건 다행이라고 생각해요.
지금은 이 세 가지를 정면으로 뒤집어서 다시 시작하는 중이에요. 그 과정도 여기에 다 적을 생각이에요. 이번엔 잘 되든 안 되든 실측 숫자로 남길게요.