구글 애드센스 광고크롤러 오류 왜 생기고 어떻게 대응해야 하나?

이번엔 애드센스를 운영하는 많은 분들이 겪게 되고 걱정과 고민을 많이 하는 문제인 구글 애드센스 광고크롤러 오류 왜 생기며 어떻게 대응하는게 가장 좋은지에 대해 알아볼까 합니다.

 

구글 애드센스 광고크롤러 오류 때문에 고심이신가요?

 

저는 지난 8월 무효클릭때문에 고생을 했는데요. 무효클릭 문제를 겨우 탈피하자 9월말부터는 광고 크롤러 오류가 엄청 발생하기 시작해 또 한번 호되게 시련을 겪고 있는데요.

 

경험을 토대로 광고 크롤러 오류 왜 생기고 어떻게 대응해야 할지에 대해 말씀드리겠습니다.

 

 

 

 

구글 애드센스 광고크롤러 오류 왜 생기나?

 

1. 서버 문제

2. 과다 수정문제

 

 

 

광고크롤러 오류는 위 2가지로 봅니다.

 

서버문제는 아마 용량 때문에 그런거 같은데요. 네이버 블로그와 티스토리블로그를 비교해 보시면 금방 용량차이를 느끼실수 있을 것 같습니다.

 

예로 네이버의 경우 사진 압축을 안하고 올려도 팽팽 잘돌아가는데, 티스토리는 사진을 그대로 올리거나 내용이 좀 길어지면 로딩 속도가 쉽게 느려지는 걸 느낄수 있으니까요.

 

서버과부하로 연결이 순간적으로 안될 경우 생기는 거 같습니다.

 

또 저같은 경우에 크롤러 오류가 발생한 시점이 무효클릭을 해결하기 위해 게시물 수정을 아주 많이 한 적이 있은 후로 생긴 거니까 수정을 너무 많이 해도 크롤러 발생원인이 되지 않을까 하는 생각도 하는데요.

 

여기에 대해선 정확하진 않지만 많은 분들이 이야기 하고 있고 저도 그렇고 해서 아마 그렇지 않을까 하는 강한 확신은 있습니다.  알고리즘도 당연히 수정을 많이 하는 글을 좋게 보도록 만들진 않았을 테고요.

 

구글애드센스가 설명하는 광고크롤러 오류 원인을 보면 대부분 1. 서버 과부하로 인한 오류 2. 연결할수 없는 오류 이 두 가지가 가장 많은데요.

 

두 번째의 연결할수 없음 문제도 결국 서버 과부하가 원인인 경우가 대다수입니다.

 

결국, 구글 고객센터 설명 그대로 일시적으로 서버 과부하로 인해 광고크롤러 접근이 어려워질 경우가 한 차례라도 생기면 크롤러 오류가 생기는 거 같습니다.

 

그리고 이 크롤러 오류는 광고 크롤러가 크롤링 주기(5~7일)에 따라 다시 크롤링 시 크롤링이 되면 해결되는 것으로 결론을 얻었습니다.

 

이것에 대한 근거는 1. 애드센스 고객센터의 원인을 설명하는 글에 이미 나와 있고요, 2. 티스토리 답변을 통해 확신하게 되었습니다.

 

광고크롤러 오류에 대해 티스토리에도 문의했던 적이 있었는데요. 광고크롤러 오류는 오로지 애드센스 크롤러 문제이며 티스토리가 어떻게 할수 있는 문제가 아니고 크롤러 오류문제는 일시적인 문제로 다음번에 크롤러가 다시 와서 크롤링해 가면 문제가 해결된다라고 했습니다.

 

결국 크롤링은 에드센스 크롤링 주기에 따라 크롤링을 다시 해 갈 때까지(약5~7일) 기다리면 크롤링을 한다는 것입니다.

 

 

 

크롤러 오류 해결 방법

 

 

저는 크롤러 오류가 아주 심하게 생겨 많을 때는 10여개까지 생겼던 적이 있는데요. 수익에 상당히 영향을 미치는게 아주 심하게 고통스러웠습니다.

 

성장통이라고 긍정적으로 이야기 하는 글도 보았으나, 적어도 제 경우엔 그렇지가 않았어요. 이유는 크롤러 오류 나는 게시글이 주로 유입이 탑10에 들어 있는 것들이 주로 났었기 때문에 수익에 조금 영향이 아닌 아주 많은 영향을 받았기 때문이죠.

 

결국 온라인상에 떠도는 해결방법을 다 써 봤는데요. 해답은 그냥 놔 두는 것이었어요.

 

왜냐하면 저는 다 해보고 뭐가 다른지 비교를 해 봤으니까요.

 

결론적으로 해결방법은 아래 1번도 2번도 아닌 바로 3번 그냥 놔 둔다였습니다.

 

1. 서치콘솔에 색인 생성요청: 위에서도 얘기 했다시피 저는 크롤러 오류 발생게시물은 유입수가 많은 글이기 때문에 거의 99% 색인생성이 이미 잘 돼 있어 또 다시 색인생성요청이 필요 없었지요.

 

그래도, 혹시나 해서 강제로 다시한번 생성요청도 해 봤으나 해결주기에 영향을 안 미쳤습니다.

 

2. 엑세스 및 승인의 크롤러 엑세스를 통한 로그인 추가: 이 역시 크롤러 오류 글을 일부 추가 일부 추가 안해 본 결과, 해결 시간은 동일했으므로 해결방법이 아님을 확인했습니다.

 

3. 그냥 놔 둔다: 위의 1번을 시행한 것, 2번을 시행한 것, 3번을 시행한 것을 동시 테스트해 본 결과, 1,2,3번의 해결시간은 동일했습니다. 단, 색인생성이 안되었다면 생성요청을 해야 됩니다.

 

 

 

결론

 

광고크롤러 오류 해결방법은 그 어느 조치도 아닌 무조치가 조치다 라는 결론에 도달하니 조금은 허무했어요.

 

광고크롤러 오류가 우리를 이렇게 돌고 돌아 해답을 찾게 한 이유가 무엇일까 생각해 봤는데요.

 

그것은 바로 애드센스 고객센터는 말을 아주 아끼지만, 결국엔 고객센터 설명이 맞는부분이 있다는 걸 알았습니다.

 

크롤링 주기가 있다는 말도 있고요, 구글크롤러와 정보는 공유하지만 크롤러가 서로 다르다는 점 등을 이야기 하고 있죠.

 

이  두가지는 정확하게 맞는 것을 느꼈고요. 

 

자주 생기는 원인은 티스토리 서버가 가끔 과부하가 걸린다는 사실은 어쨌거나 서버용량이 네이버처럼 충분치 않다는 것은 맞는거 같고요. 지금 현재로선 티스토리가 서버용량을 늘리는 것은 쉽지 않을거고요.

 

애드센스 블로거가 할수 있는 것은 가능하면 로드가 덜 걸리게 사진용량 등을 압축하고 내용도 가능하면 필요 이상으로 길게 하지 않는 게 필요하겠고요.

 

가능하면 수정 최소화 하기, 그리고, 

크롤러가 다시 크롤링을 할 때까지 기다려 주는 것이면 되겠습니다.

 

 

다시한번 정리한다면,
1. 글을 간략화 시키고 특히 이미지를 가볍게 해서 사이트 로드를 최소화 해야겠고요.(오류 글 하나는 제가 블로그 초기에 쓴 글로 잘 몰라 이미지 용량줄이기 없이 아주 많은 이미지가 포함된 글을 다시 이미지용량 줄이기로 수정했더니 바로 해결된 경우도 있음)

2. 서버과부하 및 연결할수 없음의 크롤러 오류가 생기면 서치콘솔에서 색인생성 확인후 안돼 있으면 생성요청, 돼 있으면 그냥 두시면 시간이 지나면(재 크롤링하면) 해결 되는 것이라는 생각입니다.

 

광고크롤러 오류로 아직도 시행착오를 겪는 분이 계시다면, 제 이야기가 도움되셨으면 좋겠습니다.

 

 

Mansur,