Fórum phpBB privado acessível ao Googlebot e Yahoo! Slurp
Todas as manhãs vejo as estatísticas do dia anterior e não raras vezes tenho referrals de fóruns privados. Ora eu nunca tentei monetizar um fórum mas compreendo perfeitamente que o acesso seja restricto por várias razões:
- Alguns são pagos daí o acesso reservado.
- Noutros porque é uma boa estratégia de marketing conseguir o máximo de utilizadores registados.
- E, last but not least, demove pelo menos em parte o spam que é um grande problema neste tipo de sites.
Mas há um problema muito grave nesta estratégia que é o de se aniquilar por completo qualquer tráfego de motores de busca e, inclusivé, no caso do site estar a ser monetizado via Adsense, não obter qualquer relevância nos anúncios já que é impossível ao Googlebot aceder às páginas.
Como resolver isto? Muito fácil basta usar o cloaking!
“engage the cloaking device”
Antes de continuarmos, tenho de que vos alertar para o facto de o cloaking, nas suas formas mais agressivas, não ser bem visto pelo Google. Daí que o uso destas técnicas poderá ter efeitos adversos como algum tipo de penalização se não forem usadas com peso e medida. A verdade é que neste caso trata-se de uma razão legítima para usar o cloaking, isto porque, o conteúdo que os utilizadores finais vão ver, é exactamente o mesmo que o bot vai ver. E como podem verificar até o Google usa cloaking, clicamos no primeiro resultado duma página em inglês e é-nos fornecida uma página em português mas exactamente com o mesmo conteúdo.
Ok, então como é que isto se faz? Bem, muitos softwares de cloaking usam bases de dados com os IPs dos bots, isto porque confiar no User Agent não é muito fiável já que pode ser facilmente alterado.
Mas agora com a nova forma de identificar o Googlebot torna-se tudo muito mais fácil.
Então vamos lá fazer isto para o phpBB. Temos de editar dois ficheiros.
Viewforum.php e Viewtopic.php
Em ambos os ficheiros antes de if( !$is_auth['auth_view'] || !$is_auth['auth_read'] )
colocar:
//Identificar Googlebot e Yahoo! Slurp
$botip = $_SERVER['REMOTE_ADDR'];
$bothost = gethostbyaddr( $botip );
$verifiedbotip = gethostbyname( $bothost );
if ( $botip = $verifiedbotip ) {
if ( substr($bothost, -14) == ‘.googlebot.com’) {
$is_auth['auth_read']=true;
$is_auth['auth_view']=true;
} elseif ( substr( $bothost, -18) == ‘.inktomisearch.com’) {
$is_auth['auth_read']=true;
$is_auth['auth_view']=true;
}
}
Et Voilá! Com este código, em princípio, o Googlebot e o Yahoo! Slurp podem aceder ao site sem problemas.
Os mais atentos, poderão notar que se o site vai ser indexado no Google ou no Yahoo, também vai existir um cache acessível a toda a gente e assim contrariando a natureza privada do fórum. Nada mais simples de resolver:
Abram /templates/o_vosso_template/overall_header.tpl , localizem a tag <head> e adicionem logo a seguir :
<meta name="robots" content="noarchive" />
E pronto, está feito. O fórum continua privado mas pode agora ser achado no Google e no Yahoo. No MSN parece que a identificação do bot não funciona mas de qualquer forma não é muito grave já que o tráfego que poderíamos obter é residual.
Resta avisar que isto não está testado na questão da indexação já que eu não tenho nenhum fórum online. Mas em princípio deve funcionar ok. Se tiverem alguma questão ou quiserem dizer como correu com os vossos fóruns são livres de deixar um comentário 
Sou o João José tenho 29 anos (tou velho...) sou webmaster há 5 anos e a tempo inteiro aí há 3 anos. Vou tentanto escrever aqui qualquer coisa de útil e de tempos a tempos revelar umas pérolas :-)