Barrapunto

Bueno la referencia mejor que encontré la saqué de SpiderHunter, aunque en Google podrás encontrar varias otras.
Realizar un script que haga el cloaking es sencillo y en PHP con un poco de maña no te lleva mas de media hora. El problema técnico está en mantener la base de datos de IPs de crawlers actualizada. Algo muy útil sería poner el HostnameLookups a On y así con expresiones regulares ver si el dominio pertenece a un buscador, pero claro, eso tiene una implicación muy fuerte con el rendimiento y rapidez de la página ya que en un sitio muy accedido el número de peticiones que tienes que hacer al DNS es tan alto que lo hacen inútil. Uno de los sistemas que encontré muy útil para mantener mi BD actualizada es mirar en los logs del apache todas las IPs que llamaban al fichero robots.txt.
Por otra parte, tambíen requiere mucho curro, investigación y mañana el saber como formatear los tags o contenidos de las páginas a mostrar a cada crawler específico.
Lo del cloaking supongo yo que no es específico del porno, pero sí sé que en ese campo se usa mucho.

Saludos,

Tomas V.V.Cox