Barrapunto

"Sin contar con que las páginas de administración, como los paneles de control de los CMS, en mi opinión, no deberían estar enlazadas desde el sitio principal (ni desde ningún otro)"

¿Y cuál es la alternativa? ¿Que el usuario las memorice todas? Si no las enlazas en la aplicación, ten por seguro que el usuario va a almacenarlas en sus "bookmarks" y, al menos en este caso, volverías a estar en las mismas.

Sin embargo, con lo que dices de seguir el arbitrio de "robots.txt" tienes razón: si se trata de una herramienta de seguimiento automático de vínculos, es su obligación hacer caso a ese archivo.

Pero es que no se trata de un robot de Google, sino de un programa que tiene instalado el usuario en su ordenador, y por tanto, si éste está visualizando una página, el programa seguirá los enlaces. Total, que las zonas protegidas por contraseña o por robots.txt no están a salvo de esto.