Si alguna vez has desarrollado una página web, es bastante probable que te hayas encontrado con un pequeño pero poderoso archivo de texto. Muchas personas no tienen ni la menor idea de para qué es el archivo robots.txt 

Lo cierto es que este sencillo archivo de texto plano es vital para que tu sitio aparezca en los resultados de búsqueda. Obviamente, cuando desarrollamos un sitio, es obvio que queremos que este se posicione de la mejor forma. Este archivo juega un papel fundamental, puesto que este es que permite o no a los robots acceder a tu sitio web. 

Posiblemente aún no entiendas demasiado al respecto de este, pero no te preocupes, a continuación, te hablaré un poco más al respecto. 

¿Qué es realmente el archivo robots.txt?

Uno de los pasos más importantes que debes realizar una vez hayas creado un sitio web es permitir que Google pueda acceder. Gracias a esto, tu sitio va a poder ser indexado en el buscador y así las personas van a encontrarlo al realizar una búsqueda. 

Para esto es que es el archivo robots.txt. Este va a indicar a las arañas de los motores de búsqueda en que partes de tu sitio pueden acceder y a cuáles no. Son unas pocas líneas de código que las arañas de Google pueden leer y así saber hacia dónde pueden o no pueden ir 

Pero este archivo no funciona únicamente con Google, sino que se trata de una estándar que pueden leer todos los robots de los diferentes motores de búsqueda. Sin embargo, no todos los robots de la red respetan este archivo, por lo cual, esto es algo que debes tener en cuenta. 

En la actualidad, es posible encontrarnos con algunos CMS y otras plataformas, tales como: WordPress, Prestashop y similares. Todos estos, suelen tener esta configuración predeterminada, por lo cual, no será necesario que realices mayores cambios.  

¿Cómo funciona el archivo Robots.txt? 

El funcionamiento de este archivo es realmente sencillo, y no vas a requerir de grandes conocimientos en programación para hacerlo funcionar. Lo primero que vas a necesitar es tener claro cuáles son esas páginas de nuestro sitio que queremos indexar y las que no. 

Una vez que tengas esto claro, vas a poder empezar a escribir las reglas por las cuales se regirá principalmente el Googlebot. Todas las partes que desees bloquear en tu archivo robots.txt, este lo ignorará y no lo indexará. Sin embargo, algunos bots de otros motores de búsqueda pueden ignorar estas órdenes. 

Esto es ideal en el caso de que existan algunas partes sensibles de tu sitio que no necesitan aparecer en los resultados de búsqueda. 

¿Qué pasa si no tengo el archivo en mi sitio web? 

Ya sabemos lo que es el archivo robots.txt, sin embargo, debes saber lo que puede ocurrir en el caso de que este archivo falte. Lo cierto es que no pasará gran cosa, esto no va a afectar negativamente el rastreo de tu sitio web. 

En la Search Console aparecerá un mensaje advirtiéndote que no dispones del robots.txt dentro de los archivos de tu sitio. Y Google te advertirá que ha detenido el rastreo para evitar acceder a algún lugar que no debería. 

En el caso de que nunca hayas incluido este archivo cuando has creado tu web, no tendrás nada de qué preocuparte. Google no extrañará este archivo porque nunca ha existido, lo cual hará que rastree todo el sitio sin problemas. 

Disallow para limitar la indexación 

Disallow es un comando muy importante que te ayudará a evitar que Google rastree ciertas URL de tu sitio web. Con este comando, vas a poder bloquear una URL en específico o simplemente bloquear todo el sitio. A continuación, te hablaré brevemente sobre cómo funciona este comando. 

  • Disallow: /. Con este comando, vas a poder bloquear el rastreo de todo el sitio. Es decir, el robot de Google no va a rastrear ninguna página de tu sitio. 
  • Disallow: /https://tusitio.com/directorio/. Con este comando, serás capaz de evitar que Google rastree todo el directorio. 
  • Disallow: /https://tusitio.com/contacto.php/. Este comando te va a permitir limitar únicamente una página de tu sitio web. 

¿Es posible bloquear robots malignos de mi sitio? 

Este es un tema bastante complejo, algunos robots malignos pueden respetar el robots.txt. Sin embargo, la mayoría de ellos no lo hará, por lo que, en este sentido tenemos que pueden no ser efectivos. En este sentido, tenemos que, puedes intentar bloquear estos robots con este archivo, pero lo más probable es que termine por no funcionar. 

Hay algunas formas más efectivas en las que puedes intentar bloquear el acceso de robots maliciosos a tu sitio web. Por ejemplo, el archivo .htaccess te permitirá bloquear la IP desde la cual el robot accede a tu sitio web. 

¿Puedo des indexar un sitio que ya aparece con el robots.txt? 

Esta es una pregunta bastante común que hacen las personas que no conocen lo que es el archivo robots.txt. Lo cierto es que, según la información suministrada por Google, tenemos que es posible quitar de los resultados de búsqueda una URL al agregarle un disallow en tu archivo robots.txt. 

Sin embargo, esto no ocurre en todos los casos. Si Google determina que no es conveniente eliminar esa URL, no lo hará. Para esto se basa en algunas directrices particulares. 

Una agencia profesional podrá ayudarte a completar este archivo 

Si aún no entiendes para qué sirve el archivo robots.txt o que es el sitemap o cualquier otra parte técnica de tu sitio, puedes optar por dejarlo en manos de profesionales. 

Contar con una agencia posicionamiento seo como Buda Marketing es sumamente importante para que puedas obtener grandes resultados. Con su ayuda, vas a poder conseguir que los motores de búsqueda rastreen únicamente lo que necesites. De esta manera, vas a poder posicionarte de la mejor forma posible. Así que, deja tu sitio en manos expertas y consigue hacer que tu negocio crezca. 

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Configurar cookies
Privacidad
Abrir chat
1
WhatsApp Buda Marketing
¡Hola! ¿En qué podemos ayudarte?