La etiqueta Robots solo es necesaria si no queremos que nuestra web sea indexada o posicionada en buscadores. También puede realizarse esta función a través del archivo Robots.txt de la página.

La diferencia entre utilizar la etiqueta Meta Robots y el archivo Robots.txt es la siguiente:

  • Mediante la etiqueta le indicamos a Google que no queremos indexar ciertas páginas, pero sí que nos interesa que los bots las rastreen.
  • Sin embargo, si utilizamos el archivo Robots.txt le indicamos a los bots que directamente no se molesten en entrar y rastrear ciertas páginas.