La feina d'un optimitzador de SEO és a gran escala. Es recomana als principiants que anotin l'algorisme d'optimització per no perdre cap pas. En cas contrari, la promoció difícilment s'anomenarà reeixida, ja que el lloc experimentarà constantment errors i errors que s'hauran de corregir durant molt de temps.
Un dels passos d'optimització és treballar amb el fitxer robots.txt. Cada recurs hauria de tenir aquest document, perquè sense ell serà més difícil fer front a l'optimització. Realitza moltes funcions que haureu d'entendre.
Assistent de robot
El fitxer robots.txt és un document de text senzill que es pot visualitzar al Bloc de notes estàndard del sistema. En crear-lo, heu de configurar la codificació en UTF-8 perquè es pugui llegir correctament. El fitxer funciona amb els protocols http, https i FTP.
Aquest document és un assistent per a robots de cerca. En cas que no ho sàpigues, tots els sistemes utilitzen "aranyes" que rastregen ràpidament la World Wide Web per retornar els llocs rellevants per a les consultes.usuaris. Aquests robots han de tenir accés a les dades dels recursos, robots.txt funciona per a això.
Per tal que les aranyes trobin el seu camí, heu d'enviar el document robots.txt al directori arrel. Per comprovar si el lloc té aquest fitxer, introduïu "https://site.com.ua/robots.txt" a la barra d'adreces del navegador. En lloc de "site.com.ua", heu d'introduir el recurs que necessiteu.
Funcions del document
El fitxer robots.txt proporciona als rastrejadors diversos tipus d'informació. Pot donar accés parcial perquè l'"aranya" escanegi elements específics del recurs. L'accés complet us permet consultar totes les pàgines disponibles. Una prohibició total impedeix que els robots fins i tot comencin a comprovar i abandonin el lloc.
Després de visitar el recurs, les "aranyes" reben una resposta adequada a la sol·licitud. Pot ser que n'hi hagi diversos, tot depèn de la informació de robots.txt. Per exemple, si l'escaneig ha tingut èxit, el robot rebrà el codi 2xx.
Potser el lloc s'ha redirigit d'una pàgina a una altra. En aquest cas, el robot rep el codi 3xx. Si aquest codi es produeix diverses vegades, l'aranya el seguirà fins que rebi una altra resposta. Tot i que, per regla general, només fa servir 5 intents. En cas contrari, apareix el popular error 404.
Si la resposta és 4xx, el robot pot rastrejar tot el contingut del lloc. Però en el cas del codi 5xx, la comprovació pot aturar-se completament, ja que això sovint indica errors temporals del servidor.
Per a què?necessiteu robots.txt?
Com haureu endevinat, aquest fitxer és la guia dels robots a l'arrel del lloc. Ara s'utilitza per restringir parcialment l'accés a contingut inadequat:
- pàgines amb informació personal dels usuaris;
- llocs mirall;
- resultats de la cerca;
- formularis d'enviament de dades, etc.
Si no hi ha cap fitxer robots.txt a l'arrel del lloc, el robot rastrejarà absolutament tot el contingut. En conseqüència, poden aparèixer dades no desitjades als resultats de la cerca, la qual cosa significa que tant vostè com el lloc patireu. Si hi ha instruccions especials al document robots.txt, l'"aranya" les seguirà i donarà la informació desitjada pel propietari del recurs.
Treballar amb un fitxer
Per utilitzar robots.txt per bloquejar la indexació del lloc, heu d'esbrinar com crear aquest fitxer. Per fer-ho, seguiu les instruccions:
- Crea un document al Bloc de notes o al Bloc de notes++.
- Defineix l'extensió de fitxer ".txt".
- Introduïu les dades i les ordres necessàries.
- Deseu el document i pengeu-lo a l'arrel del lloc.
Com podeu veure, en una de les etapes és necessari establir ordres per als robots. Són de dos tipus: permetre (permetre) i prohibir (no permetre). A més, alguns optimitzadors poden especificar la velocitat de rastreig, l'amfitrió i l'enllaç al mapa de la pàgina del recurs.
Per començar a treballar amb robots.txt i bloquejar completament la indexació del lloc, també heu d'entendre els símbols utilitzats. Per exemple, en un documentutilitzeu "/", que indica que tot el lloc està seleccionat. Si s'utilitza "", és necessària una seqüència de caràcters. D'aquesta manera, serà possible especificar una carpeta específica que es pot escanejar o no.
Funció dels robots
Les "aranyes" per als motors de cerca són diferents, així que si treballeu per a diversos motors de cerca alhora, haureu de tenir en compte aquest moment. Els seus noms són diferents, la qual cosa significa que si voleu contactar amb un robot concret, haureu d'especificar-ne el nom: "Agent d'usuari: Yandex" (sense cometes).
Si voleu establir directrius per a tots els motors de cerca, heu d'utilitzar l'ordre: "Agent d'usuari: " (sense cometes). Per bloquejar correctament la indexació del lloc amb robots.txt, cal que conegueu les especificitats dels motors de cerca populars.
El fet és que els motors de cerca més populars Yandex i Google tenen diversos robots. Cadascun d'ells té les seves pròpies tasques. Per exemple, Yandex Bot i Googlebot són les principals "aranyes" que rastregen el lloc. Coneixent tots els bots, serà més fàcil ajustar la indexació del vostre recurs.
Exemples
Per tant, amb l'ajuda de robots.txt, podeu tancar el lloc de la indexació amb ordres senzilles, el més important és entendre què necessiteu específicament. Per exemple, si voleu que Googlebot no s'apropi al vostre recurs, heu de donar-li l'ordre corresponent. Es veurà així: "User-agent: Googlebot Disallow: /" (sense cometes).
Ara hem d'entendre què hi ha en aquesta ordre i com funciona. Així que "agent d'usuari"s'utilitza per utilitzar una trucada directa a un dels robots. A continuació, indiquem a quin, en el nostre cas és Google. L'ordre "No permetre" ha de començar en una línia nova i prohibir que el robot entri al lloc. El símbol de barra en aquest cas indica que totes les pàgines del recurs estan seleccionades per a l'execució de l'ordre.
A robots.txt, podeu desactivar la indexació per a tots els motors de cerca amb una ordre senzilla: "User-agent:Disallow: /" (sense cometes). El caràcter d'asterisc en aquest cas indica tots els robots de cerca. Normalment, aquesta ordre es necessita per aturar la indexació del lloc i començar-hi un treball principal, que d' altra manera podria afectar l'optimització.
Si el recurs és gran i té moltes pàgines, sovint conté informació de propietat que no és desitjable revelar o pot afectar negativament la promoció. En aquest cas, heu d'entendre com tancar la pàgina de la indexació a robots.txt.
Podeu amagar una carpeta o un fitxer. En el primer cas, haureu de tornar a començar posant-vos en contacte amb un bot concret o amb tothom, de manera que fem servir l'ordre "User-agent" i a continuació especifiquem l'ordre "Disallow" per a una carpeta específica. Es veurà així: "No permetre: / carpeta /" (sense cometes). D'aquesta manera s'amaga tota la carpeta. Si conté algun fitxer important que us agradaria mostrar, haureu d'escriure l'ordre següent: "Permetre: /carpeta/fitxer.php" (sense cometes).
Comprova el fitxer
Si utilitzeu robots.txt per tancar el llocHeu aconseguit la indexació, però no sabeu si totes les vostres directives van funcionar correctament, podeu comprovar la correcció del treball.
Primer, heu de tornar a comprovar la ubicació del document. Recordeu que ha d'estar exclusivament a la carpeta arrel. Si es troba a la carpeta arrel, no funcionarà. A continuació, obriu el navegador i introduïu l'adreça següent: "https://yoursite. com/robots.txt" (sense cometes). Si rep un error al navegador web, el fitxer no és on hauria d'estar.
Les Les directives es poden comprovar amb eines especials que utilitzen gairebé tots els administradors web. Estem parlant dels productes de Google i Yandex. Per exemple, a Google Search Console hi ha una barra d'eines on cal obrir "Rastreig" i després executar l'"Eina d'inspecció de fitxers Robots.txt". Heu de copiar totes les dades del document a la finestra i començar a escanejar. Es pot fer exactament la mateixa comprovació a Yandex. Webmaster.
