Semalt: Kako blokirati Darodar Robots.txt

Robots.txt datoteka je tipična tekstualna datoteka koja sadrži upute o tome kako web pretraživači ili botovi trebaju indeksirati web mjesto. Njihova se primjena očituje u botovima za tražilice koji su uobičajeni na brojnim optimiziranim web mjestima. Kao dio protokola o isključenju robota (REP), datoteka robots.txt čini bitan aspekt indeksiranja sadržaja web mjesta kao i omogućavanje poslužitelju da u skladu s tim potvrdi korisničke zahtjeve.

Julia Vashneva, voditeljica Semalt-ovog starijeg kupca za uspjeh, objašnjava da je povezivanje aspekt optimizacije pretraživača (SEO), koji uključuje pridobijanje prometa s drugih domena unutar vaše niše. Za veze "pratite" za prijenos soka veze, bitno je na svoju web lokaciju na kojoj se nalazi prostor robots.txt uključiti datoteku robots.txt koja će poslužiti kao instruktor o tome kako poslužitelj interaktivno djeluje na vašu web lokaciju. U ovoj arhivi nalaze se upute omogućujući ili onemogućujući kako se ponašaju neki konkretni korisnički agenti.

Osnovni format datoteke robots.txt

Datoteka robots.txt sadrži dvije osnovne linije:

Korisnički agent: [ime korisničkog agenta]

Onemogući: [URL niz ne može se indeksirati]

Kompletna datoteka robots.txt trebala bi sadržavati ova dva retka. Međutim, neki od njih mogu sadržavati više redaka korisničkih agenata i direktiva. Ove naredbe mogu sadržavati aspekte poput dopuštanja, onemogućavanja ili odlaganja. Obično postoji prekid linije koji razdvaja svaki skup pouka. Svaka pouka dopušta ili onemogućuje odvojena je ovim prekidom linija, posebno za robots.txt s više linija.

Primjeri

Na primjer, datoteka robots.txt može sadržavati kodove poput:

Korisničko sredstvo: darodar

Onemogući: / plugin

Onemogući: / API

Onemogući: / _ komentari

U ovom slučaju, to je blok datoteka robots.txt koja ograničava Darodar web indeksu za pristup vašem web mjestu. U gornjoj sintaksi kôd blokira aspekte web mjesta kao što su dodaci, API i odjeljak za komentare. Iz ove spoznaje moguće je postići brojne koristi od učinkovitog izvršavanja tekstualne datoteke robota. Datoteke Robots.txt mogu obavljati brojne funkcije. Na primjer, mogu biti spremni za:

1. Dopustite svim sadržajima web indeksa na web stranicu. Na primjer;

Korisnički agent: *

Onemogući:

U tom slučaju svim korisničkim sadržajima može pristupiti bilo koji web pretraživač koji traži da dođu na web mjesto.

2. Blokirajte određeni web sadržaj iz određene mape. Na primjer;

Korisnički agent: Googlebot

Onemogući: / primjer-podmapa /

Ova sintaksa koja sadrži ime korisničkog agenta Googlebot pripada Googleu. Zabranjuje botu pristup bilo kojoj web stranici u nizu www.ourexample.com/example-subfolder/.

3. Blokirajte određene web alate za indeksiranje s određene web stranice. Na primjer;

Korisnički agent: Bingbot

Onemogući: /example-subfolder/blocked-page.html

Korisnički agent Bing bot pripada web-alatima za indeksiranje Bing. Ova vrsta datoteke robots.txt ograničava Bing web pretraživaču pristup pristupu određenoj stranici nizom www.ourexample.com/example-subfolder/blocked-page.

Važna informacija

• Ne koristi svaki korisnik vašu datoteku robts.txt. Neki će se korisnici možda odlučiti zanemariti. Većina takvih pretraživača interneta uključuju Trojane i zlonamjerni softver.
• Da bi datoteka Robots.txt bila vidljiva, trebala bi biti dostupna u imeniku web mjesta najviše razine.
• Znakovi "robots.txt" razlikuju velika i mala slova. Kao rezultat toga, ne biste ih trebali mijenjati na bilo koji način, uključujući kapitalizaciju nekih aspekata.
• "/Robots.txt" je javna domena. Bilo tko može biti u mogućnosti pronaći te podatke ako ih doda u sadržaj bilo kojeg URL-a. Ne biste trebali indeksirati osnovne detalje ili stranice za koje želite da ostanu privatni.