Blog

weboldal készítés pécs, weboldal készítése pécs, weblapkészítés pécs, weblap készítése pécs, google adwords, adwords

A keresőrobotok és az irányításuk

Oszd meg másokkal is!

Mi is az a keresőrobot?

A keresőrobotok valójában egyszerű programok, amelyek feladata, hogy feltérképezzék az interneten található honlapokat a keresőmotorok számára. A honlapról összegyűjtik az információkat, eltárolják őket az adatbázisban, majd mennek a következő honlapra. Joggal kérdezhetitek, hogy honnan ismeri a robot az összes honlap címét az interneten? Természetesen nem ismeri. Több lehetőség is van arra, hogy ránk találjon a robot:

Honlap címének manuális regisztrálása: a honlapok tulajdonosainak lehetősége van arra, hogy saját maguk regisztrálják be a honlapjuk címét a keresőkbe, így jelezve a kereső számára, hogy a keresőrobotoknak meg kellene látogatnia azt.
Linkek feltérképezése: A másik módszer, hogy a már meglátogatott honlapokról összegyűjtik a linkeket és az ismeretleneket előjegyzik egy későbbi látogatásra.

Milyen gyakran történnek a látogatások?

Az honlap címének az ismerete viszont nem jelenti azt, hogy a keresőrobot egyből meg is látogatja azt. Inkább az szokott a jellemző lenni, hogy megvárják, hogy egy bizonyos számú link mutasson a weblapra, és majd csak azt követően térképezik fel az oldalt.

Fontos azt is tudni, hogy az új oldalak látogatása mellett rendszeresen fel kell keresnie a robotoknak a már eltárolt honlapokat is. Ez azért szükséges, hogy nyomon tudják követni a már feltérképezett weblapok változásait.

A honlap tulajdonosaként a mi érdekünk az, hogy az új tartalmakat minél hamarabb megtalálják a keresőrobotok. A látogatások gyakoriságát azonban több tényező is befolyásolja:

milyen gyakran változott a múltban a honlapunk tartalma
mennyi és milyen minőségű link mutat a weblapunkra
a keresőt üzemeltető vállalat szabad erőforrásai
az általunk megadott kívánt gyakoriság is befolyásolja

Keresőrobotok irányítása

A keresőrobotok irányítása nem csak azért lehet érdekes számunkra, hogy gyorsan feltérképezzék a honlapunkat, de azért is, mert lehetnek olyan tartalmak (pl. egy Pécsi családi nyaralás), amelyeket nem szeretnénk, ha a keresőrobotok megindexelnének, mivel nem akarjuk a találatok között látni őket.

A keresőrobotokat viszonylag egyszerűen irányíthatjuk a robots.txt fájl segítségével. Ez egy egyszerű szöveges állomány, amelyet a honlapunk főkönyvtárába kell feltöltenünk. A keresőrobotok a látogatások alkalmával megnézik ezt az állományt, és a benne leírtak szerint végzik a munkájukat.

Nézzünk néhány példát a robots.txt fájl tartalmára:

User-agent: *
Allow: /

A fenti két sor segítségével minden keresőrobot számára megengedjük, hogy minden tartalmat megindexeljenek. A “User-agent:” segítségével tudjuk meghatározni, hogy melyik keresőmotor keresőrobotját szeretnénk irányítani. Lássunk egy másik példát, ahol bizonyos tartalmakat elrejtünk a keresőrobotok elől:

User-agent: *
Disallow: /mappa1/
Disallow: /valami.html

Ezzel megtiltjuk a robotok számára, hogy megindexeljék a mappa1 tartalmát, illetve a valami.html oldalt.

User-agent: *
Disallow: /

Ezzel kitiltjuk az összes oldalról a keresőrobotokat. Erre viszonylag ritkán van szükségünk, például abban az esetben, ha ugyanaz a tartalmunk több különböző címen is megtalálható, mivel a keresők nem szeretik a duplikált tartalmakat.

Ha csak egy konkrét kereső robotját szeretnénk irányítani (pl. csak egy kereső elől szeretnénk elrejteni bizonyos tartalmakat), akkor a “User-agent” után a keresőrobot nevét kell beírnunk. Szerencsére ezeket nem kell fejből tudnunk, az interneten található egy lista a keresőrobotokról.

A robots.txt állomány használata azonban felvet néhány biztonsági kockázatot is. Mivel egy egyszerű szöveges állományról van szó, az bárki számára olvasható. A tartalmából a látogatók következtethetnek az oldalunk könyvtárszerkezetére, láthatják, hogy hová nem engedjük be a keresőrobotokat. Éppen ezért az ebben a fájlban megtalálható könyvtárakat mindenképpen lássuk el megfelelő védelemmel, hogy a tartalmukat ne lehessen kilistázni. Példaképpen megtekinthető az [origo] portál robots.txt állománya is.


Oszd meg másokkal is!

Szerző: Szabó Péter

Szabó Péter
Már több mint 8 éve foglalkozom honlapkészítéssel, kezdetben főként statikus honlapokat készítettem, de haladva a kor igényeivel, átálltam a különböző dinamikus tartalomkezelő rendszerek használatára, és manapság a legtöbb általam elkészített honlap már ilyen. A honlapok készítése során komoly gyakorlati tapasztalatot szereztem a keresőoptimalizálás területén is, amely szolgáltatás szintén egyre népszerűbbé vált az évek során.
Minden bejegyzés tőle: Szabó Péter

Egyéb bejegyzések

2 hozzászólás. Szóljon hozzá

  1. Kedves Péter!

    Kérhetek egy kis segítséget?
    A robot.tex-ben azt szeretném elérni, hogy mindet engedélyezen kivéve 2-3 mappát.

    User-agent: *
    Allow: /
    Disallow: /akarmi/
    Sitemap: http://www.xn--szitanyoms-04a.hu/sitemap.xml

    Ez így megfelelő?
    Elöre is köszönöm

    • Kedves Gábor!

      Igen az Ön által beírt kód az letiltja az akarmi mappának az indexelését. Ha több mappát is szeretne letiltani, akkor az adott sort csak meg kell ismételni és átírni a mappa nevét.

      Üdvözlettel:

      Szabó Péter

Szóljon hozzá

Az email címet nem tesszük közzé. A kötelező mezőket * karakterrel jelöljük.