Adres URL blokowany przez plik robots.txt

[Elżbieta Kalinowska]

co to znaczy - to co w tytule i jak się tego pozbyć?

[lapti]

Plik robots.txt mówi jak mają mechanizmy robotów wyszukiwarek zachowywać się po trafieniu na Twoją stronę.
Znajduje się on przeważnie (albo i zawsze) w katalogu głównym strony, czyli bardzo prosto możesz sprawdzić jego zawartość - wystarczy, że wpiszesz adres.strony.pl/robots.txt
Jeżeli możesz to wklej zawartość tego pliku, to opiszę go dokładniej

Mój wygląda w ten sposób:
User-Agent: *
Allow: /

A można go znaleźć pod adresem firmy, która prowadzi wynajem koparek w Tarnobrzegu, ale nie tylko.
Plik oznacza:
User-Agent - nazwa robota
Allow - zezwól
* = wszystkie
/ = wszystko wewnątrz katalogu głównego witryny (wszystkie podkatalogi, strony i pliki graficzne ).

Pozdrawiam
lapti



----
edit:
Twój plik ma taką postać:
User-agent: *
Disallow:

Sitemap: http://ekalinowska.pl/sitemap.xml.gz

Czyli analogicznie jak u mnie User-agent, oraz Disallow, czyli zabroń, a brak parametru pewnie traktowany jest jak /
Sitemap - to mapa strony

[Tomasz Fabiszak]

Lapti opisał co trzeba zmienić ręcznie.
Zalecam jeszcze dodanie do pliku robots.txt wiersza:

Kod: Zaznacz wszystko

Disallow: /wp-


To spowoduje, że wyszukiwarki nie będą indeksować żadnych stron rozpoczynających się od "/wp-" np. strony wp-login.php czy innych podobnych technicznych stron. Nie zalecam jednak wpisywania tam konkretnych nazw plików, gdyż roboty spamuąjące (atakujące strony) mogą próbować uruchamiać wywoływać te adresy, ponieważ plik robots.txt jest ogólnie dostępny dla wszystkich.

Napisz Elu jakiej wtyczki używasz do generowania mapy strony, to pomogę Tobie dobrać odpowiednie ustawienia - być może ta wtyczka właśnie automatycznie zmienia zawartość pliku robots.txt

[Elżbieta Kalinowska]

wygląda na to że używam Google XML Sitemaps - ale głowy nie dam
nie wiele rozumiem z tego co piszecie - co ten robot robi u mnie?

[lapti]

Robot to jest ta część wyszukiwarki - np. google - która surfuje po internecie i zbiera strony

Pozdrawiam
lapti

[Elżbieta Kalinowska]

to dobrze, że on tam jest w takim razie, więc dlaczego to jest błąd?

[lapti]

Tak jak odpisałem - ze względu na źle wpisaną zawartość.

[Elżbieta Kalinowska]

a jak mam znaleźć zawartość tego pliku?

[Paweł Landzberg]

a jak mam znaleźć zawartość tego pliku?

Patrz drugi post od góry

[Elżbieta Kalinowska]

nie wiedziałam gdzie ja mam to wpisać ale już wiem - wpisałam i coś takiego mi wyszło

User-agent: *
Disallow:

Sitemap: http://ekalinowska.pl/sitemap.xml.gz

tylko, że teraz nie wiem co z tym mam dalej zrobić - tzn, wiem, ze w postach jest aby coś zmienić, tylko gdzie mam wejść żeby to zmienić?
Tak obiecująco mi zabrzmiało to, że coś można zrobić w ustawieniach wtyczki ....