Adres URL blokowany przez plik robots.txt

[Elżbieta Kalinowska]

Interesująco brzmi Wasza rozmowa - choć mogę tylko podziwiać melodię wypowiedzi, bo za nic nie wiem o czym rozmawiacie.
Czyli jeśli dobrze rozumiem, mam napisać tak:

Kod: Zaznacz wszystko

User-Agent: *
Allow: /
Disallow: /wp-


Sitemap: http://ekalinowska.pl/sitemap.xml.gz

i będzie dobrze

Mam jeszcze jedno pytanie, bo jakoś mi to umknęło - dlaczego taki ważny jest ten plik? Rozumiałam, że on blokuje wyszukiwarkę ale moja strona jest w wyszukiwarce - co prawda na interesującą mnie frazę dopiero na 7 stronie ale jest.
A skoro ten plik ją blokuje, to chyba nie powinno być...
Czy mogę mieć nadzieję, że po zmianach pozycja się poprawi?

[lapti]

Witam!
Dobre pytanie. Szczerze, to nie wiem, czy poprawienie tego pliku będzie miało jakiś pozytywny skutek, dla Twojej pozycji, o tyle warto go poprawić.
Za: http://www.google.com/support/webmaster ... swer=35235
można przeczytać:

Kod: Zaznacz wszystko

W przypadku, gdy adres URL przekierowuje do adresu URL blokowanego przez plik robots.txt, pierwszy z tych adresów zostanie oznaczony jako zablokowany przez plik robots.txt (nawet jeśli adres URL ma status Dozwolony w narzędziu do analizy pliku robots.txt).

co w praktyce oznacza dużo pracy i starannej selekcji linków, do których kieruje nasz serwis.

Dodatkowo znalazłem takie narzędzie:
http://www.searchenginepromotionhelp.co ... hecker.php
Służy ono do sprawdzania poprawności w plikach robots.txt.

Dodatkowo również doczytałem jedną kwestię, która jest odpowiedzią na Twoje pytanie:
za: http://pl.wikipedia.org/wiki/Robots.txt

Kod: Zaznacz wszystko

Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):
User-agent: *
Disallow:


Co oznacza Elu, że Twój plik jest poprawny, stąd obecność w indeksach. [Tutaj wychodzi moja niewiedza i błąd w jaki wprowadziłem czytelników w swoim pierwszym poście w tym temacie, twierdząc, jak się okazuje niesłusznie, że Disallow, bez parametru jest tym samym co Disallow: /].
Więc można wywnioskować, że już po zaindeksowaniu dodałaś link do strony, która blokuje roboty (patrz w/w cytat z google). Musisz ręcznie sprawdzić linki zewnętrzne, wychodzące do innych serwisów. Ja wstępnie zauważyłem, że adres http://treningantystresowy.pl/ , który polecasz nie ma pliku robots.txt, oraz odpowiednich wpisów w meta nagłówkach strony. Nie wiem jak się na to zapatruje google, ale to może być przyczyną.

Mam jeszcze jedno pytanie, bo jakoś mi to umknęło - dlaczego taki ważny jest ten plik?

Ten plik jest ważny ze względu na to, iż często na stronach internetowych powtarzają się te same treści - ot choćby strona do wydruku, obszerny cytat w artykule z wcześniejszego itp. Roboty indeksujące strony automatycznie wywalają powtarzające się treści ze swojej bazy i w konsekwencji mogą podjąć niesłuszną decyzję, o tym co ma zostać, a co ma zniknąć. Wtedy nie ma co im zostawiać pola do popisu, bo to przecież tylko kupa skryptów, która robi "co chce" i warto zablokować to czego nie muszą brać pod uwagę.

Pozdrawiam
lapti

ale się opisałem

[Paweł Landzberg]

Pobawić się plikiem robots.txt i potestować go można również w narzędziach dla webmastera w Google.

A jeśli chodzi o przydatność tego pliku, to tak, jak powiedział lapti. Blokujesz to, co nie chcesz, żeby było zaindeksowane: strony do wydruku, foldery administracyjne. Wszelkie rzeczy, które nie chcesz, aby czasem pojawiły się w wynikach wyszukiwania.

[Elżbieta Kalinowska]

Ok, widzę, że to temat rzeka i nie chciałabym się w niej utopić.
Chodzi mi o to, że moja kochana strona jest na 7 odsłonie w googlach a ta pozycja mi nie pasuje. Wcześniej te same treści miałam na bloggerze i strona była na 1 lub drugiej odsłonie w googlach - to mi bardziej pasowało
Więc teraz wydaje mi się, że skoro treść jest bogatsza niż była na bloggerze, to będzie trudno coś zrobić z treścią, co by wrzuciło stronę wyżej.
Gdzieś przeczytałam, że przyczyną niskiej pozycji może być ten nieszczęstny robot - ale teraz to już nie wiem czy coś mam z nim robić czy nie. CZy przerobienie go, podwyższy pozycję.

Niepokojące też jest to z tymi linkami wychodzącymi - wiedziałam, że powinny być a teraz okazuje się, że mogą w czymś wadzić. Czy linki zewnętrzne do serwisów które blokują roboty, może w czymś szkodzić?

Lapti - doceniam to, że weryfikujesz wcześniej podane informacje i mówisz, że coś było błędem - to ważne - tu nie chodzi, żeby wszystko wiedzieć od razu, ważne jest żeby się do tej wiedzy jakoś dokopać

[lapti]

Witaj Elu!
Jeżeli możesz to sprawdź w narzędziach dla webmasterów (tych z google), kiedy ostatnio był u Ciebie robot.
Konfiguracja witryny -> dostęp dla robotów
Na tej stronie jest też test, może to coś da?

Niepokojące też jest to z tymi linkami wychodzącymi - wiedziałam, że powinny być a teraz okazuje się, że mogą w czymś wadzić. Czy linki zewnętrzne do serwisów które blokują roboty, może w czymś szkodzić?

Tak - napisałem o tym w moim ostatnim poście. Jeśli kierujesz na stronę, która blokuje robota, Twoja strona też dostaje etykietkę "blokera"...
Jak dużo masz linków na zewnątrz? Może warto przysiąść i wyrzucić te, które definitywnie blokują, zastępując je jedynie treścią (zrobić, tak by nie były odnośnikami).

Lapti - doceniam to, że weryfikujesz wcześniej podane informacje i mówisz, że coś było błędem - to ważne - tu nie chodzi, żeby wszystko wiedzieć od razu, ważne jest żeby się do tej wiedzy jakoś dokopać

Dzięki, staram się pomagać i przy okazji jednocześnie samemu rozwijać. Wielu rzeczy sam nie wiem i nie zawsze jestem w stanie skutecznie pomóc, ale mimo tego się staram


hmm tak się zastanawiam i w tym momencie nie przychodzi mi nic więcej do głowy ponad to co już napisałem (linki na zewnątrz do "blokerów"). Musisz też sprawdzić komentarze, bo może wordpress "przerabia" odpowiedni tekst na aktywne odsyłacze...

Pozdrawiam
lapti

[Paweł Landzberg]

Tak - napisałem o tym w moim ostatnim poście. Jeśli kierujesz na stronę, która blokuje robota, Twoja strona też dostaje etykietkę "blokera"...

To jest dosyć ciekawa informacja dla mnie. Choć w sumie bez tej informacji mógłbym się obejść, bo jak już polecam jakieś strony to dobre

Elu, mam dla Ciebie jeszcze wskazówkę. Stronę, gdzie wcześniej miałaś bloga (ekalinowska.pl/psychologblog) przekieruj na stronę główną. Google lubiło tę stronę: jeszcze mi się wyświetla, że ma PR=3. Natomiast strona główna PR=0.

[Elżbieta Kalinowska]

Uff, jak tu się z tym Googlem dogadać

Jest tak, w narzędziach dla webmasterów w błędach indeksowania w tym momencie mam zero url blokowanch przez robot.txt

natomiast rzeczywiście sporo wywołań dla http://ekalinowska.pl/psychologblog
Mówisz, Pawle, że można by zrobić przekierowanie - na pewno warto, ale jak

Z drugiej strony może jak poddomena http://eKalinowska.pl/psychologblog była taka lubiana przez googla, to może lepiej wrócić do koncepcji statycznej, wprowadzającej strony głównej a blog zostawić w poddomenie?

Swoją drogą to dla mnie duże zaskoczenie, że PR było 3 - to w sumie świetna wiadomość

[Paweł Landzberg]

O to chodzi, żeby tą wartość z bloga przenieść na stronę główną przy pomocy przekierowania.

Ja robię przekierowanie w pliku .htaccess:

Kod: Zaznacz wszystko

Redirect /psychologblog http://ekalinowska.pl [R=301,L]

Po ostatniej linijce w tym pliku powinna być 1 linijka pusta. Następnie należy wgrać ten plik do folderu głównego domeny.

[Elżbieta Kalinowska]

w swoim cPAnelu znalazłam coś takiego jak przekierowania

Kod: Zaznacz wszystko

omeny  ::Przekierowania

Redirects allow you to make a specific web page redirect to another page and display the contents of that page. This way you can make a page with a long URL accessible by a page which has a shorter and easier to remember URL.
Add Redirect:

A permanent redirect will notify the visitor's browser to update any bookmarks that are linked to the page that is being redirected. Temporary redirects will not update the visitor's bookmarks.
Type
http://(www.)? /   
redirects to   
www redirection: Only redirect with www. Redirect with or without www. Do Not Redirect www.
Wild Card Redirect

informacja
If you wish to redirect to a file (example: index.html redirects to http://redirecturl/test.html/) be sure to end the URL with a trailing / .


i zrobiłam przewkierowanie z http://ekalinowska.pl/psychologblog na http://ekalinowska.pl ale to nic nie dało.

Paweł a ten plik to ma być to co w Twoim poście w ramce + 1linia wolna i zapisać ten plik jako .....

a potem zapisać na serwerze w którym pliku mam takie
Home Directory
Web Root (public_html)
Public Ftp Root (public_ftp)
Document Root For:

[Paweł Landzberg]

Tworzysz go w notatniku przykładowo i zapisujesz jako ".htaccess" - plik z kropką na początku. Nie htaccess.txt, tylko .htaccess. Wpisujesz to co powyżej napisałem i umieszczasz na serwerze, prawdopodobnie będzie to public_html. Zobacz też czy nie masz już tam takiego pliku.