Screaming Frog Seo Spider - Analiza Strony

W zwykłym trybie indeksowania SEO Spider przeszukuje wprowadzoną subdomenę i domyślnie traktuje wszystkie inne poddomeny, które napotyka, jako linki zewnętrzne (są one wyświetlane w zakładce „zewnętrzne”).

Na przykład, wpisując https://www.screamingfrog.co.uk w polu „Wprowadź URL do boxu wyszukiwania” u góry i klikając „Start”, Screaming Frog strona zostanie przeszukana.

W licencjonowanej wersji oprogramowania możesz dostosować konfigurację, aby przeszukiwać wszystkie poddomeny witryny, jeśli jest ich wiele. Jeśli zaczniesz indeksowanie od katalogu głównego (np. https://screamingfrog.co.uk), SEO Spider domyślnie zaindeksuje również wszystkie subdomeny.

Jednym z najczęstszych zastosowań SEO Spider jest znajdowanie błędów na stronie internetowej, takich jak zepsute linki, przekierowania i błędy serwera. Przeczytaj nasz przewodnik na temat znajdowania uszkodzonych linków, który wyjaśnia, jak wyświetlić źródło błędów, takie jak 404, i zbiorczo wyeksportować dane źródłowe do arkusza kalkulacyjnego.

Aby uzyskać lepszą kontrolę nad indeksowaniem, użyj struktury adresu URL witryny, indeksując podfolder, opcje konfiguracji SEO Spider, takie jak indeksowanie tylko HTML (obrazy, CSS, JS itp.), Funkcję wykluczania, niestandardowy plik robots.txt, dołączenie funkcji lub alternatywnie zmień tryb SEO Spider i prześlij listę adresów URL do przeszukania.

Przeszukiwanie podfolderu

Na przykład, jeśli jest to blog, może to być - https://www.screamingfrog.co.uk/blog/. Wpisując to bezpośrednio w SEO Spider, zaindeksuje wszystkie adresy URL zawarte w podfolderze / blog /.

Możesz zauważyć, że niektóre adresy URL, które nie znajdują się w podfolderze / blog /, również są domyślnie indeksowane. Będzie to spowodowane konfiguracją „sprawdź linki poza folderem początkowym”.

Ta konfiguracja pozwala SEO Spider'owi skoncentrować się na indeksowaniu w katalogu / blog /, ale nadal indeksuje linki, które nie znajdują się w tym katalogu, gdy są z niego połączone. Nie będzie jednak dalej indeksować. Jest to przydatne, ponieważ możesz chcieć znaleźć niedziałające linki, które znajdują się w podfolderze / blog /, ale nie mają / blog / w strukturze adresu URL. Aby indeksować tylko adresy URL za pomocą / blog /, po prostu odznacz tę konfigurację.

Jeśli na końcu podfolderu nie ma końcowego ukośnika, na przykład „/ blog” zamiast „/ blog /”, SEO Spider nie rozpoznaje go jako podfolderu i nie indeksuje w nim. Jeśli końcowa wersja ukośnika podfolderu przekierowuje do nieskończonej wersji ukośnika, to zaznacz jak wyżej.

Aby zaindeksować ten podfolder, musisz użyć funkcji dołączania i wprowadzić wyrażenie regularne tego podfolderu (. * Blog. * W tym przykładzie).

Jeśli masz bardziej skomplikowaną konfigurację, taką jak subdomeny i podfoldery, możesz określić oba. Na przykład - http://de.example.com/uk/ do Spider`a .de subdomain i podfolder UK itd.

Przeszukiwanie listy adresów URL

Może to być szczególnie przydatne w przypadku migracji witryn, na przykład podczas kontroli adresów URL i przekierowań. Zalecamy przeczytanie naszego przewodnika „Jak kontrolować przekierowania w migracji witryny”, aby uzyskać najlepsze podejście.

Jeśli chcesz wyeksportować dane w trybie listy w tej samej kolejności, w jakiej zostały przesłane, użyj przycisku „Eksportuj”, który pojawia się obok przycisków „przesyłaj” i „start” u góry interfejsu użytkownika.

Dane w eksporcie będą w tej samej kolejności i będą zawierać wszystkie dokładne adresy URL w oryginalnym pliku do przesłania, w tym duplikaty lub wszelkie wykonane poprawki

Indeksowanie większych stron internetowych

Jeśli pojawi się ostrzeżenie „kończy się pamięć dla tego przeszukiwania”, musisz zapisać przeszukiwanie, zwiększyć przydział pamięci RAM i rozważyć przejście do trybu przechowywania bazy danych w celu zapisania na dysku, otwórz przeszukiwanie i wznów przeszukiwanie.

Liczba adresów URL, które może zaindeksować SEO Spider, zależy od ilości pamięci dostępnej na komputerze i od tego, czy jest ona przydzielona oraz czy indeksujesz w domyślnej pamięci, czy w trybie bazy danych.

W przypadku naprawdę dużych indeksowań zapoznaj się z naszym przewodnikiem na temat indeksowania dużych witryn, który zawiera przegląd dostępnych opcji.

Możesz rozważyć podzielenie indeksowania na mniejsze sekcje i użycie konfiguracji do kontrolowania indeksowania. Niektóre opcje obejmują -

• Indeksowanie według subdomeny lub podfolderu, jak omówiono powyżej.
• Zawężanie indeksowania za pomocą funkcji dołączania lub wykluczanie obszarów, których nie trzeba indeksować, za pomocą wykluczania lub niestandardowych funkcji robots.txt.
• Biorąc pod uwagę ograniczenie przeszukiwania przez całkowitą liczbę przeszukanych adresów URL, głębokość i liczbę parametrów ciągu zapytania.
• Rozważ tylko przeszukiwanie wewnętrznego HTML, odznaczając obrazy, CSS, JavaScript, SWF i linki zewnętrzne w konfiguracji SEO Spider.

Wszystko to powinno pomóc zaoszczędzić pamięć i skoncentrować indeksowanie na ważnych obszarach, których potrzebujesz. Zapoznaj się z naszym bardziej szczegółowym przewodnikiem na temat indeksowania dużych witryn.

Zapisywanie i ładowanie indeksowania

Indeksowania mogą być zapisywane i ponownie otwierane z powrotem w SEO Spider z licencją. Zapisywanie i otwieranie indeksowania działa nieco inaczej, w zależności od skonfigurowanego trybu przechowywania SEO Spider.

Zapisywanie i otwieranie w trybie pamięci

W domyślnym trybie przechowywania pamięci indeksowania mogą być zapisywane jako typ pliku .seospider specyficzny dla Screaming Frog SEO Spider.

Aby otworzyć indeksowanie, kliknij dwukrotnie odpowiedni plik .seospider, wybierz „Plik> Otwórz” i przejdź do pliku lub wybierz jedno z ostatnich indeksowań w „Plik> Otwórz ostatnie”. Następnie możesz wznowić indeksowanie, jeśli zostanie zapisane częściowo.

Pamiętaj, że zapisywanie i otwieranie indeksów może potrwać kilka minut lub dłużej, w zależności od rozmiaru indeksowania i ilości danych. W trybie przechowywania pamięci można otwierać tylko pliki indeksowania .seospider.

Zapisywanie i otwieranie w trybie przechowywania bazy danych

W trybie przechowywania bazy danych przeszukiwania są automatycznie „zapisywane” i zatwierdzane w bazie danych podczas przeszukiwania. Gdy wyczyścisz indeksowanie, wpisz nowy adres URL lub zamkniesz SEO Spider, indeksowanie zostanie automatycznie zapisane.

Przeszukiwania nie trzeba „zapisywać” jako pliku .seospider, chyba że chcesz udostępnić przeszukiwanie innemu użytkownikowi korzystającemu z trybu pamięci.

Aby otworzyć indeksowanie w trybie przechowywania bazy danych, kliknij „Plik> Indeksuje” w menu głównym. Okno „Przeszukiwania” wyświetla przegląd automatycznie zapisanych przeszukiwań, w których można otwierać, zmieniać nazwę, organizować w folderach projektu, duplikować, eksportować lub usuwać je zbiorczo.

 

Główną zaletą otwierania przechowywanych indeksów bezpośrednio z bazy danych jest to, że jest znacznie szybsze niż ładowanie pliku .seospider, ponieważ nie trzeba go konwertować. Kolejną korzyścią jest to, że jeśli SEO Spider ulegnie awarii lub zapomnisz zapisać indeksowanie, SEO Spider na ogół nadal będzie w stanie zatrzymać indeksowanie, aby nie zostało utracone.

Istnieją dwie opcje eksportowania przeszukiwania w trybie przechowywania bazy danych w sekcji „Plik> Eksportuj> Zapisz jako typ”.

Możesz wyeksportować plik bazy danych (plik .dbseospider), który można zaimportować do SEO Spider w pamięci bazy danych. Jest to zalecana opcja, ponieważ jest szybsza. Alternatywnie indeksowanie można również wyeksportować jako zwykły plik .seospider, który można zaimportować w trybie pamięci lub bazy danych.

W trybie przechowywania bazy danych plik .seospider zostanie przekonwertowany i przypisany do bazy danych, co potrwa dłużej niż otwarcie pliku .dbseospider. Gdy jednak znajdzie się w bazie danych, będzie dostępny w menu „Plik> Przeszukiwania” i umożliwi szybsze otwieranie.

Aby zaimportować plik .dbseospider w trybie przechowywania bazy danych, kliknij „Plik> Importuj”. Pliku .dbseospider nie można otworzyć w trybie pamięci.

Aby zaimportować plik .seospider w trybie przechowywania bazy danych, kliknij „Plik> Importuj” i zmień „Typ pliku” z „Screaming Frog DB SEO Spider Crawl Data” na „Screaming Frog SEO Spider Crawl Data” i kliknij odpowiedni plik.