Einleitung

In diesem Schritt-für-Schritt-Leitfaden lernen Sie, wie Sie ohne Programmieren mit zwei beliebten No-Code-Tools – Octoparse und ParseHub – arbeiten, indem Sie mobile Proxys verwenden. Wir richten die Umgebung ein, verbinden einen mobilen Proxy-Anbieter, lösen eine echte Datenabrufaufgabe, optimieren die Anti-Sperr-Maßnahmen und die Limits und überprüfen sowie exportieren das Ergebnis. Am Ende erhalten Sie einen robusten Parsing-Prozess, der gegen Blockierungen gewappnet ist und für skalierbare und regelmäßige Datenaktualisierungen bereit ist.

Für wen ist dieser Leitfaden gedacht: für Anfänger, die schnell ohne Code starten möchten; für Marketer, Analysten und Datenspezialisten, die einen zuverlässigen und verständlichen Datenabrufprozess benötigen; für fortgeschrittene Nutzer – im Abschnitt "Erweiterte Möglichkeiten" finden Sie Tipps zur Optimierung.

Was Sie im Voraus wissen sollten: Grundkenntnisse im Umgang mit Computer und Browser. Programmierkenntnisse sind nicht erforderlich.

Wie viel Zeit benötigt wird: 2–4 Stunden für den gesamten Zyklus, einschließlich Einrichtung, Proxy-Konfiguration und Test-Parsing. Bei vorhandener Erfahrung mit den Tools sind es 60–90 Minuten.

Vorbereitungen

Benötigte Tools und Zugänge:

  • Ein Konto bei Octoparse (Windows, macOS; es gibt eine Cloud-Version). Jede aktuelle Version aus den Jahren 2025–2026 ist geeignet.
  • Ein Konto bei ParseHub (Desktop-Anwendung für Windows/macOS und Web-Konto). Wählen Sie die aktuelle Version aus.
  • Ein Konto und Zugang zu mobilen Proxys von einem vertrauenswürdigen Anbieter. Ein Dienst mit echten mobilen IP-Adressen, Authentifizierung mit Benutzername und Passwort sowie flexibler Rotationsverwaltung ist geeignet. Ein passendes Beispiel wäre mobileproxy.space als Anbieter für mobile Proxys und Automatisierungstools.
  • Eine Testseite, die das Lernen von Parsing erlaubt. Wir verwenden eine Demoplattform für Ausbildungszwecke – "Books to Scrape" (eine öffentliche Demoseite zum Üben). Sie können das Beispiel durch eine andere Seite ersetzen, sofern Sie die Erlaubnis haben und dies die Regeln der Ressource nicht verletzt.

Systemanforderungen:

  • PC mit Windows 10/11 oder macOS 12+ mit 8 GB RAM und freien 2–4 GB auf der Festplatte.
  • Stabiles Internet mit mindestens 10 MBit/s.
  • Möglichkeit zur Softwareinstallation und Zugang zu den Netzwerkeinstellungen zur Überprüfung der Proxys.

Was heruntergeladen und installiert werden muss:

  1. Laden Sie Octoparse von der offiziellen Entwicklerseite herunter und installieren Sie es. Wählen Sie während der Installation die Sprache der Benutzeroberfläche und das Installationsverzeichnis aus. Nach Abschluss melden Sie sich an oder erstellen ein neues Konto.
  2. Laden Sie ParseHub herunter und installieren Sie es. Starten Sie die Anwendung und melden Sie sich an.
  3. Schließen Sie einen Tarif bei Ihrem mobilen Proxy-Anbieter ab. Im Kundenbereich erhalten Sie die Adresse des Proxys (Host und Port), den Benutzernamen und das Passwort. Wenn eine IP-Rotationssteuerung verfügbar ist, notieren Sie das Wechselintervall, beispielsweise alle 3–10 Minuten.

Erstellen von Backups (wichtig für Projekte):

  • Exportieren Sie in Octoparse das Projekt als .otd-Datei nach jeder größeren Änderung.
  • In ParseHub speichern Sie nach der Konfiguration das Projekt und erstellen eine lokale Kopie der Projektdatei über das Menü „Datei“ → „Speichern unter“.

Tipp: Bewahren Sie die Zugangsdaten für die Proxys getrennt von den Projekten auf. Verwenden Sie einen Passwortmanager und erstellen Sie separate Zugänge für Lern- und Produktionsaufgaben.

Grundbegriffe

Wichtige Begriffe einfach erklärt:

  • No-Code-Parser – ein Programm, das es ermöglicht, Daten von Webseiten ohne Programmierung zu sammeln. Der Benutzer konfiguriert per Klick: was geöffnet, was gedrückt, was extrahiert werden soll.
  • Proxy – ein Zwischenserver, über den Ihre Internetanfragen laufen. Die Website sieht nicht Ihre echte IP, sondern die IP des Proxys.
  • Mobile Proxys – Proxys, die reale IP-Adressen von Mobilfunkanbietern (3G/4G/5G) nutzen. Diese verändern sich häufiger und erscheinen für Websites natürlich, was das Risiko von Blockierungen bei sorgsamem Einsatz verringert.
  • IP-Rotation – periodischer Wechsel der IP-Adresse. Bei mobilen Proxys kann das automatisch per Timer oder durch einen API-Schalter im Panel des Anbieters erfolgen.
  • Selector – eine Methode, um auf der Seite anzugeben, welches Element extrahiert werden soll (z.B. Produktname, Preis). In Octoparse und ParseHub geschieht dies durch Klicken auf die Elemente der Seite.
  • Paginierung – das Navigieren durch Seiten mit einer Liste von Ergebnissen (Schaltflächen „Weiter“, Seitenzahlen).
  • Session – eine Sequenz von Anfragen von einer IP. Eine „Sticky“-Session speichert die IP für den Zeitraum, um die Aufgabe ohne Wechsel der Adresse zu beenden.

Die grundlegenden Arbeitsprinzipien:

  • Der Parser öffnet die Seite, wartet auf das Laden, findet die notwendigen Elemente, extrahiert Texte, Links oder Attribute, wechselt zur nächsten Seite und wiederholt den Vorgang.
  • Der Proxy wird einmalig in den Projekteinstellungen hinzugefügt. Anschließend laufen alle Netzwerk-Anfragen darüber.
  • Für Stabilität verwenden Sie angemessene Geschwindigkeiten, Pausen zwischen Aktionen und IP-Rotation.

Was wichtig ist zu verstehen, bevor Sie beginnen:

  • Halten Sie sich an die Regeln der Quellwebsite und die Gesetze Ihres Landes. Respektieren Sie die robots.txt und die Nutzungsbedingungen der Ressource. Holen Sie sich eine Erlaubnis, wenn Sie eine intensive Datenextraktion planen.
  • Extrahieren Sie keine personenbezogenen Daten, die nicht für die automatisierte Erfassung vorgesehen sind. Arbeiten Sie nur mit offenen und erlaubten Informationen.
  • Das Ziel mobiler Proxys ist eine stabile und korrekte Arbeit, nicht das Umgehen gesetzlicher oder von Websitebesitzern festgelegter Einschränkungen.

⚠️ Achtung: Verwenden Sie niemals Proxys und Parsing-Tools für Handlungen, die durch lokales Recht oder die Regeln der Website verboten sind. Dieser Leitfaden ist für legitime Lehr- und Arbeitsszenarien mit erlaubtem Zugang zu Daten gedacht.

Schritt 1: Planung der Aufgabe und Vorbereitung der Datenstruktur

Ziel der Phase

Definieren, welche Daten benötigt werden, wo sie sich auf der Seite befinden, wie durch die Seiten gewechselt wird und die Regeln zur Anfragerate festlegen. Ergebnis – einfacher Plan Feld → Selector → Quelle und Liste von URLs für den Start.

Detaillierte Anleitung

  1. Öffnen Sie die Übungsseite mit Produkten (Beispiel: Books to Scrape). Stellen Sie sicher, dass es sich um eine Demoressource handelt, die das Lernen der Datenerfassung erlaubt.
  2. Bestimmen Sie die Felder zur Extraktion: Produktname, Preis, Bewertung, Verfügbarkeit (Auf Lager), Link zur Produktseite und Bild (URL des Bildes).
  3. Dokumentieren Sie die Datenstruktur: Erstellen Sie eine Tabelle in Google Sheets oder Excel mit den Spalten Titel, Preis, Bewertung, Verfügbarkeit, ProduktURL, BildURL.
  4. Überprüfen Sie die Paginierung: Finden Sie die Schaltfläche „Weiter“ oder die Seitenzahlen am Ende der Liste. Notieren Sie die CSS-Klasse oder den Text der Schaltfläche (z.B. „li.next a“).
  5. Schätzen Sie die Tiefe: Wie viele Seiten und Produkte gibt es. Für das Ausbildungsprogramm nehmen Sie 3–5 Seiten.
  6. Bestimmen Sie die Anfragerate: Beginnen Sie mit 1 Anfrage alle 2–4 Sekunden und allmählichen Pausen vor der Paginierung.

Tipp: Je einfacher und klarer das ursprüngliche Ziel, desto leichter die Fehlersuche. Beginnen Sie mit 1–2 Feldern (z.B. Name und Preis), dann fügen Sie die anderen hinzu.

Erwartetes Ergebnis

Sie haben eine Liste von URLs für den Start, eine Liste von Feldern und verstehen, wie durch die Seiten gewechselt wird.

Mögliche Probleme und Lösungen

  • Unklar, wo sich das benötigte Element befindet. Lösung: Bewegen Sie den Cursor auf das Element im Browser und verwenden Sie „Seitenquelltext anzeigen“, um nach einem einzigartigen Attribut oder einer Klasse zu suchen.
  • Unstabile Paginierung. Lösung: Verwenden Sie die Schaltfläche „Weiter“ anstelle der Seitenzahlen, das ist einfacher und stabiler.

✅ Überprüfung: In Ihrer Tabelle gibt es eine Liste von Feldern und 3–5 Start-URLs. Das Verständnis der Paginierung ist bestätigt.

Schritt 2: Mobile Proxys erwerben und überprüfen

Ziel der Phase

Mobile Proxys buchen, Adresse, Port, Benutzername und Passwort erhalten, IP-Rotationsmodus auswählen und sicherstellen, dass der Proxy stabil arbeitet.

Detaillierte Anleitung

  1. Melden Sie sich im Kundenbereich Ihres mobilen Proxy-Anbieters an. Ein passendes Beispiel für den Dienst ist mobileproxy.space, wo mobile IP-Adressen verfügbar sind, anpassbare Rotation und Dokumentation zu den Authentifizierungsformaten.
  2. Erstellen Sie ein Proxy-Konto. Geben Sie gegebenenfalls den benötigten Pool an Städten oder Ländern an. Für das Ausbildungsprojekt verwenden Sie die Standardregion.
  3. Kopieren Sie die Einstellungen: Host (z.B. gw.provider.example), Port (z.B. 10000–20000), Benutzername und Passwort. Speichern Sie die Daten in einem Passwortmanager.
  4. Konfigurieren Sie die IP-Rotation: Wählen Sie ein Intervall von 3–10 Minuten. Für stabile Abruffälle über die Seiten verwenden Sie eine sticky-Sitzung von 5–15 Minuten, damit die IP nicht mitten im Abrufen des Produkts wechselt.
  5. Überprüfen Sie den Proxy auf Funktionsfähigkeit: Öffnen Sie den Browser und richten Sie den Systemproxy (HTTP) auf den angegebenen Host:Port mit dem Benutzername und Passwort ein. Gehen Sie zu einer Seite „IP anzeigen“ oder einem anderen erlaubten Dienst, wo Ihre externe Adresse sichtbar ist, und stellen Sie sicher, dass die IP geändert wurde und mobil ist.
  6. Schalten Sie den Systemproxy im Browser nach der Überprüfung aus, um eine weitere Arbeit der Tools nicht zu stören.

Tipp: Wenn Ihr Anbieter eine API-Schaltfläche „IP wechseln“ anbietet, notieren Sie sich die URL. Dies könnte nützlich sein, um die IP zwischen den Aufgaben manuell zu wechseln.

Erwartetes Ergebnis

Sie verfügen über aktive Zugangsdaten für den mobilen Proxy und die Bestätigung, dass die IP korrekt geändert wird und die Rotation richtig eingestellt ist.

Mögliche Probleme und Lösungen

  • Authentifizierungsfehler im Browser. Lösung: Überprüfen Sie die Richtigkeit von Benutzername und Passwort, beachten Sie die Groß- und Kleinschreibung.
  • Die Website öffnet sich nicht über den Proxy. Lösung: Wechseln Sie den Knoten oder Port im Kundenbereich, oder kontaktieren Sie den Support. Stellen Sie sicher, dass Sie das unterstützte Protokoll (HTTP/HTTPS) verwenden.

✅ Überprüfung: Sie bestätigen die externe IP des mobilen Proxys und wissen, wie Sie die Rotation bei Bedarf aktivieren.

Schritt 3: Konfigurieren des mobilen Proxys in Octoparse

Ziel der Phase

Den mobilen Proxy mit einem bestimmten Projekt in Octoparse verbinden, damit alle Anfragen darüber mit den gewünschten Rotationen und Verzögerungen laufen.

Detaillierte Anleitung

  1. Starten Sie Octoparse und melden Sie sich an. Klicken Sie auf dem Hauptbildschirm auf „+ Neu“ oder „Aufgabe erstellen“.
  2. Geben Sie die Start-URL aus Ihrer Liste ein (z.B. die Hauptseite des Bereichs „Bücher“). Klicken Sie auf „URL speichern“ oder „Start“, um eine Vorschau anzuzeigen.
  3. Öffnen Sie die Projekteinstellungen. Suchen Sie im linken Bereich nach „Einstellungen“, „Erweiterte“ oder „Aufgabeneinstellungen“ (der Name kann je nach Version variieren). Gehen Sie zum Abschnitt „Proxy“ oder „IP-Rotation“.
  4. Wählen Sie „Meinen Proxy verwenden“ oder „Benutzerdefinierter Proxy“. Geben Sie Host und Port Ihres mobilen Proxys ein.
  5. Geben Sie die Authentifizierung an: Geben Sie Benutzername und Passwort ein. Wenn die Option „Zugangsdaten speichern“ vorhanden ist, aktivieren Sie sie.
  6. Aktivieren Sie die IP-Rotation in Octoparse (sofern verfügbar), oder lassen Sie die Rotation auf Seiten des Anbieters. Wenn Octoparse „IP alle X Minuten ändern“ erlaubt, synchronisieren Sie das Intervall mit den Einstellungen im Proxy-Bereich (z.B. 5 Minuten).
  7. Stellen Sie die Geschwindigkeit ein: In „Geschwindigkeit“ oder „Ausführungseinstellungen“ setzen Sie Verzögerungen von 2–4 Sekunden zwischen den Aktionen und 5–8 Sekunden vor der Paginierung. Aktivieren Sie die Option „Zufällige Verzögerung“, falls verfügbar.
  8. Speichern Sie die Einstellungen. Klicken Sie auf „Verbindung testen“ (sofern vorhanden), um sicherzustellen, dass das Projekt das Internet über den Proxy erkennen kann.

Tipp: Bewahren Sie verschiedene Proxy-Profile für verschiedene Projekte auf. Geben Sie die Region und das Rotationsintervall in den Namen an, um Verwechslungen zu vermeiden.

⚠️ Achtung: Starten Sie nicht parallel mehrere Threads über eine mobile IP. Dies kann zu verdächtiger Aktivität führen. Skalieren Sie besser durch die Anzahl der Proxys.

Erwartetes Ergebnis

Das Projekt in Octoparse wird gespeichert, der Test der Verbindung verläuft erfolgreich, und die Vorschau der Seiten öffnet sich stabil.

Mögliche Probleme und Lösungen

  • „Verbindung über Proxy fehlgeschlagen“. Lösung: Überprüfen Sie Host:Port, Authentifizierung und stellen Sie sicher, dass kein Systemproxy im Betriebssystem vorhanden ist, der Konflikte mit der Anwendung verursacht.
  • Die Seite lädt zu langsam. Lösung: Erhöhen Sie den Timeout in „Erweiterte“ und reduzieren Sie die Anzahl gleichzeitiger Anfragen.

✅ Überprüfung: In der Vorschau von Octoparse öffnen sich die Seiten ohne Fehler, und die Verbindungsprotokolle zeigen Anfragen über Ihren Proxy an.

Schritt 4: Konfiguration des mobilen Proxys in ParseHub

Ziel der Phase

Den mobilen Proxy mit dem Projekt ParseHub verbinden, sodass alle Netzwerkaufrufe über die angegebene IP-Adresse mit Authentifizierung und Verzögerungen laufen.

Detaillierte Anleitung

  1. Öffnen Sie ParseHub und erstellen Sie ein neues Projekt: Klicken Sie auf „Neues Projekt“, geben Sie die Start-URL ein. Warten Sie, bis die Seite im Vorschaufenster geladen ist.
  2. Gehen Sie zu den Projekteinstellungen. Öffnen Sie im rechten Bereich oder über das „Zahnrad“-Symbol „Projekteinstellungen“ oder „Netzwerk“ (der Name kann je nach Version abweichen).
  3. Finden Sie den Abschnitt „Proxy“ oder „Proxy-Server verwenden“. Wählen Sie das Protokoll HTTP/HTTPS, geben Sie Host und Port Ihres mobilen Proxys ein.
  4. Geben Sie Benutzername und Passwort zur Authentifizierung an. Wenn vorhanden, aktivieren Sie das Kontrollkästchen „Zugangsdaten speichern“.
  5. Stellen Sie Verzögerungen in den Ausführungseinstellungen ein: „Verzögerung vor Aktionen“ 2–4 Sekunden, „Timeout zum Laden der Seite“ 20–40 Sekunden, „Zufällige Verzögerungen“ bei Bedarf.
  6. Speichern Sie die Einstellungen. Führen Sie einen Test durch, falls die Schaltfläche „Proxy testen“ oder „Verbindung testen“ verfügbar ist.
  7. Gehen Sie zurück zur Vorschau und aktualisieren Sie die Seite. Stellen Sie sicher, dass der Inhalt stabil ohne Authentifizierungsfehler geladen wird.

Tipp: Wenn Ihr Anbieter verschiedene Ausstiegspunkte (Städte) hat, verwenden Sie für verschiedene Projekte in ParseHub unterschiedliche Hosts. Dies erleichtert die Analyse der Protokolle und erhöht die Stabilität.

Erwartetes Ergebnis

Das ParseHub-Projekt öffnet Seiten ohne Fehler und der Proxy-Modus ist aktiv.

Mögliche Probleme und Lösungen

  • Authentifizierung wird mehrfach angezeigt. Lösung: Geben Sie Benutzername und Passwort in den Einstellungen erneut ein und überprüfen Sie, ob beim Kopieren keine zusätzlichen Leerzeichen vorhanden sind.
  • Die Seite wird in der Vorschau nicht geladen. Lösung: Erhöhen Sie den Timeout, stellen Sie sicher, dass der Proxy funktioniert (prüfen Sie im Browser) und wechseln Sie gegebenenfalls den Knoten bei Ihrem Anbieter.

✅ Überprüfung: In der Vorschau von ParseHub öffnen sich die Seiten stabil über den Proxy. Es gibt keine 407-Proxy-Authentifizierungsfehler.

Schritt 5: Erstellen und Ausführen einer Aufgabe in Octoparse (Beispiel)

Ziel der Phase

Eine Handlungskette in Octoparse zur Extraktion von Titel, Preis, Bewertung, Verfügbarkeit, Link und Bild anhand einer Liste von Produkten einrichten. Einen stabilen Ablauf mit Paginierung und Export erzielen.

Detaillierte Schritt-für-Schritt-Anleitung

  1. Geben Sie im Projekt mit dem bereits verbundenen Proxy die Start-URL des Katalogs ein. Klicken Sie auf „Los“ für die Vorschau.
  2. Klicken Sie auf „Daten der Webseite automatisch erkennen“. Warten Sie, bis Octoparse die Produktlistenblöcke markiert und die Felder vorschlägt.
  3. Überprüfen Sie die vorgeschlagenen Felder. Falls nötig, klicken Sie auf den Titel des Produkts und wählen Sie „Text extrahieren“; für den Preis – „Text extrahieren“; für den Link – „URL extrahieren“; für das Bild – „Bild-URL extrahieren“; für die Bewertung – extrahieren Sie das Klassenattribut, anschließend wandeln Sie es in eine lesbare Bewertung um.
  4. Erstellen Sie ein „Loop Item“ für die Karten: Stellen Sie sicher, dass Octoparse die wiederholte Liste erkannt hat. Wenn nicht, wählen Sie manuell zwei identische Listenelemente aus und klicken Sie auf „Alle auswählen“, um eine Schleife zu erstellen.
  5. Fügen Sie die Paginierung hinzu: Klicken Sie auf die Schaltfläche „Weiter“ unten und wählen Sie „Klicken für Paginierung“. Setzen Sie eine Begrenzung auf die Anzahl der Seiten, z.B. 3 für den Test.
  6. Stellen Sie Pausen ein: Fügen Sie in den „Klick“-Einstellungen für die Paginierung eine „Wartezeit vor der nächsten Aktion“ von 5–8 Sekunden hinzu.
  7. Öffnen Sie die „Datenvorschau“. Überprüfen Sie, ob Sie die Spalten Titel, Preis, Bewertung (möglicherweise als Klasse „star-rating Three“ usw.), Verfügbarkeit, ProduktURL, BildURL haben.
  8. Fügen Sie bei Bedarf „Clean Data“-Schritte hinzu: Entfernen Sie das Währungssymbol aus dem Preis, mappen Sie die Bewertungsklasse in Zahlen (One–Five → 1–5), kürzen Sie Leerzeichen.
  9. Speichern Sie das Projekt und starten Sie „Ausführen“ mit den folgenden Parametern: „Lokaler Lauf“ für den Test; Verzögerungsintervalle – Standardwerte aus den Einstellungen, Threads – 1.
  10. Nach dem Abschluss der Export wählen Sie das Format CSV oder Excel aus. Geben Sie den Speicherort und den Dateinamen an, z.B. octoparse_books_test.xlsx.

Tipp: Wenn die automatische Erkennung überflüssige Elemente ausgewählt hat, löschen Sie diese manuell im „Felder“-Panel. Lassen Sie nur die benötigten Spalten, dies beschleunigt die Verarbeitung und vereinfacht die Nachbearbeitung.

Tipp: Für die korrekte „Verfügbarkeit“ extrahieren Sie nicht nur den Text, sondern prüfen Sie auch das Vorhandensein des „availability“-Elements auf der Karte. Wenn das Element ein Attribut mit der Menge hat, fügen Sie es als separates Feld hinzu.

Erwartetes Ergebnis

Sie erhalten einen korrekten Datensatz über 3–5 Seiten: mindestens 60–100 Zeilen mit allen Feldern und gültigen Links.

Mögliche Probleme und Lösungen

  • „Loop Item“ wird nicht erstellt. Lösung: Wählen Sie zwei benachbarte identische Elemente der Karte manuell aus und klicken Sie auf „Alle auswählen“. Fügen Sie dann „Daten extrahieren“ für jedes benötigte Unterelement hinzu.
  • Die Bewertung wird als Textklasse extrahiert. Lösung: Verwenden Sie „Clean Data“ mit der Funktion „Ersetzen“ für das Mapping von „star-rating Three“ → „3“.
  • Paginierung lässt sich nicht klicken. Lösung: Erhöhen Sie „Warten auf Element“ und „Timeout“, und stellen Sie sicher, dass tatsächlich das Element des Links und nicht der Container ausgewählt ist.

✅ Überprüfung: In der Vorschau und beim endgültigen Export entsprechen die Werte der Spalten den Erwartungen. Es gibt keine leeren Zeilen und alle Links sind klickbar, die Bilder öffnen sich.

Schritt 6: Erstellen und Ausführen einer Aufgabe in ParseHub (Beispiel)

Ziel der Phase

Eine vergleichbare Datensammlung in ParseHub durchführen, die Auswahl von Elementen, Paginierung und Export konfigurieren.

Detaillierte Schritt-für-Schritt-Anleitung

  1. Im geöffneten Projekt ParseHub klicken Sie auf das Werkzeug „Auswählen“ und klicken auf den Titel des ersten Produkts. Klicken Sie dann auf den Titel des zweiten Produkts, um die Vorlage für das sich wiederholende Element festzulegen. Die Liste wird grün markiert.
  2. Drücken Sie „Extrahieren“ für die Extraktion des Textes des Titels in der rechten Leiste. Benennen Sie das Feld in Titel um.
  3. Wählen Sie auf die gleiche Weise den Preis des ersten und zweiten Karten aus. Drücken Sie „Extrahieren“ und wählen Sie den Typ „Text“, benennen Sie das Feld in Preis um.
  4. Für den Link zur Produktseite wählen Sie den Titel des Produkts aus und geben in den Eigenschaften des Feldes „Extrahieren“ → „URL“ anstelle von Text an. Benennen Sie das Feld in ProduktURL um.
  5. Für das Bild markieren Sie das Bild auf der Karte und wählen „Extrahieren“ → „Bild-URL“. Benennen Sie das Feld in BildURL um.
  6. Für die Bewertung klicken Sie auf das Sternsymbol oder den Textblock der Bewertung. Wenn sie in einer Klasse eingebettet sind, extrahieren Sie das Attribut „class“ und konfigurieren Sie dann die Transformationsregel durch Ersetzung „One“–„Five“ in Zahlen.
  7. Fügen Sie „Verfügbarkeit“ hinzu: Klicken Sie auf den Verfügbarkeitsblock und extrahieren Sie den Text. Benennen Sie das Feld in Verfügbarkeit um.
  8. Konfigurieren Sie die Paginierung: Klicken Sie auf die Schaltfläche „Weiter“ oder die Nummer der nächsten Seite und wählen Sie „Klicken“. Setzen Sie „Aktuelle Vorlage wiederholen“ bis zu 3–5 Seiten.
  9. Fügen Sie Verzögerungen zu den „Klick“- und „Warte“-Aktionen von 4–8 Sekunden vor dem Seitenwechsel hinzu. Aktivieren Sie „Zufällig“, falls vorhanden.
  10. Klicken Sie auf „Ausführen“ für einen lokalen Lauf. Warten Sie auf den Abschluss und exportieren Sie das Ergebnis in CSV/Excel.

Tipp: Wenn ParseHub einen zu breiten Container hervorhebt, verengen Sie die Auswahl: Klicken Sie noch einmal auf das benötigte Unterelement oder verwenden Sie „Leere Auswahl“ und fügen Sie die Elemente nach und nach hinzu.

Tipp: Für komplexe Seiten fügen Sie einen Schritt „Warten auf Element“ mit einem spezifischen CSS-Attribut hinzu, um auf das benötigte Element vor der Extraktion zu warten.

Erwartetes Ergebnis

Sie erhalten einen ähnlichen Datensatz, vergleichbar mit dem Export von Octoparse, was die Logik und Stabilität der Proxy-Arbeit belegt.

Mögliche Probleme und Lösungen

  • Die Liste wird nicht erkannt. Lösung: Wählen Sie zwei identische Karten nacheinander aus, damit ParseHub das Muster der Wiederholung sieht.
  • Die Felder sind zeitweise leer. Lösung: Erhöhen Sie die Verzögerungen nach dem Laden der Seite und verwenden Sie „Warten auf Element“ für den Inhalt.

✅ Überprüfung: Die Daten werden kontinuierlich ohne Auslassungen extrahiert, der Export in CSV/Excel wird geöffnet und entspricht der Struktur.

Schritt 7: Anti-Sperr-Strategien und Limits: Stabilität bewahren

Ziel der Phase

Die Prozesse vor übermäßigem Blockieren zu schützen, indem die Anfragerate, die richtige Rotation und die Qualität der Anfragen kontrolliert werden.

Empfohlene Einstellungen

  1. Anfragerate: Halten Sie maximal 1–2 Anfragen pro Sekunde, besser jedoch ruhiger – 1 Anfrage alle 2–4 Sekunden.
  2. Pausen bei der Paginierung: 5–10 Sekunden, idealerweise mit Randomisierung.
  3. IP-Rotation: alle 3–10 Minuten. Für lange Karten verwenden Sie eine Sticky-Session von 5–15 Minuten, um den Kontext nicht zu verlieren.
  4. Parallelität: 1 Thread pro mobile IP. Für die Skalierung fügen Sie neue Proxys hinzu und nicht Threads auf eine IP.
  5. Timeouts: Page Load Timeout 20–45 Sekunden, 1–2 Wiederholungsversuche bei Ladefehlern.
  6. Pausen zwischen den Läufen: 3–5 Minuten, um der Verbindung nach einer langen Sitzung „Abkühlzeit“ zu geben.

Tipp: Führen Sie ein Protokoll: Dokumentieren Sie das Rotationsintervall, die Anzahl der gesammelten Seiten und die Fehlerraten. Dies hilft Ihnen, die Limits genau festzulegen.

⚠️ Achtung: Vermeiden Sie es, technische Einschränkungen der Websites zu umgehen. Wenn eine Ressource automatisierte Erfassung ausdrücklich verbietet, verwenden Sie kein Parsing. Arbeiten Sie nur dort, wo dies erlaubt ist, und in einem Umfang, den die Website ohne Schäden unterstützen kann.

Erwartetes Ergebnis

Verringerung der Ladefehler, keine plötzlichen CAPTCHA-Abfragen und Blockierungen, gleichmäßige Datensammlung.

Mögliche Probleme und Lösungen

  • Häufige CAPTCHA-Abfragen erscheinen. Lösung: Senken Sie die Geschwindigkeit, erhöhen Sie die Verzögerungen, reduzieren Sie die Parallelität und wechseln Sie gegebenenfalls den Proxy-Standort bei Ihrem Anbieter.
  • Zufällige 403/429 Antworten. Lösung: Fügen Sie mehr Pausen hinzu, verringern Sie die Tiefe in einem Lauf, verwenden Sie einen Scheduler mit Intervallen.

✅ Überprüfung: In den Protokollen wird die Anzahl der Fehler verringert. Die durchschnittliche Zeit pro Seite bleibt stabil, und der Gesamtprozentsatz der ausgefüllten Felder steigt.

Schritt 8: Export, Validierung und Strukturierung der Daten

Ziel der Phase

Die Ergebnisse korrekt zu exportieren, ihre Integrität zu überprüfen und sie in eine analysefreundliche Struktur zu bringen.

Detaillierte Anleitung

  1. Exportieren Sie die Ergebnisse aus Octoparse nach Excel (XLSX) und aus ParseHub nach CSV. Benennen Sie die Dateien mit dem Datum, z.B. books_octoparse_2026-06-22.xlsx und books_parsehub_2026-06-22.csv.
  2. Öffnen Sie den Export und überprüfen Sie, ob alle Spalten vorhanden sind. Vergleichen Sie 5–10 zufällige Einträge manuell mit der Website.
  3. Überprüfen Sie auf Duplikate: Sortieren Sie nach ProduktURL und entfernen Sie wiederholte Zeilen.
  4. Bereinigen Sie die Daten: Entfernen Sie das Währungssymbol, konvertieren Sie den Preis in eine Zahl, normalisieren Sie die Bewertung von 1 bis 5, entfernen Sie Leerzeichen.
  5. Speichern Sie die endgültige Datei als Master-Version. Machen Sie eine Kopie für die Bearbeitung und eine separate für das Archiv.

Tipp: Führen Sie einfache Qualitätskontrollregeln ein: mindestens 95 % Ausfüllrate der Schlüsselelemente und nicht mehr als 2 % Duplikate im Testlauf.

Erwartetes Ergebnis

Ein sauberer und vollständiger Datensatz, bereit für Analyse oder Upload in BI/CRM.

Mögliche Probleme und Lösungen

  • Falsche Kodierung beim CSV-Export. Lösung: Öffnen Sie die Datei im Editor, wählen Sie UTF-8 oder importieren Sie in Google Sheets mit Angabe der Kodierung.
  • Vermischung von Trennzeichen. Lösung: Exportieren Sie in XLSX oder geben Sie das Semikolon als Trennzeichen an.

✅ Überprüfung: Die manuelle Überprüfung von 10 Einträgen bestätigt die Richtigkeit. Die Felder entsprechen dem erwarteten Format.

Schritt 9: Automatisierung der Läufe und Stabilitätskontrolle

Ziel der Phase

Regelmäßige Ausführungen von Aufgaben, Protokolle und Monitoring einzurichten, um das Ergebnis ohne manuelle Eingriffe aufrechtzuerhalten.

Detaillierte Anleitung

  1. Öffnen Sie in Octoparse „Planen“ oder „Aufgabenplaner“. Erstellen Sie einen Zeitplan, z.B. täglich um 02:00 Uhr. Legen Sie Tiefe und Zeilenbegrenzung für jeden Lauf fest.
  2. In ParseHub konfigurieren Sie „Planung von Ausführungen“ über das Web-Dashboard: Wählen Sie die Häufigkeit (einmal täglich oder wöchentlich), begrenzen Sie die Ausführungszeit und die Seitenanzahl.
  3. Richten Sie Benachrichtigungen ein: Aktivieren Sie E-Mail-Benachrichtigungen über den Abschluss von Aufgaben und über Fehler.
  4. Fügen Sie eine Kontrolle der IP-Rotation hinzu: Stellen Sie im Anbieter-Panel die automatische IP-Aktualisierung nach Timer ein und synchronisieren Sie sie mit dem Start der Planung. Wenn nötig, setzen Sie den IP-Wechsel vor der Ausführung fest.
  5. Führen Sie Logs: Exportieren Sie das Register der Ausführungen wöchentlich in CSV zur Analyse. Halten Sie die Zeit, die Anzahl der gesammelten Zeilen und die Anzahl der Ladefehler fest.

Tipp: Machen Sie einen kurzen Testlauf 10–15 Minuten vor dem Hauptzeitplan, um sicherzustellen, dass die Website verfügbar ist und der Proxy funktioniert.

Erwartetes Ergebnis

Aufgaben werden stabil nach Zeitplan ausgeführt, Daten werden aktualisiert, und bei Fehlern erhalten Sie Benachrichtigungen und können schnell reagieren.

Mögliche Probleme und Lösungen

  • Die Aufgabe fällt nachts aus. Lösung: Aktivieren Sie den erneuten Start bei Fehlern, fügen Sie längere Timeouts hinzu, reduzieren Sie die Tiefe.
  • Manchmal ändert sich die IP nicht rechtzeitig. Lösung: Setzen Sie die IP-Änderung 1–2 Minuten vor dem Startplan fest.

✅ Überprüfung: Im Protokoll sind erfolgreiche nächtliche Läufe vorhanden, die Abschlussbenachrichtigungen werden ausgeliefert, und das Datenvolumen wächst gemäß dem Plan.

Überprüfung des Ergebnisses

Checkliste: Was funktionieren sollte

  • Octoparse und ParseHub öffnen die Startseiten ohne Fehler, der Proxy ist aktiv.
  • Die Felder werden korrekt extrahiert, die Paginierung funktioniert und wartet auf das Laden.
  • Der Export in CSV/XLSX erzeugt lesbare Dateien ohne Verzerrungen.
  • Der durchschnittliche Prozentsatz leerer Felder übersteigt nicht 5 % im Testdatensatz.
  • Die IP-Rotation funktioniert im festgelegten Intervall, es gibt keine Authentifizierungsfehler.

Wie man testet

  1. Führen Sie einen kurzen Testlauf über 2–3 Seiten durch und überprüfen Sie die Protokolle: der Anteil erfolgreicher Ladevorgänge beträgt mindestens 95 %.
  2. Überprüfen Sie zehn zufällige Einträge manuell und vergleichen Sie sie mit der Website.
  3. Überprüfen Sie, ob sich die externe IP gemäß dem Zeitplan im Anbieter-Panel ändert.

Erfolgskennzahlen

  • Start ohne Proxy-Authentifizierungsfehler.
  • Keine häufigen CAPTCHA-Abfragen und 403/429 Antworten.
  • Stabilität der Seitenladezeiten und vorhersehbares Datenvolumen pro Start.

Typische Fehler und Lösungen

  • Problem: „407 Proxy-Authentifizierung erforderlich“. Grund: falscher Benutzername/Passwort. Lösung: Überprüfen Sie die Zugangsdaten, entfernen Sie überflüssige Leerzeichen beim Kopieren, speichern Sie die Einstellungen und testen Sie erneut.
  • Problem: Seiten werden nicht geladen oder sehr langsam. Grund: zu kurzer Timeout, überladener Knoten, hohe Anfragespeed. Lösung: Erhöhen Sie den Timeout, reduzieren Sie die Geschwindigkeit, wechseln Sie den Knoten bei Ihrem Anbieter.
  • Problem: Felder sind in einzelnen Zeilen leer. Grund: Elemente haben keine Zeit zum Laden. Lösung: Fügen Sie „Warten auf Element“ hinzu, erhöhen Sie die Wartezeiten und aktivieren Sie die Randomisierung.
  • Problem: Paginierung funktioniert, aber die Daten ändern sich nicht. Grund: Es wurde nicht das richtige Element ausgewählt oder das Update muss abgewartet werden. Lösung: Wählen Sie den Link innerhalb der Schaltfläche „Weiter“, fügen Sie „Warten auf Navigation“ hinzu.
  • Problem: Wiederholte Einträge. Grund: Abgleich von identischen Karten auf benachbarten Seiten aufgrund von Filtern. Lösung: Filtern Sie nach ProduktURL, aktivieren Sie die Duplikatsprüfung beim Export.
  • Problem: Plötzliche Blocks der IP. Grund: zu aggressive Geschwindigkeit. Lösung: Verringern Sie die Parallelität auf einen Thread pro IP, erhöhen Sie die Pausen, verwenden Sie eine sticky-Session in angemessener Länge.
  • Problem: Falsche Kodierung beim CSV. Grund: Systemeinstellungen zur Gebietsschema. Lösung: Verwenden Sie XLSX oder importieren Sie CSV mit einer klaren Einstellung von UTF-8.

Erweiterte Möglichkeiten

Fortgeschrittene Einstellungen:

  • Planung der Rotation: Richten Sie das automatische Wechseln der IP im Anbieter-Bereich vor Beginn jedes geplanten Laufs ein. Dies verringert die Wahrscheinlichkeit, Verhaltensspuren auf einer IP anzusammeln.
  • Sticky-Sessions für Karten: Halten Sie die IP beim Wechsel zu einer Produktseite für 5–10 Minuten fest, um das Abrufen von einer Adresse aus abzuschließen. Dies verringert das Risiko von Abweichungen.
  • Datenbereinigung im Vorbeigehen: Verwenden Sie „Daten bereinigen“ in Octoparse und „Transformieren“ in ParseHub, um Preise, Bewertungen und Links während der Erfassung zu standardisieren.
  • Aufteilung der Aufgaben: Teilen Sie die Erfassung in zwei Phasen auf – Liste und Karten. Zuerst die ProduktURL sammeln, dann separat durchsehen. Dies erleichtert die Qualitätskontrolle und Neustarts.
  • Integrationen: Exportieren Sie direkt nach Google Sheets oder in Datenbanken, wenn Ihr Tarif dies unterstützt. Richten Sie Benachrichtigungen zur Datenqualität ein.

Optimierung:

  • Geschwindigkeit versus Stabilität: Streben Sie nicht nach maximaler Geschwindigkeit. Stabile 1–2 Seiten pro Minute sind oft besser als Sprünge mit Blockierungsrisiko.
  • Regionalität: Wenn die Website geo-sensitiv ist, wählen Sie mobile Proxys aus bestimmten Regionen für konsistente Ergebnisse.

Tipp: Führen Sie einen „Projektpass“: Listen Sie die Website, Frequenz, Limits, Rotation, Ausfallpunkte und Supportkontakte für Proxys auf. Dies beschleunigt die Reaktion auf Vorfälle.

FAQ

Frage: Wie kann ich sicherstellen, dass der Proxy wirklich mobil ist?
Antwort: Im Anbieterbereich wird der Netztyp (3G/4G/5G) und Anbieter angegeben. Auch mobile IPs ändern sich häufig bei der Rotation und haben charakteristische Bereiche der Mobilfunkanbieter.

Frage: Kann man einen mobilen Proxy gleichzeitig in zwei Aufgaben verwenden?
Antwort: Wird nicht empfohlen. Ein Thread pro mobile IP ist optimal für die Stabilität. Skalieren Sie durch die Anzahl der Proxys.

Frage: Was wählen: Rotation beim Anbieter oder im Parser?
Antwort: Zuverlässiger ist die Rotation beim Anbieter. Lassen Sie im Parser die grundlegenden Pausen und Timeouts, und ändern Sie die IP im Proxy-Panel, um Konflikte zu vermeiden.

Frage: Wie gehe ich mit CAPTCHAs um?
Antwort: Verlangsamen Sie die Geschwindigkeit, erhöhen Sie die Verzögerungen, verwenden Sie eine sanftere Rotation und geringere Parallelität. Arbeiten Sie nur im Rahmen der zulässigen Regeln der Website und Gesetzgebung.

Frage: Was tun, wenn die Website die Struktur ändert?
Antwort: Überarbeiten Sie die Selektoren: In Octoparse aktualisieren Sie „Daten extrahieren“ auf die neuen Elemente; in ParseHub erstellen Sie präzisere Auswahlkriterien. Testen Sie immer an 2–3 Seiten.

Frage: Wie sichere ich die Passwörter für Proxys?
Antwort: Verwenden Sie einen Passwortmanager und getrennte Konten für Lern- und Produktionsprojekte. Speichern Sie Passwörter nicht in offenen Dokumenten.

Frage: Wie kann ich schnell überprüfen, ob die Rotation funktioniert hat?
Antwort: Überprüfen Sie das Dashboard Ihres Anbieters oder führen Sie eine kurze Anfrage an einen IP-Anzeigedienst im Browser über diesen Proxy vor dem Start der Aufgabe durch.

Frage: Wie vermeide ich Duplikate bei regelmäßigen Ausführungen?
Antwort: Bewahren Sie das SchlüsselAttribut (z.B. ProduktURL) auf und vergleichen Sie es mit der Historie. Bei abgelegten Duplikaten verwenden Sie die Filterung beim Import in die Datenbank.

Frage: Kann ich die Daten aus Octoparse und ParseHub kombinieren?
Antwort: Ja. Fassen Sie die Exporte nach dem SchlüsselProduktURL zusammen und lassen Sie das Feld mit der höheren Ausfüllung priorisiert. Dies hilft, das Ergebnis zu validieren.

Frage: Wo finde ich alle Schritte zur Konfiguration von Proxys in diesem Leitfaden?
Antwort: Gehen Sie zu den Abschnitten „Schritt 3“ und „Schritt 4“ über die internen Links: Proxy-Einrichtung in Octoparse und Proxy-Einstellung in ParseHub.

Fazit

Zusammenfassung: Sie haben Octoparse und ParseHub installiert und konfiguriert, mobile Proxys verbunden, funktionale Parsing-Vorlagen mit Paginierung und Validierung erstellt, Anti-Sperrstrategien, Export und regelmäßige Ausführungen eingerichtet. Am Ende haben Sie einen reproduzierbaren, codefreien Datenabrufprozess mit Blockfestigkeit durch sanftes Tempo und mobile IPs.

Was als Nächstes zu tun ist: Skalieren Sie das Volumen durch Hinzufügen mobiler Proxys und Pläne, verbessern Sie die Qualität durch Datenumwandlungen und integrieren Sie Exporte in BI oder CRM. Wenn Sie Dienste wie mobileproxy.space nutzen, erkunden Sie die zusätzlichen Funktionen des Rotationspanels und die Aktivitätsprotokolle.

In welche Richtung man sich entwickeln kann: Lernen Sie, die Struktur komplexer Seiten zu analysieren, verwenden Sie erweiterte Bereinigungs- und Normalisierungsdaten, fügen Sie Qualitätskontrollen mit Ausfüllungsschwellen hinzu. Für fortgeschrittene Aufgaben ziehen Sie kaskadierte Pipelines in Betracht: Zunächst die Liste, dann die Karten, dann die Medien. Denken Sie daran: Arbeiten Sie immer im Rahmen der Website-Richtlinien und Gesetzgebung.

Tipp: Machen Sie vor jeder größere Änderung eine Sicherungskopie des Projekts und speichern Sie die aktuellen Proxy-Einstellungen separat. Dies spart Zeit bei der Wiederherstellung.