Giriş

Bu adım adım kılavuzda, programlama bilgisi olmadan verileri çekmeye başlayacaksınız; iki popüler no-code aracı olan Octoparse ve ParseHub ile mobil proxy kullanarak. Ortamı kuracağız, mobil proxy sağlayıcısını bağlayacağız, gerçek bir veri toplama görevini detaylandıracağız, anti-ban (engelleme önleyici) ve limitleri ayarlayacağız ve ardından sonuçları kontrol edip dışa aktaracağız. Sonuç olarak, engellere dayanıklı bir veri çekme süreci elde edeceksiniz; bu süreç, ölçeklenebilir ve düzenli veri güncellemeleri için hazır olacak.

Bu kılavuz kimin için: Kodu hızlı bir şekilde öğrenmek isteyen yeni başlayanlar için; güvenilir ve anlaşılır bir bilgi toplama sürecine ihtiyaç duyan pazarlamacılar, analistler ve veri uzmanları için; ileri seviye kullanıcılar için ise 'Ekstra Özellikler' bölümünde optimizasyon önerileri var.

Önceden bilmeniz gerekenler: Bilgisayar ve tarayıcı ile temel düzeyde çalışma becerisi gereklidir. Programlama bilgisi gerekmez.

Ne kadar zaman alır: Tam bir döngü için 2-4 saat, kurulum, proxy ayarlama ve test verisi çekme dahil. Eğer bu araçlarla daha önce deneyiminiz varsa, 60-90 dakika sürecektir.

Ön Hazırlık

Gerekli araçlar ve erişimler:

  • Octoparse hesabı (Windows, macOS; bulut versiyonu mevcut). 2025-2026 yıllarındaki herhangi bir güncel versiyon uygundur.
  • ParseHub hesabı (Windows/macOS için masaüstü uygulaması ve web hesabı). Geçerli bir sürüm seçin.
  • Güvenilir bir sağlayıcıdan mobil proxy hesabı ve erişimi. Gerçek mobil IP'lerle, kullanıcı adı ve şifreyle kimlik doğrulaması ve döndürme yönetimi sunan bir servis uygundur. Örnek olarak, mobileproxy.space mobil proxy ve otomasyon araçları tedarik edeni olarak kullanılabilir.
  • Öğrenim amaçlı veri çekime izin veren bir test web sitesi. Öğrenim amaçlı bir gösterim kaynağı olan ‘Books to Scrape’ (pratik için halka açık bir demo site) kullanacağız. Bu örneği başka bir site ile değiştirebilirsiniz, eğer izin var ise ve bu, sitenin kurallarını ihlal etmiyorsa.

Sistem gereksinimleri:

  • Windows 10/11 veya macOS 12+ ile 8 GB RAM ve diskte boş 2-4 GB alan olan bir PC.
  • İnternet bağlantısı 10 Mbps ve üstü.
  • Yazılım yükleme ve proxy ayarlarını kontrol etme erişimi.

İndirmeniz ve kurmanız gerekenler:

  1. Octoparse’ı geliştiricinin resmi web sitesinden indirin ve kurun. Yükleme sırasında arayüz dili ve yükleme dizinini seçin. Tamamlandığında, mevcut hesabınıza giriş yapın veya yeni bir hesap oluşturun.
  2. ParseHub’ı indirin ve kurun. Uygulamayı başlatın ve hesabınıza giriş yapın.
  3. Proxy sağlayıcınızdan bir plan oluşturun. Kullanıcı panelinizde proxy adresini (host ve port), kullanıcı adı ve şifreyi alın. Eğer IP döndürme paneli mevcutsa, adres değişim aralığını işaretleyin; örneğin her 3-10 dakikada bir.

Yedekleme oluşturma (projeler için geçerli):

  • Octoparse’da, her büyük değişiklikten sonra proje dosyasını .otd dosyası olarak dışa aktarın.
  • ParseHub’da, ayarları yaptıktan sonra projeyi kaydedin ve dosya menüsünden “File” → “Save As” ile yerel bir kopya oluşturun.

Öneri: Proxy kimlik bilgilerini projelerden ayrı tutun. Şifre yöneticisi kullanın ve öğrenci ile gerçek projeler için ayrı erişimler oluşturun.

Temel Kavramlar

Özellikleri basit bir dille açıklayalım:

  • No-code parser — programlama olmadan web sitelerinden veri toplayan bir program. Kullanıcı tıklamalarla ne açacağını, neye basacağını, neyi çıkaracağını ayarlıyor.
  • Proxy — internet isteklerinizin geçtiği ara sunucu. Web sitesi, gerçek IP'nizi değil, proxy'nin IP'sini görür.
  • Mobil proxy — gerçek mobil operatör IP adreslerini (3G/4G/5G) kullanan proxy'dir. Daha sık değişir ve web siteleri için doğal göründüğü için bloklama riskini azaltır.
  • IP döndürme — IP adresinin dönemsel olarak değiştirilmesini sağlar. Mobil proxy üzerinde bu, zamanlayıcı ile veya sağlayıcının panelindeki API anahtarı ile otomatik olabilir.
  • Seçici — sayfada hangi öğenin çıkarılacağını belirtmek için bir yöntem. Octoparse ve ParseHub'da, bu sayfadaki öğelere tıklayarak gerçekleştirilir.
  • Paginasyon — sonuç listeleri arasında sayfalar arasında geçiş yapma (Next düğmesi, sayfa numaraları).
  • Oturum — bir IP’den gelen isteklerin ardışıklığı. ‘Sticky’ oturum, görevi, adresi değiştirmeden tamamlamak için belirli bir süre IP’yi saklar.

Temel çalışma prensipleri:

  • Parser sayfayı açar, yüklemeyi bekler, gerekli öğeleri bulur, metin, bağlantılar veya nitelikleri çeker, bir sonraki sayfaya geçer ve süreci tekrarlar.
  • Proxy, proje ayarlarına bir kez eklenir. Daha sonra tüm ağ istekleri onun üzerinden geçer.
  • Stabilite için, makul hızlar, eylemler arasında süreler ve IP döndürmeyi kullanın.

Başlamadan önce önemli olanlar:

  • Kaynak web sitesinin kurallarına ve ülkenizin yasalarına uyun. Robots.txt ve kaynak kullanım şartlarına saygı gösterin. Yoğun veri çekmeyi planlıyorsanız izin alın.
  • Otomatik veri toplama için tasarlanmış kişisel verileri çıkarmayın. Sadece açık ve izin verilmiş bilgilerle çalışın.
  • Mobil proxy'lerin amacı, stabil ve doğru bir çalışma sağlamaktır; sınırlamaları aşmak değil.

⚠️ Dikkat: Asla proxy ve veri çekme araçlarını, yerel yasalar veya web sitesi kuralları tarafından yasaklanan eylemler için kullanmayın. Bu kılavuz, izinli verilere erişim ile yasal senaryolar için hazırlanmıştır.

Adım 1: Görevi Planlayın ve Veri Yapısını Hazırlayın

Bu aşamanın amacı

Hangi verilere ihtiyacınız olduğunu, bu verilerin sayfada nerede bulunduğunu, sayfalar arasında nasıl geçiş yapacağınızı belirlemek ve istek sıklığına ilişkin kuralları ayarlamaktır. Sonuç olarak basit bir alan planı → seçim → kaynak ve başlangıç için URL listesi oluşturacaksınız.

Detaylı talimat

  1. Öğelerin bulunduğu eğitim web sitesine gidin (örneğin: Books to Scrape). Bu, eğitim amaçlı veri çekmeye izin verilen bir demo kaynağı olduğundan emin olun.
  2. Çekilecek alanları belirleyin: ürün adı, fiyat, puan, stok durumu (In stock), ürün linki ve kapak resmi (görsel URL’si).
  3. Veri yapısını not alın: Google Sheets veya Excel'de Title, Price, Rating, Availability, ProductURL, ImageURL sütunlarıyla bir tablo oluşturun.
  4. Paginasyonu kontrol edin: listenin altındaki 'next' düğmesini veya sayfa numaralarını bulun. CSS sınıfını veya butonun metnini kaydedin (örneğin, ‘li.next a’).
  5. Derinliği değerlendirin: kaç sayfa ve ürün var. Eğitim koşulu için 3-5 sayfa alın.
  6. İstek sıklığını belirleyin: 2-4 saniyede 1 istekle başlayın ve paginasyon öncesinde kademeli beklemeler yapın.

Öneri: Başlangıç hedefi ne kadar basit ve net olursa, hata ayıklama o kadar kolay olur. Öncelikle 1-2 alanla (örneğin, ad ve fiyat) başlayın, ardından diğerlerini ekleyin.

Beklenen sonuç

Elinizde başlangıç için URL sayfası listesi, alan listesi ve sayfalar arasında nasıl geçiş yapacağınız hakkında bir anlayış var.

Olası problemler ve çözümler

  • İstenilen öğenin nerede olduğunu belirleyemiyorsanız. Çözüm: Tarayıcıda öğenin üzerine gelin ve eşsiz bir öznitelik veya sınıf bulmak için ‘Kod Görüntüleme’ seçeneğini kullanın.
  • Paginasyon kararsızsa. Çözüm: Sayfa numaraları yerine ‘next’ düğmesini kullanın, bu daha basit ve daha istikrarlıdır.

✅ Kontrol: Tablo da alanların listesi ve 3-5 başlangıç URL'si var. Paginasyon anlayışınız onaylandı.

Adım 2: Mobil Proxy'yi Alın ve Kontrol Edin

Bu aşamanın amacı

Mobil proxy oluşturmak, adres, port, kullanıcı adı ve şifre almak, IP döndürme modunu seçmek ve proxy'nin stabil çalıştığını doğrulamaktır.

Detaylı talimat

  1. Mobil proxy sağlayıcısının kullanıcı paneline giriş yapın. Örnek servis: mobileproxy.space, burada mobil IP sunucuları, ayarlanabilir döndürme ve kimlik doğrulama formatları için dokümantasyon mevcut.
  2. Proxy hesabı oluşturun. Eğer görev için gerekliyse şehirler veya ülkeler için gerekli havuzları belirtin. Eğitim projesi için varsayılan bölgeyi kullanın.
  3. Ayarları kopyalayın: host (örneğin, gw.provider.example), port (örneğin, 10000-20000), kullanıcı adı ve şifre. Verileri şifre yöneticisine kaydedin.
  4. IP döndürmeyi ayarlayın: 3-10 dakikalık aralığı seçin. Sayfalar arasında stabil bir toplam için, ürün kartı çıkartırken IP değişmemesi için 5-15 dakikalık sticky oturumu kullanın.
  5. Proxy'nin çalışır durumda olduğunu kontrol edin: Tarayıcıyı açın ve verilen host:port ile sistem proxy'sini (HTTP) ayarlayın. ‘IP Göster’ sayfasına veya dış adresinizi gösteren izinli bir hizmete gidin ve IP’nin mobil olarak değiştiğinden emin olun.
  6. Kontrol sonrası tarayıcıdaki sistem proxy'sini kapatın, böylece araçların çalışmasını engellemeyin.

Öneri: Eğer sağlayıcı IP değiştirme için bir API düğmesi sunuyorsa, URL'sini işaretlemeyi unutmayın. Bu, işlerinizi manuel olarak IP değiştirirken faydalı olacaktır.

Beklenen sonuç

Aktif bir mobil proxy kimlik bilgilerine sahipsiniz ve IP'nin doğru şekilde değiştirildiğini ve döndürmenin ayarlandığını doğruladınız.

Olası problemler ve çözümler

  • Tarayıcıda kimlik doğrulama hatası alıyorsunuz. Çözüm: Kullanıcı adı ve şifre doğru mu kontrol edin, karakterlerin büyük/küçük harf durumuna dikkat edin.
  • Proxy üzerinden site açılmıyor. Çözüm: Sağlayıcı panelinde düğmeyi veya portu değiştirin ya da destek ile iletişime geçin. Desteklenen protokolün (HTTP/HTTPS) kullanıldığından emin olun.

✅ Kontrol: Dış mobil proxy IP'nizi doğruluyorsunuz ve gerektiğinde döndürmeyi nasıl başlatacağınızı biliyorsunuz.

Adım 3: Octoparse'da Mobil Proxy Ayarları

Bu aşamanın amacı

Özel bir projeye mobil proxy bağlamak ve tüm isteklerin doğru döndürme ve gecikmelerle geçmesini sağlamak.

Detaylı talimat

  1. Octoparse’ı başlatın ve hesabınıza giriş yapın. Ana ekranda ‘+ Yeni’ veya ‘Görev Oluştur’ seçeneğine tıklayın.
  2. URL listenizden bir başlangıç URL'si girin (örneğin, ‘Books’ kategorisinin ana sayfası). Önizleme için ‘URL'yi Kaydet’ veya ‘Başlat’a tıklayın.
  3. Proje ayarlarını açın. Sol panelde ‘Ayarlar’, ‘Gelişmiş’ veya ‘Görev Ayarları’ bölümünü bulun (ada versiyona göre değişir). ‘Proxy’ veya ‘IP Döndürme’ bölümüne geçin.
  4. ‘Proxy'yi kullan veya ‘Özel proxy’ seçeneğini seçin. Mobil proxy’nizin host ve portunu girin.
  5. Kimlik doğrulama ayarlarını girin: kullanıcı adı ve şifreyi yazın. Eğer varsa ‘Kimlik bilgilerini hatırla’ seçeneğini etkinleştirin.
  6. Octoparse’da IP döndürmeyi etkinleştirin (varsa), ya da döndürmeyi sağlayıcı tarafında bırakın. Octoparse, ‘X dakikada IP değiştir’ seçeneğine izin veriyorsa, proxy panelindeki ayarlarla süreyi senkronize edin (örneğin, 5 dakika).
  7. Hızı belirleyin: ‘Hız’ veya ‘Uygulama ayarları' kısmında eylemler arasında 2-4 saniye gecikme ve paginasyon öncesinde 5-8 saniye gecikme koyun. ‘Rastgele gecikme’ seçeneğini etkinleştirin, eğer mevcutsa.
  8. Ayarları kaydedin. Var ise ‘Bağlantıyı Test Et’ butonuna tıklayarak projelerin interneti proxy üzerinden görebildiğinden emin olun.

Öneri: Farklı projeler için farklı proxy profilleri tutun. İsimlerinde bölgeyi ve döndürme aralığını belirtin, böylece karışıklığı önleyin.

⚠️ Dikkat: Aynı mobil IP üzerinde çoklu akışları paralel başlatmayın. Bu, şüpheli etkinliklere neden olabilir. Daha iyi bir ölçeklendirme için yeni proxy'ler ekleyin.

Beklenen sonuç

Octoparse projesi kaydedilir, ‘Bağlantıyı Test Et’ ile bağlantı kontrol edilir ve sayfa önizlemeleri sorunsuz şekilde açılır.

Olası problemler ve çözümler

  • ‘Proxy üzerinden bağlanırken hata oluştu’. Çözüm: host:port, kimlik doğrulamasını kontrol edin, işletim sisteminde uygulamayla çelişen bir sistem proxy’si olmadığını kontrol edin.
  • Sayfa çok yavaş yükleniyor. Çözüm: ‘Gelişmiş’ ayarlarda yükleme zaman aşımını artırın ve eş zamanlı istek sayısını azaltın.

✅ Kontrol: Octoparse'da önizlemede sayfalar hatasız açılmakta ve bağlantı kayıtları proxy’niz üzerinden geçiş göstermektedir.

Adım 4: ParseHub'da Mobil Proxy Ayarları

Bu aşamanın amacı

Mobil proxy'i ParseHub projesine bağlayarak, tüm ağ çağrılarının belirtilen IP adresi üzerinden kimlik doğrulama ve gecikmelerle geçmesini sağlamaktır.

Detaylı talimat

  1. ParseHub’ı açın ve yeni bir proje oluşturun: ‘Yeni Proje’ butonuna tıklayın, başlangıç URL'sini girin. Sayfanın önizleme penceresinde yüklenmesini bekleyin.
  2. Proje ayarlarına gidin. Sağ panelde veya ‘dişli’ simgesine tıklayarak ‘Proje Ayarları’ veya ‘Ağ’a geçin (adı versiyona göre değişebilir).
  3. ‘Proxy’ veya ‘Proxy sunucusunu kullan’ kısmını bulun. HTTP/HTTPS protokolünü seçin, mobil proxy’nizin host ve port bilgilerini girin.
  4. Kullanıcı adı ve şifreyi kimlik doğrulama için belirtin. Eğer ‘Kimlik bilgilerini kaydet’ seçeneği varsa, etkinleştirin.
  5. Gecikmeleri belirtin: ‘Eylemlerden önce gecikme’ 2-4 saniye, ‘Sayfa yükleme zaman aşımı’ 20-40 saniye, mevcutsa ‘Rastgele gecikmeleri’ etkinleştirin.
  6. Ayarları kaydedin. ‘Proxy Test Et’ veya ‘Bağlantıyı Test Et’ butonu varsa, testi gerçekleştirin.
  7. Önizleme penceresine dönün ve sayfayı yenileyin. İçeriğin istikrarlı bir şekilde yüklendiğinden ve kimlik doğrulama hatası almadığınızdan emin olun.

Öneri: Sağlayıcınızın çeşitli çıkış noktaları (şehirler) varsa, ayrı ParseHub projeleri için farklı hostlar kullanın. Bu, log analizi yapmayı kolaylaştırır ve stabiliteyi artırır.

Beklenen sonuç

ParseHub projesi hatasız sayfaları açar ve proxy modu aktiftir.

Olası problemler ve çözümler

  • Kimlik doğrulama sürekli olarak açılıyor. Çözüm: Ayarlarda kullanıcı adı ve şifreyi tekrar girin, kopyalarken fazladan boşluk olup olmadığını kontrol edin.
  • Sayfa önizlemede yüklenmiyor. Çözüm: zaman aşımını artırın, proxy'nin çalıştığından emin olun (tarayıcıda kontrol edin), gerekirse sağlayıcıda düğmeyi değiştirin.

✅ Kontrol: ParseHub önizlemesinde sayfalar, proxy üzerinden istikrarlı şekilde açılır. 407 Proxy Authentication Required hatası yoktur.

Adım 5: Octoparse’da Görev Oluşturma ve Çalıştırma (örnek)

Bu aşamanın amacı

Bir ürün listesinden başlık, fiyat, puan, stok durumu, bağlantı ve resmi çekmek için Octoparse’da bir eylem zinciri ayarlamak. Paginasyon ve dışa aktarma ile sağlam bir senaryo elde etmek.

Detaylı adım adım talimat

  1. Proxy'si zaten bağlanmış bir projede, katalog bölümünün başlangıç URL'sini girin. Önizleme için ‘Git’ butonuna tıklayın.
  2. ‘Web sayfası verilerini otomatik algıla’ seçeneğine tıklayın. Octoparse'ın ürün listesi bloklarını vurgulamasını ve alanları önermesini bekleyin.
  3. Önerilen alanları kontrol edin. Gerekirse, ürün başlığına tıklayın ve ‘Metni Çıkar’ seçeneğini seçin; fiyata tıklayın – 'Metni Çıkar’; bağlantıya– 'URL’ çıkar; resme – ‘Resim URL’si çıkar; puana tıklayarak sınıf özniteliğini çıkarın, ardından bunu okunabilir bir puana dönüştürün.
  4. Kartlar için ‘Döngü Öğesi’ oluşturun: Octoparse'ın tekrarlanan listeyi tanımladığından emin olun. Eğer görmezse, iki benzer liste öğesini elle seçin ve ‘Tümünü Seç’ butonuna tıklayarak bir döngü oluşturun.
  5. Paginasyonu ekleyin: listenin en altındaki ‘next’ butonuna tıklayın ve ‘Paginasyon için Tıklayın’ seçeneğini seçin. Test için sayfa sayısını 3 olarak limit koyun.
  6. Durdurmayı belirleyin: Paginasyon için ‘Tıklama’ ayarlarında ‘Sonraki eylemden önce bekle’ kısmına 5-8 saniye ekleyin.
  7. ‘Veri önizleme’ kısmını açın. Title, Price, Rating (belki ‘star-rating Three’ olarak) Availability, ProductURL, ImageURL sütunlarınızın olduğunu kontrol edin.
  8. Gerekirse ‘Veri Temizleme’ adımları ekleyin: fiyatların para birimi sembolünü çıkarma, puan sınıfını sayıya (One–Five → 1–5) dönüştürme, boşlukları kesme.
  9. Projeyi kaydedin ve ‘Çalıştır’ seçeneği ile aşağıdaki ayarlarla başlatın: test için ‘Yerel çalıştırma’; gecikme aralıkları - varsayılan ayarlardan, iş parçacığı - 1.
  10. İhracat tamamlandığında, dosya formatı olarak CSV veya Excel seçin. Kaydetme yolu ve dosya adı belirleyin, örneğin octoparse_books_test.xlsx.

Öneri: Eğer otomatik tanımlama gereksiz öğeler seçtiyse, bunları elle ‘Fields’ panelinde kaldırın. Sadece gerekli sütunları bırakın, bu işlem hızınızı artıracak ve sonraki işleme yardımcı olacaktır.

Öneri: ‘Availability' özelliği için yalnızca metni değil, ‘availability’ özniteliğini kontrol edin. Öğe bir miktar taşıyorsa, bunu ayrı bir alan olarak ekleyin.

Beklenen sonuç

3-5 sayfadan oluşan doğru bir veri seti alırsınız: en az 60-100 satır, tüm alanlarla ve geçerli bağlantılarla.

Olası problemler ve çözümler

  • ‘Loop Item’ oluşturulamıyor. Çözüm: Yan yana iki benzer kart öğesini вручную seçin ve ‘Tümünü Seç’ butonuna basın. Ardından her gerekli alt öğe için ‘Veriyi Çıkar’ ekleyin.
  • Puan metin sınıfı olarak çıkarılıyor. Çözüm: ‘Clean Data’ adımında ‘Replace' fonksiyonunu kullanarak ‘star-rating Three’ → ‘3' dönüşümünü gerçekleştirin.
  • Paginasyon tıklanmıyor. Çözüm: ‘Wait for element’ ve ‘Timeout’ zaman aşımını artırın, bağlantının öğe olarak seçildiğinden emin olun, konteyner olarak değil.

✅ Kontrol: Önizlemede ve son dışa aktarımda, sütun değerleri beklediğiniz gibi olmalı. Boş satır olmamalı, bağlantılar tıklanabilir, resimler açılabilmelidir.

Adım 6: ParseHub’da Görev Oluşturma ve Çalıştırma (örnek)

Bu aşamanın amacı

ParseHub'da benzer bir veri setini toplamak için öğelerin seçimlerini, paginasyonu ve dışa aktarmayı ayarlamak.

Detaylı adım adım talimat

  1. Açık ParseHub projesinde ‘Select’ aracını tıklayın ve ilk ürünün başlığına tıklayın. Ardından ikinci ürünün başlığına tıklayarak sürekli öğe şablonunu ayarlayın. Liste yeşil vurgulanır.
  2. Sağ panelde ‘Extract’ butonuna basarak başlık metnini çıkarın. Alanı ‘Title’ olarak yeniden adlandırın.
  3. Aynı şekilde ilk ve ikinci karttaki fiyatı seçin. ‘Extract’ seçeneğine tıklayın, ‘Text’ türünü seçin, alanı ‘Price’ olarak adlandırın.
  4. Ürün kartı linki için ürün başlığını seçin ve alan özelliklerinde ‘Extract’ → ‘URL’ seçeneğini belirleyin. Alan adı ‘ProductURL’ olsun.
  5. Resim için karttaki resmi seçin ve ‘Extract’ → ‘Image URL’ seçeneğini belirleyin. Alanı ‘ImageURL’ olarak adlandırın.
  6. Puanlama için yıldız simgesine veya puanlama metin bloğuna tıklayın. Sınıf içinde verilmişse, ‘class’ özniteliğini çıkarın ve bunu sayılara dönüştürmek için ‘Transform’ kuralını ayarlayın (One–Five).
  7. ‘Availability’ (Mevcut) alanını ekleyin: mevcudiyet bloğuna tıklayıp metni çıkarın. Alanı ‘Availability’ olarak adlandırın.
  8. Paginasyonu ayarlayın: ‘next’ butonuna veya bir sonraki sayfanın numarasına tıklayın ve ‘Click’ seçeneğini seçin. ‘Current template tekrar et’ ayarını 3-5 sayfa ile sınırlayın.
  9. Tıklama ve bekleme eylemlerine 4-8 saniye gecikme ekleyin. Varsa ‘Rastgele’ seçeneğini etkinleştirin.

Öneri: Eğer ParseHub çok geniş bir konteyneri vurgu yapıyorsa, seçimi daraltın: ihtiyaç duyduğunuz alt öğeye tıklayın veya ‘Empty selection’ kullanarak öğeleri kademeli ekleyin.

Öneri: Karmaşık sayfalar için ‘Wait for element’ adımını belirli bir CSS özniteliği ile ekleyin, böylece gerekli bloğun görüntülenmesini bekleyerek çıkartma yapabilirsiniz.

Beklenen sonuç

Octoparse’dan aynı veri setini alırsınız ve bu da mantığın doğruluğunu ve proxy'nin sürdürülebilirliğini doğrular.

Olası problemler ve çözümler

  • Liste tanımlanmıyor. Çözüm: İki benzer kartı yan yana seçin, böylece ParseHub bir tekrar kalıbı görecektir.
  • Alanlar periyodik olarak boş. Çözüm: Sayfa yüklendikten sonra bir ‘Wait for element’ eklemeyi ve gecikmeleri artırmayı deneyin.

✅ Kontrol: Veriler ardışık olarak eksiksiz bir şekilde dışa aktarılır, CSV/Excel dışa aktarımı açılır ve yapıya uygundur.

Adım 7: Anti-ban ve Limitler: İstikrarı Nasıl Sağlayabilirsiniz?

Bu aşamanın amacı

Prosedürleri aşırı bloklama riskinden korumak için dikkatli bir hız, doğru döndürme ve isteklere kalite kontrolü sağlamak.

Tavsiye Edilen Ayarlar

  1. İstek hızı: maksimum 1-2 istek/saniye koruyun, ancak daha iyi olanı, her 2-4 saniyede 1 istek yapmaktır.
  2. Paginasyon sırasında beklemeler: 5-10 saniye, tercihen rastgele.
  3. IP döndürme: her 3-10 dakikada bir. Uzun kartlar için 5-15 dakikalık sticky oturum kullanın ki bağlam kaybolmasın.
  4. Paralellik: 1 mobil IP için 1 akış. Ölçeklendirmek için, yeni proxy ekleyin, bir IP'deki akışları değil.
  5. Timeout'lar: Sayfa Yükleme Zaman Aşımı 20-45 saniye, yükleme başarısız olduğunda 1-2 kez tekrar deneme.
  6. Başlatmalar arasında bekleme: 3-5 dakika, uzun bir oturumdan sonra ağın “soğumasını” sağlamak için.

Öneri: Bir günlük tutun: döndürme aralığını, toplanan sayfa miktarını ve hata oranlarını kaydedin. Bu, limitleri doğru bir şekilde ayarlamanıza yardımcı olur.

⚠️ Dikkat: Web sitesinin teknik kısıtlamalarını aşmaktan kaçının. Eğer kaynak otomatik veri çekmeye açıkça yasak koyuyorsa, veri çekmesini kullanmayın. Sadece izin verilen yerlerde çalışın ve sitenin zarar vermeyecek kapasitesine uygun bir miktarda veri çekin.

Beklenen sonuç

Yükleme hatalarının azalması, captcha ve bloklama patlamalarının olmaması, verilerin eşit bir şekilde toplanması.

Olası problemler ve çözümler

  • Sık sık captcha görülüyor. Çözüm: hızınızı düşürün, beklemeleri artırın, paralelliği azaltın, gerekirse sağlayıcıdan bölgeyi değiştirin.
  • Rastgele 403/429 cevapları alıyorsunuz. Çözüm: Daha fazla bekleme ekleyin, bir seferde daha az derinlik ile azaltın, planlayıcıyı aralıklarla kullanın.

✅ Kontrol: Loglarda hata sayısı azalıyor. Sayfa başına ortalama süre stabil ve toplam dolu alan yüzdesi artıyor.

Adım 8: Dışa Aktarım, Doğrulama ve Veri Yapısını Sağlama

Bu aşamanın amacı

Sonuçları doğru bir şekilde dışa aktarmak, bütünlüğünü kontrol etmek ve analiz için uygun bir yapıya getirmektir.

Detaylı talimat

  1. Octoparse’dan sonuçları Excel (XLSX) olarak ve ParseHub’dan CSV olarak dışa aktarın. Dosyaları tarih ile yeniden adlandırın, örneğin books_octoparse_2026-06-22.xlsx ve books_parsehub_2026-06-22.csv.
  2. Çıkarma işlemini açın ve tüm sütunların mevcut olduğundan emin olun. 5-10 rastgele kaydı manuel olarak web sitesi ile karşılaştırın.
  3. Çiftleri kontrol edin: ProductURL'ye göre sıralayın ve tekrar eden satırları silin.
  4. Verileri temizleyin: para birimi sembollerini çıkarın, fiyatları sayıya çevirin, puanları 1-5 arası standart hale getirin, boşlukları kesip düzeltin.
  5. Son dosyayı master versiyonu olarak kaydedin. İş için bir kopya ve arşiv için ayrı bir kopya oluşturun.

Öneri: Kalite kontrol için basit kurallar koyun: temel alanların %95'inin doldurulması ve test çalıştırma süresince %2'nin altında dublikat.

Beklenen sonuç

Temiz ve eksiksiz bir veri seti, analiz veya BI/CRM'e yükleme için hazırdır.

Olası problemler ve çözümler

  • CSV yanlış kodlaması. Çözüm: dosyayı bir editörde açın, UTF-8 seçin veya Google Sheets’e kodlamayı belirterek içe aktarın.
  • Ayrıştırıcıların karışması. Çözüm: XLSX olarak dışa aktarın veya noktalı virgülü ayırıcı olarak belirtin.

✅ Kontrol: 10 kaydın manuel kontrolü doğruluğu onaylıyor. Alanlar beklenen formatla uyumlu olmalıdır.

Adım 9: Görevlerin Otomatikleştirilmesi ve Stabilitenin Kontrolü

Bu aşamanın amacı

Düzenli görevlerin, logların ve izleme süreçlerinin otomatikleştirilmesini ayarlamak, böylece sonucu manuel müdahale olmaksızın sürdürmektir.

Detaylı talimat

  1. Octoparse’da ‘Program’ veya ‘Görev Planlayıcı’sını açın. Örneğin, her gün 02:00’da bir program oluşturun. Derinlik ve satır sınırlarını belirtin.
  2. ParseHub’da ‘Planlı Çalışmalar’ı web paneli üzerinden ayarlayın: periyodu (günde veya haftada bir) seçin, çalıştırma süresini ve sayfa limitini sınırlayın.
  3. Bildirimleri ayarlayın: görevlerin tamamlanması ve hatalar hakkında e-posta bildirimlerini açın.
  4. IP döndürme kontrolü ekleyin: sağlayıcı panelinde otomatik IP güncellemesini zamanlayın, bu da zaman başlatıldığında senkronize olmalıdır. Gerekirse, görev başlamadan önce IP değişimi ekleyin.
  5. Logları saklayın: her hafta yürütme günlüğünü CSV formatında dışa aktarın. Zamana göre kaydedin, toplanan satır sayısını ve yükleme hatası sayısını not alın.

Öneri: Ana zamanlamadan 10-15 dakika önce küçük bir kontrol çalıştırması yaparak web sitesinin erişilebilir olduğunu ve proxy'nin çalışıp çalışmadığını kontrol edin.

Beklenen sonuç

Görevler düzenli olarak programa göre başlatılır, veriler güncellenir ve hata olması durumunda bildirim alırsınız ve hızlı bir şekilde tepki verirsiniz.

Olası problemler ve çözümler

  • Görev gece düşüyor. Çözüm: hata oluşursa yeniden başlatma seçeneğini açın, daha uzun zaman aşım süreleri ekleyin, derinliği azaltın.
  • Bazen IP zamanında değişmiyor. Çözüm: zamanlamadan 1-2 dakika önce IP değiştirin.

✅ Kontrol: Günlük raporlar başarılı gecelik çalışmaları gösteriyor, tamamlanma e-postaları geliyor ve verilerin miktarı plana göre artıyor.

Sonucun Kontrolü

Kontrol listesi: neyin çalışması gerekiyor

  • Octoparse ve ParseHub başlangıç sayfalarını hatasız açıyor ve proxy aktif.
  • Alanlar doğru bir şekilde çıkarılıyor, paginasyon tıklanıyor ve yüklemesi bekleniyor.
  • CSV/XLSX dışa aktarımı okunabilir dosyalar oluşturuyor ve bozulmadan sağlamıştır.
  • Test çalışmasında ortalama boş alan oranı %5’i geçmiyor.
  • IP döndürme belirtilen aralıkta çalışıyor, kimlik doğrulama hatası yok.

Test Nasıl Yapılır

  1. 2-3 sayfa için kısa bir çalışma başlatın ve logları kontrol edin: başarılı yükleme oranı %95’in altında olmamalıdır.
  2. On random records manually, comparing with the site.
  3. Check whether the external IP changes according to the schedule in the provider's panel.

Başarı kriterleri

  • Proxy kimlik doğrulama hatası olmadan çalıştırma.
  • Sık captcha ve 403/429 yanıtları yok.
  • Sayfa başına stabil bir süre ve suistimale dirençli bir veri miktarının öngörülebilirliği.

Tipik Hatalar ve Çözümler

  • Problem: ‘407 Proxy Authentication Required’. Sebep: hatalı kullanıcı adı/şifre. Çözüm: kimlik bilgilerinizi kontrol edin, kopyalama sırasında fazladan boşluklar olduğunu kontrol edin, ayarları kaydedin ve tekrar test edin.
  • Problem: Sayfalar açılmıyor veya çok yavaş açılıyor. Sebep: çok kısa bir zaman aşımı, aşırı yüklenmiş bir düğüm, yüksek istek hızı. Çözüm: zaman aşımını artırın, hızı düşürün, sağlayıcıdan düğümü değiştirin.
  • Problem: Bazı satırlar boş. Sebep: öğeler yeterince hızlı yüklenmiyor. Çözüm: ‘Wait for element’ ekleyin, gecikmeleri artırın ve rastgeleliği etkinleştirin.
  • Problem: Paginasyon tıklanıyor fakat veriler değişmiyor. Sebep: farklı bir öğe seçilmiş veya yenilemenin beklenmesi gerekebilir. Çözüm: ‘next’ butonunun bağlantısını seçin, ‘Wait for navigation’ ekleyin.
  • Problem: Tekrar eden kayıtlar. Sebep: yan yana sayfalardaki aynı kartların toplanması nedeniyle. Çözüm: ProductURL'ye göre filtreleme yapın, dışa aktarım sırasında dublikat kontrolü ekleyin.
  • Problem: Ani IP yasakları. Sebep: aşırı agresif tempo. Çözüm: paralellik oranını bir IP için 1 akışa düşürün, beklemeleri artırın, makul uzunlukta sticky oturum kullanın.
  • Problem: CSV’de hatalı kodlama. Sebep: sistem yerel ayarları. Çözüm: XLSX kullanın veya CSV’yi açık bir şekilde UTF-8 kullanarak içe aktarın.

Ekstra Özellikler

Gelişmiş ayarlar:

  • Döndürmeyi planlama: her planlı çalışmadan önce proxy panelinde IP’nin otomatik değişimini ayarlayın. Bu, tek bir IP üzerinde davranışsal izlerin birikimini azaltır.
  • Ürün kartları için sticky oturumlar: ürün kartına geçiş yaparken IP'nizi 5-10 dakika boyunca sabitleyin, böylece verimlilik kaybı yaşamadan verilerinizi toplayabilirsiniz. Bu, tutarsızlık riskini azaltır.
  • Veri temizlenmesi: Octoparse'da ‘Clean Data’ ve ParseHub’da ‘Transform’ kullanarak fiyat, puan ve bağlantı standartlarını veri toplarken uygulayın.
  • Görevlerin bölümleme: veri çekimi işlemini iki aşamaya ayırın - liste ve kartlar. Önce ProductURL’leri toplayın, ardından ayrı ayrı onları geçin. Bu, kalite kontrolü ve yeniden başlatmayı kolaylaştırır.
  • Entegrasyonlar: eğer planınız destekliyorsa, verileri doğrudan Google Sheets veya veritabanlarına dışa aktarın. Veri kalitesi hakkında bildirim ayarlayın.

Optimizasyon:

  • Hız ile stabilite arasındaki denge: maksimum hız peşinde koşmayın. Stabil olan 1-2 sayfa/dk, sık sık bloklama riski taşıyan hızlarından daha iyi olabilir.
  • Bölgesel duyarlılık: eğer site coğrafi olarak hassassa, tutarlı sonuçlar için belirli bir bölgeden gelen mobil proxy'ler seçin.

Öneri: ‘Proje kimliği’ oluşturun: websiteyi, frekansı, limitleri, döndürmeyi, düşüş alanlarını ve proxy destek bilgilerini listeleyin. Bu, olaylara hızlı yanıt vermek için daha uygun olur.

SSS

Soru: Proxy'nin mobil olduğunu nasıl anlayabilirim?
Cevap: Sağlayıcının panelinde ağ tipi (3G/4G/5G) ve operatör belirtilmektedir. Ayrıca, mobil IP’ler genellikle döndürmede sık değişir ve operatörlerin belirgin aralıklarına sahiptir.

Soru: Bir mobil proxy'yi aynı anda iki görevde kullanmak mümkün mü?
Cevap: Tavsiye edilmez. Tek bir mobil IP için en iyi performans sağlanır. Proxy sayısıyla ölçeklendirin.

Soru: Proxy'yı sağlayıcıda mı döndürmeliyim yoksa parse'da mı?
Cevap: Sağlayıcıda döndürme daha güvenilir. Parser'da temel bekleme ve zaman aşımını bırakın, IP değişimini proxy panelinde yapın, böylece çelişkilerden kaçınmış olursunuz.

Soru: Captchalarla nasıl başa çıkabilirim?
Cevap: Hızınızı düşürün, beklemeleri artırın, daha yumuşak bir döndürme ve daha az paralellik kullanın. sadece izinli kurallar çerçevesinde çalışın.

Soru: Site tasarımını değiştirirse ne yapmalıyım?
Cevap: Seçicileri yeniden ayarlayın: Octoparse’da yeni öğeler için ‘Extract data’yı güncelleyin; ParseHub’da ayrıntılı seçimler oluşturun. Her zaman 2-3 sayfada test yapın.

Soru: Proxy parolalarını güvenli bir şekilde nasıl saklayabilirim?
Cevap: Şifre yöneticisi kullanın ve eğitim ile gerçek projeler için ayrı hesaplar açın. Parolarınızı açık belgelerde saklamayın.

Soru: Rota değişikliğinin çalıştığını nasıl hızlı bir şekilde kontrol edebilirim?
Cevap: Sağlayıcı panelini kontrol edin veya bir IP gösterim hizmetine (tarayıcı üzerinden) kısaca proxy ile başvurun.

Soru: Düzenli çalışmalarda tekrarlamaları nasıl önleyebilirim?
Cevap: Anahtar alanı (örneğin, ProductURL) saklayın ve tarihi ile karşılaştırma yapın. Kapalı dublikatlarda verileri filtreleyin.

Soru: Octoparse ve ParseHub verilerini birleştirmek mümkün mü?
Cevap: Evet. Uygunana göre ProductURL’lere göre dışa aktarım yapın ve doldurulması daha fazla olan alanı öncelikli olarak bırakın. Bu, sonucu geçerliliğini sağlar.

Soru: Bu kılavuzda proxy ayarları hakkında tüm adımları nereden görebilirim?
Cevap: ‘Adım 3’ ve ‘Adım 4’ bölümleri için: Octoparse'da proxy ayarları ve ParseHub’da proxy ayarları.

Sonuç

Sonuç: Octoparse ve ParseHub’ı kurun ve ayarlayın, mobil proxy’leri bağlayın, sayfaların paginasyonu ve doğrulaması ile veri çekimi için çalışan şablonlar oluşturun, anti-ban, dışa aktarma ve düzenli çalıştırmalar ayarlayın. Çıktı olarak, kodlama gerektirmeyen, bloklara dayanıklı bir veri toplama süreci elde ettiniz.

Sonrasında ne yapmalısınız: mobil proxy ve zamanlamaları artırarak ölçeklendirin, veri dönüşümleri ile kaliteyi artırın, dışa çıkışları BI veya CRM sistemlerine entegre edin. Eğer mobileproxy.space gibi servisler kullanıyorsanız, döndürme panellerinin ek fonksiyonlarını ve aktivitelerini inceleyin.

Gelişim alanları: karmaşık sayfa yapılarını analiz etmeyi öğrenin, gelişmiş veri temizleme ve normalizasyon uygulamalarını kullanın, doluluk eşikleri ile kalite kontrolü ekleyin. İleri düzey görevler için, iki aşama olan kavramsal çalışmaları gerçekleştirin: önce liste, ardından kartlar ve medya toplayın. Unutmayın: her zaman web sitesi kuralları ve yasaları çerçevesinde çalışın.

Öneri: Her büyük değişiklikten önce projenin yedeğini alın ve mevcut proxy ayarlarını ayrı saklayın. Bu, geri dönerken zaman tasarrufu sağlar.