Introdução

Neste guia passo a passo, você aprenderá a realizar extrações sem programação em duas ferramentas populares sem código — Octoparse e ParseHub — usando proxies móveis. Vamos configurar o ambiente, conectar um provedor de proxies móveis, analisar uma tarefa real de coleta de dados, depurar bloqueios e limites, e por fim, testar e exportar o resultado. Ao final, você terá um processo de extração resistente a bloqueios, pronto para escalar e atualizar dados regularmente.

Para quem é este guia: para iniciantes que desejam iniciar rapidamente sem código; para profissionais de marketing, analistas e especialistas em dados que precisam de um processo de coleta de informações confiável e compreensível; para usuários avançados, a seção 'Funcionalidades Adicionais' tem dicas de otimização.

O que você precisa saber antecipadamente: habilidades básicas de computador e navegador. Não é necessário saber programar.

Quanto tempo levará: 2–4 horas para todo o ciclo, incluindo instalação, configuração do proxy e extração de teste. Se você já tem experiência com as ferramentas, levará de 60 a 90 minutos.

Preparação Prévia

Ferramentas e acessos necessários:

  • Conta no Octoparse (Windows, macOS; versão em nuvem disponível). Qualquer versão atual de 2025–2026 servirá.
  • Conta no ParseHub (aplicativo de desktop para Windows/macOS e conta web). Selecione a versão mais recente.
  • Conta e acesso a proxies móveis de um provedor confiável. Um serviço com IPs móveis reais, autenticação via login e senha, e gerenciamento flexível de rotação funcionará bem. Um exemplo relevante é mobileproxy.space como provedor de proxies móveis e ferramentas de automação.
  • Um site de teste, que permita a coleta de dados para fins educativos. Usaremos um recurso de demonstração para fins educacionais — 'Books to Scrape' (um site de demonstração público para prática). Você pode substituir o exemplo por outro site, se tiver permissão e isso não violar as regras do recurso.

Requisitos do sistema:

  • PC com Windows 10/11 ou macOS 12+ com 8 GB de RAM e 2–4 GB livres no disco.
  • Internet estável de 10 Mbps ou mais.
  • Capacidade de instalar software e acesso às configurações de rede para verificar o proxy.

O que baixar e instalar:

  1. Baixe e instale o Octoparse a partir do site oficial do desenvolvedor. Durante a instalação, escolha o idioma da interface e a pasta de instalação. Ao finalizar, faça login na conta ou crie uma nova.
  2. Baixe e instale o ParseHub. Inicie o aplicativo e faça login na conta.
  3. Adquira um plano com um provedor de proxies móveis. No painel da conta, obtenha o endereço do proxy (host e porta), login e senha. Se houver um painel de rotação de IP disponível, configure o intervalo de troca de endereços, como a cada 3–10 minutos.

Criação de backups (relevante para projetos):

  • No Octoparse, exporte o projeto em arquivo .otd após cada grande alteração.
  • No ParseHub, após a configuração, salve o projeto e faça uma cópia local do arquivo do projeto através do menu 'File' → 'Save As'.

Dica: Guarde os dados de autenticação do proxy separados dos projetos. Use um gerenciador de senhas e crie acessos distintos para tarefas educativas e reais.

Conceitos Básicos

Termos-chave explicados de maneira simples:

  • Parser sem código — programa que permite coletar dados de sites sem programação. O usuário configura clicando: o que abrir, o que clicar, o que extrair.
  • Proxy — servidor intermediário através do qual suas solicitações de internet são feitas. O site não vê seu IP real, mas sim o IP do proxy.
  • Proxies móveis — proxies que utilizam endereços IP reais de operadoras móveis (3G/4G/5G). Eles mudam com mais frequência e parecem mais naturais para os sites, reduzindo o risco de bloqueios quando usados com cuidado.
  • Rotação de IP — mudança periódica do endereço IP. Nos proxies móveis, isso pode ser automática através de um cronômetro ou por um comutador API no painel do provedor.
  • Seletor — maneira de indicar na página qual elemento extrair (por exemplo, título do produto, preço). No Octoparse e ParseHub, isso é feito clicando nos elementos da página.
  • Paginamento — navegação entre páginas com a lista de resultados (botões 'Next', números das páginas).
  • Sessão — sequência de solicitações a partir de um IP. Uma 'sessão fixa' ou sticky session mantém o IP ativo por um tempo, para concluir a tarefa sem trocar o endereço no meio.

Princípios de funcionamento:

  • O parser abre a página, aguarda o carregamento, encontra os elementos necessários, extrai texto, links ou atributos, navega para a próxima página e repete o processo.
  • O proxy é adicionado uma vez nas configurações do projeto. Depois, todas as solicitações de rede passam por ele.
  • Para estabilidade, use velocidades moderadas, pausas entre ações e rotação de IPs.

O que é importante entender antes de começar:

  • Siga as regras do site de origem e a legislação do seu país. Respeite o robots.txt e os termos de uso do recurso. Obtenha permissão se planeja realizar extrações intensivas.
  • Não extraia dados pessoais que não estão destinados à coleta automática. Trabalhe apenas com informações abertas e permitidas.
  • O objetivo dos proxies móveis é um funcionamento estável e correto, não contornar limitações impostas por lei ou pelo proprietário do site.

⚠️ Atenção: Nunca use proxies e ferramentas de extração para ações que são proibidas pela legislação local ou pelas regras do site. Este guia é destinado a cenários educacionais e de trabalho legítimos com acesso autorizado aos dados.

Etapa 1: Planejando a Tarefa e Preparando a Estrutura dos Dados

Objetivo da Etapa

Definir quais dados são necessários, onde estão na página, como navegar entre as páginas e acordar as regras de frequência das solicitações. O resultado será um plano simples campo → seletor → fonte e uma lista de URLs para começar.

Instruções Detalhadas

  1. Acesse o site de teste com produtos (exemplo: Books to Scrape). Verifique se é um recurso de demonstração que permite a coleta de dados educacionais.
  2. Defina os campos para extração: nome do produto, preço, avaliação, disponibilidade (Em estoque), link para a página do produto e imagem (URL da imagem).
  3. Documente a estrutura dos dados: crie uma tabela no Google Sheets ou Excel com as colunas Título, Preço, Avaliação, Disponibilidade, URL do Produto, URL da Imagem.
  4. Verifique o paginamento: encontre o botão 'next' ou números das páginas na parte inferior da lista. Anote a classe CSS ou o texto do botão (por exemplo, 'li.next a').
  5. Avalie a profundidade: quantas páginas e produtos. Para a execução de teste, pegue de 3 a 5 páginas.
  6. Defina a frequência das solicitações: comece com 1 solicitação a cada 2–4 segundos e pausas progressivas antes do paginamento.

Dica: Quanto mais simples e limpa for a meta inicial, mais fácil será a depuração. Comece com 1–2 campos (por exemplo, nome e preço), depois adicione os demais.

Resultado Esperado

Você terá uma lista de URLs para começar, uma lista de campos e entenderá como navegar entre as páginas.

Problemas Possíveis e Soluções

  • Incerteza sobre onde está o elemento necessário. Solução: passe o cursor sobre o elemento no navegador e use 'Inspecionar' para encontrar um atributo ou classe únicos.
  • Paginamento instável. Solução: use o botão 'next' em vez dos números das páginas, isso é mais fácil e mais estável.

✅ Verificação: Na sua tabela, você possui uma lista de campos e 3–5 URLs de início. A compreensão do paginamento está confirmada.

Etapa 2: Obtendo e Verificando o Proxy Móvel

Objetivo da Etapa

Obter um proxy móvel, conseguir o endereço, porta, login e senha, selecionar o modo de rotação de IP e garantir que o proxy funcione de forma estável.

Instruções Detalhadas

  1. Faça login no painel do provedor de proxies móveis. Um exemplo apropriado é o mobileproxy.space, onde estão disponíveis IPs móveis de operadoras, rotação configurável e documentação sobre os formatos de autenticação.
  2. Crie uma conta de proxy. Se necessário para a tarefa, indique o pool de cidades ou países desejados. Para o projeto educacional, use a região padrão.
  3. Copie as configurações: host (por exemplo, gw.provider.example), porta (por exemplo, 10000–20000), login e senha. Salve esses dados em um gerenciador de senhas.
  4. Configure a rotação de IP: escolha um intervalo de 3 a 10 minutos. Para coletagens estáveis entre páginas, use uma sessão fixa de 5 a 15 minutos para que o IP não mude no meio da extração da página do produto.
  5. Verifique o proxy para garantir que esteja funcionando: abra o navegador e configure o proxy do sistema (HTTP) no host:porta obtido com login e senha. Acesse uma página de 'ver IP' ou qualquer serviço autorizado onde seu endereço externo é visível e certifique-se de que o IP mudou para um móvel.
  6. Desative o proxy do sistema no navegador após a verificação, para não interferir no funcionamento das ferramentas.

Dica: Se o provedor oferecer um botão API de 'mudar IP', anote sua URL. Isso será útil para alterar manualmente o IP entre os lançamentos das tarefas.

Resultado Esperado

Você terá credenciais ativas do proxy móvel e a confirmação de que o IP é corretamente substituído e a rotação está configurada.

Problemas Possíveis e Soluções

  • Erro de autenticação no navegador. Solução: verifique se o login e a senha estão corretos, considerando as letras maiúsculas e minúsculas.
  • O site não abre através do proxy. Solução: mude o nó ou porta no painel do provedor, ou entre em contato com o suporte. Certifique-se de que está usando o protocolo suportado (HTTP/HTTPS).

✅ Verificação: Você confirma o IP externo do proxy móvel e sabe como iniciar a rotação quando necessário.

Etapa 3: Configurando o Proxy Móvel no Octoparse

Objetivo da Etapa

Conectar o proxy móvel a um projeto específico no Octoparse, para que todas as solicitações sejam feitas através dele com a rotação e os atrasos desejados.

Instruções Detalhadas

  1. Inicie o Octoparse e faça login na conta. Na tela principal, clique em '+ Novo' ou 'Criar Tarefa'.
  2. Insira a URL inicial da sua lista (por exemplo, a página principal da seção 'Books'). Clique em 'Salvar URL' ou 'Iniciar' para pré-visualização.
  3. Acesse as configurações do projeto. No painel esquerdo, encontre a seção 'Configurações', 'Avançado' ou 'Configurações da Tarefa' (o nome pode variar conforme a versão). Vá até o bloco 'Proxy' ou 'Rotação de IP'.
  4. Selecione 'Usar meu proxy' ou 'Proxy personalizado'. Digite o host e a porta do seu proxy móvel.
  5. Forneça a autenticação: insira login e senha. Se houver a opção 'Lembrar credenciais', ative essa opção.
  6. Ative a rotação de IP no Octoparse (se disponível), ou deixe a rotação a cargo do provedor. Se o Octoparse permitir 'Alterar IP a cada X minutos', sincronize esse intervalo com as configurações no painel do proxy (por exemplo, 5 minutos).
  7. Defina a velocidade: em 'Velocidade' ou 'Configurações de Execução', configure atrasos de 2 a 4 segundos entre as ações e 5 a 8 segundos antes da paginação. Ative a opção 'Aleatorizar atraso', se disponível.
  8. Salve as configurações. Clique em 'Testar conexão' (se disponível) para garantir que o projeto consegue acessar a internet através do proxy.

Dica: Guarde perfis diferentes de proxy para diferentes projetos. Ao nomeá-los, indique a região e o intervalo de rotação, para evitar confusões.

⚠️ Atenção: Não ative a execução paralela de muitas threads em um único IP móvel. Isso pode levar a atividades suspeitas. É melhor escalar pela quantidade de proxies.

Resultado Esperado

O projeto no Octoparse é salvo, a testagem de conexão confirma a ligação, e a pré-visualização das páginas abre de forma estável.

Problemas Possíveis e Soluções

  • 'Falha ao conectar via proxy'. Solução: verifique o host:porta, autenticação, e certifique-se de que não há um proxy do sistema no SO que conflita com o aplicativo.
  • A página está carregando muito lentamente. Solução: aumente o timeout de carregamento em 'Avançado' e diminua o número de solicitações simultâneas.

✅ Verificação: Na pré-visualização do Octoparse, as páginas abrem sem erros e o log de conexões indica acessos através do seu proxy.

Etapa 4: Configurando o Proxy Móvel no ParseHub

Objetivo da Etapa

Conectar o proxy móvel ao projeto ParseHub, para que todas as chamadas de rede sejam feitas através do IP especificado, com autenticação e atrasos.

Instruções Detalhadas

  1. Abra o ParseHub e crie um novo projeto: botão 'Novo Projeto', insira a URL inicial. Aguarde o carregamento da página na janela de pré-visualização.
  2. Acesse as configurações do projeto. No painel à direita ou através do ícone de 'engrenagem', abra 'Configurações do Projeto' ou 'Rede' (o nome pode variar conforme a versão).
  3. Encontre a seção 'Proxy' ou 'Usar servidor proxy'. Selecione o protocolo HTTP/HTTPS, e insira o host e a porta do seu proxy móvel.
  4. Forneça login e senha para autenticação. Se houver um checkbox 'Salvar credenciais', ative-o.
  5. Defina atrasos nas configurações de execução: 'Atraso antes das ações' 2–4 segundos, 'Timeout de carregamento da página' 20–40 segundos, 'Aleatorizar atrasos' se houver essa opção.
  6. Salve as configurações. Se houver um botão 'Testar proxy' ou 'Testar conexão', faça o teste.
  7. Volte para a janela de pré-visualização e atualize a página. Certifique-se de que o conteúdo carrega de forma estável e sem erros de autenticação.

Dica: Se o seu provedor tiver diferentes pontos de saída (cidades), use hosts diferentes para projetos separados no ParseHub. Isso facilitará a análise dos logs e aumentará a estabilidade.

Resultado Esperado

O projeto ParseHub abre páginas sem erros e o modo proxy está ativo.

Problemas Possíveis e Soluções

  • A autenticação aparece várias vezes. Solução: reverta a entrada do login e senha nas configurações, verificando se não há espaços extras ao copiar.
  • A página não carrega na pré-visualização. Solução: aumente o timeout, assegure-se de que o proxy está funcionando (teste no navegador), e se necessário, mude o nó do provedor.

✅ Verificação: Na pré-visualização do ParseHub, as páginas abrem de forma estável através do proxy. Não há erros 407 Proxy Authentication Required.

Etapa 5: Criando e Executando uma Tarefa no Octoparse (exemplo)

Objetivo da Etapa

Configurar uma cadeia de ações no Octoparse para extrair título, preço, avaliação, disponibilidade, link e imagem usando uma lista de produtos. Obter um cenário estável com paginamento e exportação.

Instruções Detalhadas

  1. No projeto já conectado ao proxy, insira a URL inicial da seção do catálogo. Clique em 'Go' para pré-visualização.
  2. Clique em 'Auto-detect web page data' (Auto-detecção). Aguarde enquanto Octoparse destaca os blocos da lista de produtos e sugere os campos.
  3. Revise os campos sugeridos. Se necessário, clique no título do produto e selecione 'Extrair texto'; no preço — 'Extrair texto'; no link — 'Extrair URL'; na imagem — 'Extrair URL da imagem'; na avaliação — extraia o atributo da classe e depois converta em uma avaliação legível.
  4. Crie um 'Loop Item' para as páginas do produto: certifique-se de que o Octoparse identificou a lista repetitiva. Se não, selecione manualmente dois elementos iguais da lista e clique em 'Selecionar todos' para criar o loop.
  5. Adicione o paginamento: clique no botão 'next' na parte inferior e selecione 'Clique para Paginizar'. Defina um limite de número de páginas, como 3 para o teste.
  6. Defina as pausas: nas configurações 'Click' para paginamento, adicione 'Aguardar antes da próxima ação' 5–8 segundos.
  7. Abra 'Pré-visualização de Dados'. Verifique se você tem as colunas Título, Preço, Avaliação (talvez como 'class star-rating Three' e assim por diante), Disponibilidade, URL do Produto, URL da Imagem.
  8. Se necessário, adicione etapas de 'Limpar dados': remova o símbolo da moeda do preço, mapeie a classe de avaliação em números (One–Five → 1–5), corte espaços.
  9. Salve o projeto e inicie 'Executar' com os seguintes parâmetros: 'Execução local' para testes; intervalos de atraso — padrão das configurações, threads — 1.
  10. Após a conclusão da exportação, escolha o formato CSV ou Excel. Indique o caminho de salvamento e o nome do arquivo, como octoparse_books_test.xlsx.

Dica: Se a auto-detecção selecionou elementos desnecessários, remova-os manualmente no painel 'Fields'. Deixe somente as colunas necessárias, isso acelerará o desempenho e simplificará o pós-processamento.

Dica: Para uma 'Disponibilidade' correta, extraia não apenas texto, mas verifique a presença do elemento 'availability' na página do produto. Se o elemento tiver um atributo com a quantidade, adicione-o como um campo separado.

Resultado Esperado

Você obtém um conjunto de dados correto em 3–5 páginas: não menos de 60–100 linhas com todos os campos preenchidos e links válidos.

Problemas Possíveis e Soluções

  • 'Loop Item' não é criado. Solução: escolha dois elementos iguais adjacentes da página e clique em 'Selecionar todos'. Então adicione 'Extrair dados' para cada subelemento necessário.
  • A avaliação é extraída como texto de classe. Solução: use 'Limpar dados' com a função 'Substituir' para mapear 'star-rating Three' → '3'.
  • O paginamento não responde. Solução: aumente 'Aguardar por elemento' e 'Timeout', assegure-se de que está selecionando exatamente o elemento do link e não o contêiner.

✅ Verificação: Na pré-visualização e na exportação final, os valores das colunas correspondem às expectativas. Não há linhas em branco, os links são clicáveis, as imagens abrem corretamente.

Etapa 6: Criando e Executando uma Tarefa no ParseHub (exemplo)

Objetivo da Etapa

Coletar um conjunto de dados semelhante no ParseHub, configurando a seleção de elementos, paginamento e exportação.

Instruções Detalhadas

  1. No projeto aberto no ParseHub, clique na ferramenta 'Select' e clique no título do primeiro produto. Em seguida, clique no título do segundo produto para definir o modelo do elemento repetitivo. A lista ficará destacada em verde.
  2. No painel da direita, clique em 'Extrair' para extrair o texto do título. Renomeie o campo para Título.
  3. Da mesma forma, selecione o preço no primeiro e no segundo cartão. Clique em 'Extrair', escolha o tipo 'Texto', nomeie o campo como Preço.
  4. Para o link do produto, selecione o título do produto e nas propriedades do campo, escolha 'Extrair' → 'URL' ao invés de texto. Nomeie o campo como URL do Produto.
  5. Para a imagem, selecione a imagem no cartão e escolha 'Extrair' → 'URL da Imagem'. Nomeie o campo como URL da Imagem.
  6. Para a avaliação, clique no ícone de estrelas ou no bloco de texto da avaliação. Se estiver embutido na classe, extraia o atributo 'class', depois configure 'Transform' com a regra de substituição de 'One' a 'Five' para números.
  7. Adicione 'Disponibilidade': clique no bloco de disponibilidade e extraia o texto. Nomeie o campo como Disponibilidade.
  8. Configure o paginamento: clique no botão 'next' ou no número da próxima página e selecione 'Clique'. Defina 'Repetir o modelo atual' até 3–5 páginas.
  9. Adicione atrasos nas ações 'Click' e 'Wait' de 4 a 8 segundos antes de navegar entre as páginas. Ative 'Aleatorizar' se houver.
  10. Clique em 'Executar' para um lançamento local. Aguarde até a conclusão e exporte o resultado em CSV/Excel.

Dica: Se o ParseHub estiver selecionando um contêiner muito amplo, restrinja a seleção: clique novamente no subelemento desejado ou use 'Seleção Vazia' e adicione os elementos gradualmente.

Dica: Para páginas complexas, adicione uma etapa 'Aguardar pelo elemento' com um atributo CSS específico para aguardar o bloco desejado antes da extração.

Resultado Esperado

Você obtém um conjunto de dados semelhante, comparável ao que foi extraído do Octoparse, confirmando a lógica correta e a estabilidade do proxy.

Problemas Possíveis e Soluções

  • A lista não é reconhecida. Solução: selecione duas cartões iguais consecutivos, para que o ParseHub perceba o padrão de repetição.
  • Os campos estão ocasionalmente vazios. Solução: aumente os atrasos após o carregamento da página e use 'Aguardar pelo elemento' para o conteúdo.

✅ Verificação: Os dados são extraídos sequencialmente sem omissões, a exportação em CSV/Excel abre e corresponde à estrutura.

Etapa 7: Anti-bloqueio e Limites: Como Manter a Estabilidade

Objetivo da Etapa

Proteger os processos de bloqueios excessivos através de uma cadência cuidadosa, rotação adequada e controle da qualidade das solicitações.

Configurações Recomendadas

  1. Taxa de solicitações: mantenha 1–2 solicitações por segundo no máximo, mas o ideal é mais calmo — 1 solicitação a cada 2–4 segundos.
  2. Atrasos durante a paginação: 5–10 segundos, preferencialmente com aleatorização.
  3. Rotação de IP: a cada 3–10 minutos. Para cartões longos, use uma sessão sticky de 5–15 minutos, para não perder o contexto.
  4. Paralelismo: 1 thread por 1 IP móvel. Para escalar, adicione novos proxies, em vez de threads em um único IP.
  5. Timeouts: Timeout de Carregamento da Página 20–45 segundos, tentativas de recarga de 1–2 vezes em caso de falha.
  6. Pausa entre lançamentos: 3–5 minutos, para permitir que a rede "esfrie" após uma longa sessão.

Dica: Mantenha um registro: anote o intervalo de rotação, o volume de páginas coletadas e a taxa de erros. Isso ajudará a definir limites precisos.

⚠️ Atenção: Evite contornar limitações técnicas do site. Se o recurso proíbe claramente a coleta automatizada, não utilize o parser. Trabalhe apenas onde isso é permitido e com um volume que o site possa suportar sem prejuízo.

Resultado Esperado

Redução de erros de carregamento, ausência de picos de CAPTCHA e bloqueios, coleta de dados uniforme.

Problemas Possíveis e Soluções

  • Captcha frequente aparece. Solução: diminua a velocidade, aumente os atrasos, reduza o paralelismo e, se necessário, troque a região do proxy com o provedor.
  • Respostas aleatórias 403/429. Solução: aumente as pausas, reduza a profundidade em um único lançamento, use o agendador com intervalos.

✅ Verificação: Nos logs, a quantidade de falhas diminui. O tempo médio por página permanece estável e a taxa geral de campos preenchidos aumenta.

Etapa 8: Exportação, Validação e Estruturação dos Dados

Objetivo da Etapa

Exportar os resultados corretamente, verificar sua integridade e organizá-los em uma estrutura conveniente para análise.

Instruções Detalhadas

  1. Exporte os resultados do Octoparse para Excel (XLSX) e do ParseHub para CSV. Renomeie os arquivos com a data, como books_octoparse_2026-06-22.xlsx e books_parsehub_2026-06-22.csv.
  2. Abra a exportação e verifique se todas as colunas estão presentes. Compare 5–10 registros aleatórios com o site manualmente.
  3. Verifique duplicatas: classifique por ProductURL e remova linhas duplicadas.
  4. Limpe os dados: remova o símbolo da moeda do preço, normalize os preços como números, classifique a avaliação de 1 a 5 e corte espaços.
  5. Salve o arquivo final como versão master. Faça uma cópia para trabalho e outra para arquivo.

Dica: Estabeleça regras simples de controle de qualidade: mínimo de 95% de preenchimento dos campos-chave e máximo de 2% de duplicatas em um teste.

Resultado Esperado

Um conjunto de dados limpo e completo, pronto para análise ou carregamento para BI/CRM.

Problemas Possíveis e Soluções

  • Codificação CSV incorreta. Solução: abra o arquivo em um editor, selecione UTF-8 ou importe para Google Sheets especificando a codificação.
  • Separadores misturados. Solução: exporte para XLSX ou defina o ponto e vírgula como separador.

✅ Verificação: A conferência manual de 10 registros confirma a precisão. Os campos correspondem ao formato esperado.

Etapa 9: Automação de Lançamentos e Controle de Estabilidade

Objetivo da Etapa

Configurar lançamentos regulares de tarefas, logs e monitoramento, para manter o resultado sem intervenção manual.

Instruções Detalhadas

  1. No Octoparse, abra 'Agendar' ou 'Agendador de Tarefas'. Crie um cronograma, por exemplo, diariamente às 02:00. Defina limites de profundidade e limite de linhas por execução.
  2. No ParseHub, configure 'Agendar Lançamentos' através do painel web: escolha a periodicidade (uma vez por dia ou semana), limite o tempo de execução e o número de páginas.
  3. Ative notificações: habilite alertas por e-mail sobre a conclusão das tarefas e sobre falhas.
  4. Adicione controle de rotação de IP: no painel do provedor, configure a atualização automática do IP de acordo com um cronômetro, sincronize com o início do cronograma. Se necessário, defina a troca de IP antes do início do lançamento.
  5. Guarde logs: exporte o histórico de lançamentos em CSV a cada semana para análise. Registre o tempo, o número de linhas coletadas, e o número de falhas de carregamento.

Dica: Realize um pequeno teste de controle 10–15 minutos antes do cronograma principal, para garantir que o site está disponível e que o proxy está funcionando.

Resultado Esperado

As tarefas são executadas com estabilidade conforme o cronograma, os dados são atualizados, e em caso de falhas, você recebe notificações e reage rapidamente.

Problemas Possíveis e Soluções

  • A tarefa falha durante a noite. Solução: ative a reinicialização em caso de falha, aumente os timeouts e reduza a profundidade.
  • Às vezes, o IP não muda a tempo. Solução: configure a troca de IP 1–2 minutos antes do início do cronograma.

✅ Verificação: No histórico, há executivos noturnos bem-sucedidos, e e-mails sobre a conclusão são recebidos, com o volume de dados aumentando conforme o planejado.

Verificando o Resultado

Checklist: o que deve funcionar

  • Octoparse e ParseHub abrem as páginas iniciais sem erros, o proxy está ativo.
  • Os campos são extraídos corretamente, a paginação é clicável e aguarda o carregamento.
  • A exportação para CSV/XLSX cria arquivos legíveis sem distorções.
  • A média percentual de campos vazios não excede 5% no conjunto de teste.
  • A rotação de IP funciona de acordo com o intervalo estabelecido, sem erros de autenticação.

Como testar

  1. Execute um teste curto em 2–3 páginas e verifique os logs: a taxa de sucesso deve ser mínima de 95%.
  2. Verifique dez registros aleatórios manualmente, comparando com o site.
  3. Verifique se o IP externo muda conforme o cronograma no painel do provedor.

Métricas de sucesso

  • Lançamento ocorre sem erros de autenticação do proxy.
  • Ausência de captchas frequentes e erros 403/429.
  • Tempo estabilizado por página e volume de dados previsível durante a execução.

Erros Comuns e Soluções

  • Problema: '407 Proxy Authentication Required'. Causa: login/senha incorretos. Solução: revise as credenciais, elimine espaços extras ao copiar, salve as configurações e teste novamente.
  • Problema: páginas não carregam ou carregam muito lentamente. Causa: timeout muito curto, nó sobrecarregado, alta velocidade de solicitações. Solução: aumente o timeout, reduza a velocidade, mude o nó do provedor.
  • Problema: campos vazios em algumas linhas. Causa: elementos não renderizaram a tempo. Solução: adicione 'Aguardar pelo elemento', aumente os atrasos e ative a aleatorização.
  • Problema: a paginação clica, mas os dados não mudam. Causa: o elemento selecionado está incorreto ou é necessário aguardar atualização. Solução: selecione o link dentro do botão 'next', adicione 'Aguardar navegação'.
  • Problema: registros duplicados. Causa: coleta de cartões iguais em páginas adjacentes devido a filtros. Solução: filtre por ProductURL, ative a verificação de duplicatas na exportação.
  • Problema: banimentos repentinamente do IP. Causa: ritmo muito agressivo. Solução: diminua o paralelismo para uma thread por IP, aumente as pausas e utilize uma sessão sticky de tamanho razoável.
  • Problema: codificação CSV incorreta. Causa: configurações do sistema de localidade. Solução: use XLSX ou importe o CSV configurando explicitamente para UTF-8.

Funcionalidades Adicionais

Configurações avançadas:

  • Agendamento de rotação: configure a troca automática de IP no painel do provedor antes do início de cada execução programada. Isso reduzirá a probabilidade de acúmulo de rastros de comportamento em um único IP.
  • Sessões fixas para os cartões: ao acessar a página do produto, mantenha o IP ativo por 5–10 minutos para concluir a coleta de um único endereço. Isso diminui o risco de inconsistências.
  • Limpeza de dados em tempo real: use 'Limpar dados' no Octoparse e 'Transformar' no ParseHub para padronizar preços, avaliações e links já durante a coleta.
  • Divisão das tarefas: separe a coleta em duas etapas — lista e cartões. Primeiro, colete os ProductURLs, depois acesse cada um deles separadamente. Isso facilita o controle de qualidade e reexecuções.
  • Integrações: exporte diretamente para Google Sheets ou bancos de dados, se o seu plano permitir. Configure notificações sobre a qualidade dos dados.

Otimização:

  • Velocidade versus estabilidade: não busque a máxima velocidade. Coletar 1–2 páginas por minuto de forma estável é frequentemente melhor do que realizar impulsos com risco de bloqueios.
  • Regionalidade: se o site for geossensível, escolha proxies móveis de uma região específica para resultados consistentes.

Dica: Mantenha um 'passaporte do projeto': escolha o site, a frequência, os limites, a rotação, os pontos de falha e os contatos do suporte do proxy. Isso acelera a resposta a incidentes.

FAQ

Pergunta: Como saber se o proxy é realmente móvel?
Resposta: No painel do provedor deve constar o tipo de rede (3G/4G/5G) e a operadora. Além disso, IPs móveis geralmente mudam frequentemente durante a rotação e têm intervalos característicos de operadoras.

Pergunta: Posso usar um único proxy móvel em duas tarefas ao mesmo tempo?
Resposta: Não é recomendado. Uma thread por IP móvel é a opção ideal para estabilidade. Escale adicionando proxies.

Pergunta: O que escolher: rotação no provedor ou no parser?
Resposta: É mais confiável a rotação no provedor. No parser, mantenha as pausas e timeouts básicos e faça a troca de IP no painel do proxy, para evitar conflitos.

Pergunta: Como lidar com CAPTCHAs?
Resposta: Diminua a velocidade, aumente os atrasos, use uma rotação mais suave e menor paralelismo. Trabalhe sempre dentro das regras permitidas pelo site e pela legislação.

Pergunta: O que fazer se o site mudar a formatação?
Resposta: Reconfigure os seletores: no Octoparse, atualize 'Extrair dados' para novos elementos; no ParseHub, crie seleções refinadas. Sempre teste em 2–3 páginas.

Pergunta: Como armazenar senhas de proxies de maneira segura?
Resposta: Use um gerenciador de senhas e contas separadas para projetos educacionais e reais. Não armazene senhas em documentos abertos.

Pergunta: Como verificar rapidamente se a rotação ocorreu?
Resposta: Consulte o painel do provedor ou faça uma verificação rápida em um serviço de visualização de IP no navegador através desse mesmo proxy antes de iniciar a tarefa.

Pergunta: Como evitar duplicatas em execuções regulares?
Resposta: Guarde o campo chave (por exemplo, ProductURL) e compare com o histórico. Na verificação de duplicatas desligadas utilize filtragem durante a importação no armazenamento.

Pergunta: É possível combinar dados de Octoparse e ParseHub?
Resposta: Sim. Conecte as exportações pela chave ProductURL e mantenha prioritariamente o campo onde o preenchimento é maior. Isso ajuda a validar o resultado.

Pergunta: Onde ver todos os passos para configurar o proxy neste guia?
Resposta: Vá para as seções 'Etapa 3' e 'Etapa 4' através dos links internos: configuração do proxy no Octoparse e configuração do proxy no ParseHub.

Conclusão

Em resumo: você configurou e ajustou o Octoparse e o ParseHub, conectou proxies móveis, criou templates funcionais de extração com paginamento e validação, configurou anti-bloqueio, exportação e lançamentos regulares. O produto final é um processo de coleta de dados sem código com resistência a bloqueios, através de uma cadência cuidadosa e IPs móveis.

O que fazer a seguir: aumente o volume adicionando proxies móveis e cronogramas, melhore a qualidade através da transformação de dados e integre as exportações em BI ou CRM. Se você utilizar serviços como o mobileproxy.space, explore as funções adicionais do painel de rotação e os logs de atividade.

Para onde expandir: aprenda a analisar a estrutura de páginas complexas, use limpeza e normalização de dados avançadas, e adicione controle de qualidade com limites de preenchimento. Para tarefas avançadas, considere pipelines em cascata: coleta da lista, em seguida, das páginas, e por fim, da mídia. Lembre-se: sempre trabalhe dentro das regras do site e da legislação.

Dica: Antes de qualquer modificação grande, faça um backup do projeto e guarde as configurações atuais do proxy separadamente. Isso economiza tempo ao reverter.