众所周知，很多网站都会阻止数据抓取活动。那么，如何避免被发现或被阻止呢？
首先，需要明确为什么对于抓取网站数据很重要？
当目标网站从代理（数据中心）IP检测到爬网程序时，它通常会：
- 屏蔽IP
- 有意向IP提供误导性信息
- 降低响应率
其次，目标网站是如何识别我的爬虫活动的？
目标网站记录访问者的IP并分析这些IP的活动。假设您使用的是传统的数据中心代理/机房IP，则目标网站可以：
- 识别单个IP的活动（请求率）远远大于真实用户在一定时间范围内可以完成的活动
- 识别IP地址是源自可访问的代理服务器列表
- 识别IP具有相同的子网屏蔽范围
再次，我该怎样防止被发现/被检测到？
- 为了避免因每个IP的请求数量而被检测到，您可以降低每秒的请求数量。但是，这也会降低您的爬虫速度。那么，您可能会问一个好的代理网络发送请求的最大速率是多少？通常来说，对于动态住宅网络是没有限制的。比如Luminati有客户一天发送2000多万个请求。对于数据中心或者静态住宅网络，其比率可高达500个请求/秒/IP。如果您有更高的请求率或遭遇错误提示，那么您可以要么适当降低您的请求率，要么购买更多的IP来为您的爬虫工具减负。
- 为了避免因为您的IP来自于一个代理服务器而被目标网站检测到，您必须通过自动切换的、不同的、真实的动态住宅IP发送您的请求。您需要能在足够多的IP中切换以确保目标网站无法检测到您的活动。
- 使用动态住宅IP时不存在子网屏蔽范围
如果使用传统代理的解决方案，目标网站迟早会检测到您的数据抓取活动，并屏蔽您或向您提供错误的信息。
最后，杜绝屏蔽/阻止！采取行动并获得：
过硬的质量：体验世界上最大的住宅代理网络的无所不能 ；）
一对一的中文客服：您的专属Luminati账户客服将根据您的需要为您激活并设置帐户
优惠的价格：注册使用任何套餐即可获得150美金！
