求爬虫大佬解答，关于 Cloudflare 的反爬的
目标是用了 CF 的付费计划，有缓存，目标是每次请求都让 CF 回源,最终目标是将请求间隔降到 50-100ms
尝试用 censys 找源站 IP 没找到，所以只能从 CF 的入口着手
直接 curl 会触发 CF 的 403,这里用 tls 指纹解决了
然后用 URL 混淆突破了缓存，但是只要请求的频率稍稍快一点，就会触发 429 error code: 1015
这里查了官方文档说是请求超过回源限制了，但是返回的 Retry-After 是 0
已经使用了代理，但是是同一个 C 段内的 64 个 IP ，机房 IP
----------------------
目前尝试了几种情况 结果是这样
1.TLS 验证，代理轮询，间隔 5 秒，模拟 IOS => 可以正常访问
2.TLS 验证，代理轮询，间隔 5 秒，随机模拟 IOS/SAFARI/CHROME => 偶尔报 429-1015 错误
3.TLS 验证，不使用代理，间隔 5 秒 随机模拟 => 成功 8 次后 返回 2 次 429-1015 ，成功 13 次，失败 1 ，成功 3 ，后面几分钟成功率基本在 90%以上，20 分钟后成功率 50%左右
4.TLS 验证，代理轮询，间隔 500 毫秒，随机模拟 IOS/SAFARI/CHROME => 偶尔报 429-1015 错误，成功率 40%左右
----------------------
如果用那种住宅 IP 代理服务的话延迟达不到要求，尝试过几个都是 500ms 左右才会返回结果
有大佬做过相关的东西吗，求思路，孩子没招了
via V2EX - 技术 (author: l1ve)
目标是用了 CF 的付费计划，有缓存，目标是每次请求都让 CF 回源,最终目标是将请求间隔降到 50-100ms
尝试用 censys 找源站 IP 没找到，所以只能从 CF 的入口着手
直接 curl 会触发 CF 的 403,这里用 tls 指纹解决了
然后用 URL 混淆突破了缓存，但是只要请求的频率稍稍快一点，就会触发 429 error code: 1015
这里查了官方文档说是请求超过回源限制了，但是返回的 Retry-After 是 0
已经使用了代理，但是是同一个 C 段内的 64 个 IP ，机房 IP
----------------------
目前尝试了几种情况 结果是这样
1.TLS 验证，代理轮询，间隔 5 秒，模拟 IOS => 可以正常访问
2.TLS 验证，代理轮询，间隔 5 秒，随机模拟 IOS/SAFARI/CHROME => 偶尔报 429-1015 错误
3.TLS 验证，不使用代理，间隔 5 秒 随机模拟 => 成功 8 次后 返回 2 次 429-1015 ，成功 13 次，失败 1 ，成功 3 ，后面几分钟成功率基本在 90%以上，20 分钟后成功率 50%左右
4.TLS 验证，代理轮询，间隔 500 毫秒，随机模拟 IOS/SAFARI/CHROME => 偶尔报 429-1015 错误，成功率 40%左右
----------------------
如果用那种住宅 IP 代理服务的话延迟达不到要求，尝试过几个都是 500ms 左右才会返回结果
有大佬做过相关的东西吗，求思路，孩子没招了
via V2EX - 技术 (author: l1ve)
