解决Cloudflare通过SSL指纹识别实现的反爬虫机制

转载：https://blog.csdn.net/qq_42200107/article/details/123715927

前文分析问题略，可以查看原文，直接上解决方法。

……………………

但我们找到了一些偏门的方法，间接的影响【Python】发出的HTTPS请求中的TLS握手特征，从而逃过Cloudflare的特征库识别。

方法一：

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.ssl_ import create_urllib3_context
 
class CipherAdapter(HTTPAdapter):
    def init_poolmanager(self, *args, **kwargs):
        context = create_urllib3_context(ciphers='DEFAULT:@SECLEVEL=2')
        kwargs['ssl_context'] = context
        return super(CipherAdapter, self).init_poolmanager(*args, **kwargs)
 
    def proxy_manager_for(self, *args, **kwargs):
        context = create_urllib3_context(ciphers='DEFAULT:@SECLEVEL=2')
        kwargs['ssl_context'] = context
        return super(CipherAdapter, self).proxy_manager_for(*args, **kwargs)
 
client = requests.Session()
client.mount('https://public-wax-on.wax.io', CipherAdapter())
client.headers["User-Agent"] = "Mozilla/5.0"
resp = client.get("https://public-wax-on.wax.io/wam/sign")
print(resp.text)

方法二：

import requests
import cloudscraper
 
scraper = cloudscraper.create_scraper(browser={'browser': 'firefox', 'platform': 'windows', 'mobile': False})
resp = scraper.get("https://public-wax-on.wax.io/wam/sign")
print(resp.text)

另一种方法是直接使用别人写好的反检测对抗库
【cloudscraper】:https://github.com/VeNoMouS/cloudscraper

使用前需要先安装:

pip install cloudscraper

另外，还有一个类似的开源库也是做这个事情的：
【cloudflare-scrape】:https://github.com/Anorov/cloudflare-scrape

这两个库都很强大，他们最有用的部分还不只是过SSL指纹识别检测，而是处理一些需要执行JavaScript的反机器人页面，以及一些识别人类还是机器人的验证码。