如何直接抓取本站页面?

直接用curl挂上Tor代理抓取本站页面会提示验证码, 但Tor Browser正常.
为什么这么做? 因为翻墙困难时期感觉品葱页面上的头像图标之类加载太过费时甚至导致加载失败
这是根据Tor Browser获取的header写的抓取脚本(注意如果Tor Browser运行时访问过品葱之后又用curl会被CloudFlare当作正常浏览器,即使后面用的是curl):
curl -v -x 'socks5h://127.0.0.1:9150' \
-H 'Host: pincong.rocks' \
-H 'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Firefox/60.0' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' \
-H 'Accept-Language: en-US,en;q=0.5' \
-H 'Accept-Encoding: gzip, deflate, br' \
-H 'Connection: keep-alive' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'Pragma: no-cache' \
-H 'Cache-Control: no-cache' \
'https://pincong.rocks/' |
brotli -c -d

要发言请先登录注册

发起人

pciezdjxce 新注册用户

状态

  • 最新活动: 2019-09-28
  • 浏览: 3083