PHP Curl出现403错误的解决办法

php  /  管理员 发布于 4年前   708

自己用的小PHP应用，使用curl抓网页下来处理，为了穿墙方便，使用Privoxy作为代理，便于选择哪些网站使用proxy、哪些不用。但今天却遇到了奇怪的问题，访问google baidu这些网站居然都返回403错误，而访问其他的一些网站没事，如果设置为不使用proxy则都能正常访问。

难道google baidu就不让用proxy连接么？显然不可能，所以打开curl的信息输出（curl_setopt($this->mSh, CURLOPT_VERBOSE, 1);）看看，得到以下结果：

复制代码 代码如下:

*   Trying 127.0.0.1... * connected
* Connected to 127.0.0.1 (127.0.0.1) port 8118 (#0)
* Establish HTTP proxy tunnel to www.baidu.com:80
> CONNECT www.baidu.com:80 HTTP/1.0
Host: www.baidu.com:80
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Proxy-Connection: Keep-Alive

< HTTP/1.0 403 Connection not allowable
< X-Hint: If you read this message interactively, then you know why this happens ,-)
<
* The requested URL returned error: 403
* Received HTTP code 403 from proxy after CONNECT
* Closing connection #0
... Failed.

可以看到proxy服务器工作正常，的确是baidu返回了403错误，但原因肯定还在我这边。终于，从网上（1of2, 2of2）得到了点启发──我使用的是proxytunnel而非proxy。

在代码中，有这么一句：

复制代码 代码如下:

 curl_setopt($this->mSh, CURLOPT_HTTPPROXYTUNNEL, true);
 curl_setopt($this->mSh, CURLOPT_PROXY, $phost);
php文档中没有详细说明，不过man curl中有详细解释，两者都是代理，proxytunnel（-p参数）允许其他协议通过http代理传输，而proxy（-x参数）则只能走http协议。所以我猜测，google baidu的服务器和curl的proxytunnel不和，所以返回403。

禁用掉上面2行代码的第一句后，curl访问恢复正常。

比较奇怪的是，几种操作系统下还不一样，一台MAC OSX就要显式的禁用proxytunnel才可以，curl版本：

复制代码 代码如下:

$ curl --version
curl 7.16.3 (powerpc-apple-darwin9.0) libcurl/7.16.3 OpenSSL/0.9.7l zlib/1.2.3
Protocols: tftp ftp telnet dict ldap http file https ftps
Features: GSS-Negotiate IPv6 Largefile NTLM SSL libz
而另外一台ubuntu则完全不受影响，怎么都能用，curl版本：
复制代码 代码如下:

$ curl --version
curl 7.18.2 (i486-pc-linux-gnu) libcurl/7.18.2 OpenSSL/0.9.8g zlib/1.2.3.3 libidn/1.10
Protocols: tftp ftp telnet dict ldap ldaps http file https ftps
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz
MT主机上的centos也没事，curl版本：
复制代码 代码如下:

$ curl --version
curl 7.15.5 (i686-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5
Protocols: tftp ftp telnet dict ldap http file https ftps
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz
看来不完全是curl版本问题，MAC OSX的确与众不同啊。

还有一个原因也会导致curl返回403错误，如果设置了：

复制代码 代码如下:

 curl_setopt($ch, CURLOPT_NOBODY, true);
则需要紧跟着设置：
复制代码 代码如下:

 curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');
不然会因为http服务器不允许 HEAD 命令而返回403错误。参考：Trouble with a cURL request in PHP（http://forums.devshed.com/php-development-5/trouble-with-a-curl-request-in-php-445222.html）。MAC OSX上curl之所以特殊，也不排除是这种原因吧。

您可能感兴趣的文章:

• PHP CURL获取返回值的方法
• PHP中CURL的CURLOPT_POSTFIELDS参数使用细节
• php使用curl抓取qq空间的访客信息示例
• curl不使用文件存取cookie php使用curl获取cookie示例
• PHP curl 获取响应的状态码的方法
• php curl模拟post请求小实例
• php curl基本操作详解
• 解析PHP 使用curl提交json格式数据
• PHP的curl实现get,post和cookie(实例介绍)
• 深入PHP curl参数的详解
• PHP中使用cURL实现Get和Post请求的方法
• PHP下使用CURL方式POST数据至API接口的代码
• php curl 伪造IP来源的实例代码
• PHP CURL模拟登录新浪微博抓取页面内容 基于EaglePHP框架开发
• php curl常见错误：SSL错误、bool(false)
• php获取远程图片的两种 CURL方式和sockets方式获取远程图片
• php中使用Curl、socket、file_get_contents三种方法POST提交数据
• PHP读取网页文件内容的实现代码(fopen,curl等)
• PHP 获取远程网页内容的代码(fopen,curl已测)
• 基于PHP的cURL快速入门教程 (小偷采集程序)
• 开启CURL扩展，让服务器支持PHP curl函数(远程采集)
• 在PHP中使用curl_init函数的说明
• php运行出现Call to undefined function curl_init()的解决方法
• 无法加载php_curl.dll解决办法
• php的curl实现get和post的代码
• PHP函数分享之curl方式取得数据、模拟登陆、POST数据