PHP CURL 异步测试

企业设备贷款刘经理 發表於 2019-9-23 20:32:00

需求, 请求第三方接口获取数据, 单个接口0.1秒, 如果有10万个接口, 那么岂不是得1万秒才能请求完, 所以使用PHP异步测试一下, 其他的方法还有:
1.使用队列, SupserVior 开多个进程
2.使用Guzzle(异步)
3.使用Swoole协程
4.直接使用多进程等
不过最好的方法应该还是使用异步, 不过可能存在两个缺点
1.异步不是很方便后续的逻辑处理, 应为它是一起请求的
2.并发请求会导致第三方接口可能处理不了, 导致503错误,或者是cpu满载(请求淘宝IP查询的接口出现过)
 
这里做个测试,使用淘宝的一个商品查询接口做请求
一.不使用异步
<div class="cnblogs_code">
<pre><?php

/**
* 1个请求 耗时 0.19000s,平均每个耗时:0.19000s
* 10个请求耗时 1.60000s,平均每个耗时:0.16000s
* 100个请求耗时 14.92400s, 平均每个耗时:0.14924s
* 1000个请求超时
*
*/

set_time_limit(0);
$time = microtime(true);
echo '<pre>开始时间' . date('Y-m-d H:i:s', time()) . ' ';

$data = $res =[];
$count= 1000;

for ($i=0; $i <$count ; $i++) {
 $url = 'https://suggest.taobao.com/sug?code=utf-8&q=%E5%8D%AB%E8%A1%A3&callback=cb';
 $res[] = curl_request($url);
}

function curl_request($url, $post='', $cookie='', $returnCookie=0)
{
 $curl = curl_init();
 curl_setopt($curl, CURLOPT_URL, $url);
 curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)');
 curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
 curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
 curl_setopt($curl, CURLOPT_REFERER, "http://XXX");

 //关闭SSL验证
 curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);

 if($post) {
 curl_setopt($curl, CURLOPT_POST, 1);
 curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));
 } else {
 //curl_setopt($curl, CURLOPT_POST, 1); //使用后大概快了20%, 但是这个是post请求的
 }

 if($cookie) {
 curl_setopt($curl, CURLOPT_COOKIE, $cookie);
 }
 curl_setopt($curl, CURLOPT_HEADER, $returnCookie);
 curl_setopt($curl, CURLOPT_TIMEOUT, 10);
 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
 $data = curl_exec($curl);
 if (curl_errno($curl)) {
 return curl_error($curl);
 }
 curl_close($curl);
 if($returnCookie){
 list($header, $body) = explode("\r\n\r\n", $data, 2);
 preg_match_all("/Set\-Cookie:([^;]*);/", $header, $matches);
 $info['cookie']= substr($matches, 1);
 $info['content'] = $body;
 return $info;
 }else{
 return $data;
 }
}

$cost = microtime(true) - $time;
echo "结束时间" .date('Y-m-d H:i:s', time()) . ', 耗时 '. sprintf('%.5f', $cost) . 's, 平均每个耗时:' . sprintf('%.5f', $cost / $count) . 's ';

var_dump($res);</pre>
</div>
 
二.使用异步请求
<div class="cnblogs_code">
<pre><?php

/**
* 1个请求 耗时 0.16300s 平均每个耗时:0.16300s
* 10个请求耗时 0.33500s 平均每个耗时:0.03350s
* 100个请求耗时 1.62600s,平均每个耗时:0.01626s
* 1000个请求耗时 22.27700s, 平均每个耗时:0.02228s
*
*/

$time = microtime(true);
echo '<pre>开始时间' . date('Y-m-d H:i:s', time()) . ' ';

set_time_limit(0);

$data = [];
$count = 1000;

for ($i=0; $i <$count ; $i++) {
$url = 'https://suggest.taobao.com/sug?code=utf-8&q=%E5%8D%AB%E8%A1%A3&callback=cb';
$data[]['url'] = $url;
}

function getMultiCurlResult($data = [], $timeout = 120)
{
$request = [];
$requestResource = curl_multi_init();
foreach ($data as $k => $v) {
 $option = [
 CURLOPT_TIMEOUT => $timeout,//请求超时时间,防止死循环
 CURLOPT_RETURNTRANSFER => true,//获取的信息以文件流的形式返回，而不是直接输出。
 ];
 if (!isset($v['url']) || !$v['url']) return null;
 $option = trim($v['url']);
 if (stripos($v['url'], 'https') === 0) $option = false;

 if (isset($v['data'])) {//如果设置了请求参数,则是POST请求
 $option = true;
 $option = http_build_query($v['data']);
 }

 //启动一个curl会话
 $request[$k] = curl_init();
 //设置请求选项
 curl_setopt_array($request[$k], $option);
 //添加请求句柄
 curl_multi_add_handle($requestResource, $request[$k]);
}

$running = null;
$result = [];
do {//执行批处理句柄
 //CURLOPT_RETURNTRANSFER如果为0,这里会直接输出获取到的内容.如果为1,后面可以用curl_multi_getcontent获取内容.
 curl_multi_exec($requestResource, $running);
 //阻塞直到cURL批处理连接中有活动连接,不加这个会导致CPU负载超过90%.
 curl_multi_select($requestResource);
} while ($running > 0);

foreach ($request as $k => $v) {
 $result[$k] = curl_multi_getcontent($v);
 curl_multi_remove_handle($requestResource, $v);
}
curl_multi_close($requestResource);

return $result;
}

$res = getMultiCurlResult($data);

$cost = microtime(true) - $time;
echo "结束时间" .date('Y-m-d H:i:s', time()) . ', 耗时 '. sprintf('%.5f', $cost) . 's, 平均每个耗时:' . sprintf('%.5f', $cost / $count) . 's ';

var_dump($res);</pre>
</div>
可以看出,异步的效果还是很明显的 
来源：https://www.cnblogs.com/Skrillex/p/11574619.html

頁: [1]

琼殿技术论坛's Archiver

PHP CURL 异步测试