PHP读取大文件的几种方法介绍

php  /  管理员 发布于 7年前   138

读取大文件一直是一个头痛的问题，我们像使用php开发读取小文件可以直接使用各种函数实现，但一到大文章就会发现常用的方法是无法正常使用或时间太长太卡了，下面我们就一起来看看关于php读取大文件问题解决办法，希望例子能帮助到各位。

场景：PHP读取超大文件，例如1G的日志文件，我这里使用的是400M的access.log文件

1、使用file直接读取

";echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec);}?>

运行结果：10127784 行   共使用了，7.8764359951s

我的电脑是3G内存，此方法不是推荐使用，因为需要把文件全部载入内存

2、使用linux命令  tail

"; $endtime=microtime_float();echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec);} //end

运行结果：只使用了几毫秒、轻松搞定、这种方法不能在windows下使用

3、使用fseek函数

这种方式是最为普遍的方式，它不需要将文件的内容全部读入内容，因为PHP是C写的，所以实现的时候也类似C读取文件，通过指针的移动，所以效率是相当高效的。在使用fseek来对文件进行操作时，也有多种不同的方法，效率可能也是略有差别的，

下面是常用的几种方法

方法一：使用fopen打开文件（从文件指针资源句柄）

 0){ while ($t != "\n") //换行符 { fseek($fp, $pos, SEEK_END);//移动指针 $t = fgetc($fp);//获取一个字符 $pos--;//向前偏移 }  $t = ""; $data = fgets($fp);//获取当前行的数据 $line--;}fclose($fp);echo $data,"
";$endtime=microtime_float(); echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec);}?>

运行结果：0.338493108749

方法二：一块一块的读取

 $chunk) ? $chunk : $max - $len; fseek($fp, ($len + $seekSize) * -1, SEEK_END); $readData = fread($fp, $seekSize) . $readData; if (substr_count($readData, "\n") >= $num + 1) {  $ns=substr_count($readData, "\n")-$num+2; preg_match('/(.*?\n){'.$ns.'}/',$readData,$match); $data = $match[1]; break;}}fclose($fp);echo $data,"
";  $endtime=microtime_float(); echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec);}?>

运行时间：0.00199198722839

使用fgets函数,一行一行读取

spl库函数
';}catch (Exception $e){  echo $e->getMessage();}
另外网上有很多按照块读取文件的，有兴趣的读者可以试试，我试了没成功，好像必须含有换行符“\n”才可以。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
您可能感兴趣的文章:
PHP搭建大文件切割分块上传功能示例
PHP 读取和修改大文件的某行内容的代码
用PHP读取超大文件的实例代码
PHP读取大文件末尾N行的高效方法推荐
php超快高效率统计大文件行数
PHP大文件分割上传 PHP分片上传
php使用file函数、fseek函数读取大文件效率对比分析
PHP 读取大文件并显示的简单实例(推荐)
php断点续传之如何分割合并文件
PHP实现将多个文件中的内容合并为新文件的方法示例
PHP合并静态文件详解
PHP实现的大文件切割与合并功能示例