侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

PHP大数据导出之扩展phpoffice/phpexcel跟rap2hpoutre/fast-excel的测试效果对比

php  /  管理员 发布于 1年前   1284

大数据导出之扩展phpoffice/phpexcel跟rap2hpoutre/fast-excel测评对比



1.phpoffice/phpexcel

作为PHP常用导出EXCEL的扩展包,用了很多项目,虽然现在它不更新了


测试导出数据量:10万左右

不说了看看效果

执行开始时间:2021-03-02 14:11:05
执行结束时间:2021-03-02 14:13:15
执行时间:130秒
使用内存:192M
导出行数:68560


phpexcel是有缓存机制的:

有以下几种缓存方式可以使用:

cache_in_memory;

默认情况下,如果你不初始化任何缓存方式,PHPExcel将使用内存缓存的方式。

cache_in_memory_serialized;  

使用这种缓存方式,单元格会以序列化的方式保存在内存中,这是降低内存使用率性能比较高的一种方案。

cache_in_memory_gzip;

与序列化的方式类似,这种方法在序列化之后,又进行gzip压缩之后再放入内存中,这回跟进一步降低内存的使用,但是读取和写入时会有一些慢。

cache_to_discISAM;

当使用cache_to_discISAM这种方式时,所有的单元格将会保存在一个临时的磁盘文件中,只把他们的在文件中的位置保存在PHP的内存中,这会比任何一种缓存在内存中的方式都慢,但是能显著的降低内存的使用。临时磁盘文件在脚本运行结束是会自动删除。

cache_to_phpTemp;

类似cache_to_discISAM这种方式,使用cache_to_phpTemp时,所有的单元格会还存在php://temp I/O流中,只把他们的位置保存在PHP的内存中。PHP的php://memory包裹器将数据保存在内存中,php://temp的行为类似,但是当存储的数据大小超过内存限制时,会将数据保存在临时文件中,默认的大小是1MB,但是你可以在初始化时修改它 


加上缓存测试

$cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_to_discISAM;
$cacheSettings = ['dir' => $path];
\PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);
$PHPExcel = new \PHPExcel(); ......


测试结果如下:

1.cache_in_memory

执行开始时间:2021-03-02 14:18:45
执行结束时间:2021-03-02 14:21:04
执行时间:139秒
使用内存:192M
导出行数:68560


2.cache_in_memory_serialized

执行失败


3.cache_in_memory_gzip

执行开始时间:2021-03-02 14:24:26
执行结束时间:2021-03-02 14:27:25
执行时间:179秒
使用内存:182M
导出行数:68560


4.cache_to_discISAM

执行开始时间:2021-03-02 14:29:14
执行结束时间:2021-03-02 14:32:10
执行时间:176秒
使用内存:279M
导出行数:68560


可以发现,phpoffice/phpexcel是比较吃内存的,所以数据量大不建议使用



2.rap2hpoutre/fast-excel

一种更快(且对内存更友好)的替代方案,主要就是导出导入,功能较少


分两种默认执行跟用生成器执行




默认测试:

测试导出数据量:10万左右

执行开始时间:2021-03-02 17:50:07
执行结束时间:2021-03-02 17:50:14
执行时间:7秒
使用内存:103M
导出行数:99627


用生成器:

执行开始时间:2021-03-03 08:46:56
执行结束时间:2021-03-03 08:47:06
执行时间:10秒
使用内存:3M
导出行数:99627



测试导出数据量:60万左右

执行开始时间:2021-03-03 09:03:19
执行结束时间:2021-03-03 09:04:22
执行时间:63秒
使用内存:2M
导出行数:552119

在内部使用生成器时是一行一行地创建,因此不会消耗额外的内存。这会是一个耗时操作,因此请确保不会触到 max_execution_time 限制 (你可以使用队列、 任何的异步技术、增加最大执行时间、甚至是从 CLI 执行)。尽管这样,仍然要注意,不要因一个导出操作耗尽你的服务器所有的内存。


因此,借助「生成器」,你现在可以在借助这个包导出大数据



  • 上一条:
    群友人性的弱点写博客的心路历程,站长转述第三章:前路迢迢!
    下一条:
    java封装继承多态等
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 在PHP 8.3版本中json_validate跟json_decode函数对比浅析(0个评论)
    • 在PHP语言中class类自动加载相关文件浅析(0个评论)
    • PHP 8.2版本发布(0个评论)
    • 最新版PHP 8.2中的弃用情况(0个评论)
    • 在php开发商品sku功能时实现批量生成sku组合的两种方式介绍(0个评论)
    • 近期文章
    • 在Laravel应用程序如何减少代码重复编写(0个评论)
    • 在laravel项目中提高安全性方式推荐:CSP内容安全策略(0个评论)
    • 在go语言中从值中获取常量名称代码示例(0个评论)
    • 在go语言中如何通过名称获得结构字段和值代码示例(0个评论)
    • 在go语言中用JQuery + html2canvas实现拍摄浏览器的屏幕截图示例(0个评论)
    • 人生感悟分享:讲一个大学毕业生到社畜老狗的蜕变心路历程(0个评论)
    • laravel9框架报错Target class... does not exist解决方式(0个评论)
    • Laravel 9.48版本发布(0个评论)
    • Meta高级工程师现身说法:程序员干得越久,代码写得越少?(0个评论)
    • 本站zongscan祝大家除夕快乐,2023有奔头(0个评论)
    • 近期评论
    • 博主 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 @ xiaoB 你只管努力,剩下的叫给天意;天若有情天亦老,..
    • xiaoB 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 会不会春节放假后又阳一次?..
    • BUG4 在

      你翻墙过吗?国内使用vpn翻墙可能会被网警抓,你需了解的事中评论 不是吧?..
    • 博主 在

      go语言+beego框架中获取get,post请求的所有参数中评论 @ t1  直接在router.go文件中配就ok..
    • Jade 在

      如何在MySQL查询中获得当月记录中评论 Dear zongscan.com team, We can skyroc..
    • 2016-10
    • 2016-11
    • 2017-06
    • 2017-07
    • 2017-08
    • 2017-09
    • 2017-11
    • 2017-12
    • 2018-01
    • 2018-02
    • 2018-03
    • 2020-03
    • 2020-04
    • 2020-05
    • 2020-06
    • 2020-07
    • 2020-09
    • 2021-02
    • 2021-03
    • 2021-04
    • 2021-05
    • 2021-06
    • 2021-07
    • 2021-08
    • 2021-09
    • 2021-10
    • 2021-11
    • 2021-12
    • 2022-01
    • 2022-02
    • 2022-05
    • 2022-06
    • 2022-07
    • 2022-08
    • 2022-09
    • 2022-10
    • 2022-11
    • 2022-12
    • 2023-01
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客