laravel5.5+框架利用集合chunk方法实现文件百万级数据批量导入数据库

Laravel  /  管理员 发布于 3年前   982

laravel中对海量数据导入数据库，不管是Eloquent::insert()，还是DB门面里的insert方法；

都会不好使，不管是程序性能还是服务器超负载，都是一个不好的事故体验

下来我来介绍下面这种方法，可能会适合你

测试数据100w

100万条数据需要导入数据库，一条条插入，需要好久的时间。

原生 sql 可以实现拼接语句实现批量执行达到快速导入的效果。

在 laravel 框架中貌似要自己实现，查找发现集合的 chunk 方法实现数据分块处理，达到组装批量插入效果。

测试代码如下：

删除了一些代码，如果只想测试就无需上传功能，直接把文件写死就行了

1.上传txt文件 导入

public function importTxt(Request $request)
{
	set_time_limit(0);
	
	$files = $request->file('files');
	$dir = $request->get('dir', '/');
	$manager = new MediaManager($dir,'txt');
	
	try {
		if ($manager->upload($files)) {
			admin_toastr('上传成功');
		}

		$filePath = "/data/www/zongscan/storage/app/public/".$files[0]->getClientOriginalName();
		
		$data = [];
		foreach($this->readTxt($filePath) as $key=>$line) {
			$data[$key] = $line;
		}
		//数组分块处理
		$chunck = collect($data);
		$chunks = $chunck->chunk(1000);
		$chunks->all();
		foreach ($chunks as $key=>$val){
			$arr = [];
			foreach ($val as $k =>$value){
				$arr[$k]['data'] = $value;
				$arr[$k]['created_at'] = date('Y-m-d H:i:s');
			}
			DB::table('xxx')->insert($arr);
	   }

	} catch (\Exception $e) {
		admin_toastr($e->getMessage(), 'error');
	}
}

2.表格 xlsx文件导入: 

public function importXlsx(Request $request)
{
        $files = $request->file('files');
        $dir = $request->get('dir', '/');
        $manager = new MediaManager($dir,'xlsx');
        
        try {
            if ($manager->upload($files)) {
                admin_toastr('导入成功');
            }
            $filePath = "/data/www/cbb_new/storage/app/public/".$files[0]->getClientOriginalName();
            Excel::load($filePath, function($reader) {
                $data = $reader->all();
                //dd($data);
                
            //数组分块处理
            $chunck = collect($data);
            $chunks = $chunck->chunk(1000);
            $chunks->all();
            foreach ($chunks as $key=>$val){
                    //批量存储
                    $arr = [];
                    foreach ($val as $k =>$value){
                        $arr[$k]['title'] = $value;
                        $arr[$k]['created_at'] = date('Y-m-d H:i:s');
                    }
            DB::table('xxx')->insert($arr);
            
          }
        });
        } catch (\Exception $e) {
            admin_toastr($e->getMessage(), 'error');
        }
}

ps：

删除了一些业务代码，有兴趣的可以自行测试一下