php 用csv文件导出大量数据初方案

长枪不倒

　　背景：接手的项目中支持导出一批数据，全数量在50W左右。在接手的时候看代码是直接一次查询MySQL获得数据，然后用header函数直接写入csv，用户开始导出则自动下载。但是，在全导出的时候，功能出现了BUG问题。
　　1.数据量大导致PHP处理脚本运行时间，超过默认限制。
　　2.数据量过大，导致内存溢出，流程中止。
　　初版解决方案：
　　1.通过函数set_time_limit(0);       取消执行时间限制(在导出的函数入口设置，这是合理的，导出的数据量过大了)
　　2.关于数据过大，内存溢出的解决办法，开始是想到了php动态变量(先由sql语句获得总记录数，然后每2W条切分，查询2w条数据存入一个变量)
[php] view plain copy  

• $total_export_count = $db->getOne("select count(1) from ($sql) t2");
  
• 
  
• for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
  
•         $export_data = "exportdata".$i;
  
•         $$export_data = $db->getAll($sql." limit ".strval($i*20000).",20000");
  
•     }
  

　　然后通过相应的代码取出变量的信息，echo到csv文件中，这种方式在本地测试的时候是通过的，但在服务器上依旧会内存溢出。
[php] view plain copy  

• header ( "Content-type:application/vnd.ms-excel" );
  
•     header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );
  
•     $out = $column_name;
  
•     echo iconv ( "UTF-8", "GB18030", $out );
  
• 
  
•     for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
  
•         $dynamic_name = "exportdata".$i;
  
•         foreach ( $$dynamic_name as $key => $item ) {
  
•             echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
  
•         }
  
• 
  
•         // 将已经写到csv中的数据存储变量销毁，释放内存占用
  
•             unset($$dynamic_name);
  
•     }
  
• 
  
•     exit ();
  

　　因为上面的方法在服务器上没有通过，所以只能将分割数据量的操作放到写文件的流程中，相比上面的思路这种会慢一些。
[php] view plain copy  

• header ( "Content-type:application/vnd.ms-excel" );
  
• header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );
  
• $out = $column_name;
  
• echo iconv ( "UTF-8", "GB18030", $out );
  
• 
  
• $pre_count = 20000;
  
• for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
  
•     $export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
  
•     foreach ( $export_data as $key => $item ) {
  
•         echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
  
•     }
  
• 
  
•     // 将已经写到csv中的数据存储变量销毁，释放内存占用
  
•        unset($export_data);
  
• }
  
• 
  
• exit ();
  

　　经测试之后是可行的，服务器上也可以导出，就是时间会慢一些，而且会是一直下载状态。
　　关于这个场景整理了一些资料：
　　1.csv文件的条数是好像没有限制的，可以一直写(网上的博文里面看的，没证实过)
　　2.excel 2010版本以上，是可以读取100多W行数据的(验证过，新建一个excel，ctrl+下箭头  到文件末尾可以看到行数)
　　理想的解决方案(没有具体实施，想的)
　　1.数据分割肯定是必须的步骤，防止内存溢出。
　　2.将分割后的数据写入到一个excel或者一个csv文件中，被分割了多少次，写多少个文件。这样可以防止达到文件行数的最大限制。
　　3.将2中写的文件进行压缩处理，压缩成一个压缩包，然后进行自动下载。
　　补充：
　　在上面的方案正式运行的时候发现导出的数据，总是比查询的总记录数要少1000多条，几次看数据后发现有些数据并没有换行，而是写到上一行去了。在有了这个觉悟后，重新看了遍之前转别人的帖子，发现还是用fputcsv()函数比较靠谱，传入一个数组，作为一行的数据，由该函数自己去写换行和控列。感觉有些时候还是不要偷懒的好啊，虽然自己写","完成列分割，写"\n"完成空格，貌似是可行的，但是对于一些数据，并不一定能控制的好。
　　修改后的导出代码：
[php] view plain copy  

• header ( "Content-type:application/vnd.ms-excel" );
  
• header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "query_user_info" ) . ".csv" );
  
• 
  
• // 打开PHP文件句柄，php://output 表示直接输出到浏览器
  
• $fp = fopen('php://output', 'a');
  
• 
  
• // 将中文标题转换编码，否则乱码
  
• foreach ($column_name as $i => $v) {
  
•        $column_name[$i] = iconv('utf-8', 'GB18030', $v);
  
•    }
  
•    // 将标题名称通过fputcsv写到文件句柄
  
•    fputcsv($fp, $column_name);
  
• 
  
• $pre_count = 10000;
  
• for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
  
•     $export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
  
•     foreach ( $export_data as $item ) {
  
•         $rows = array();
  
•         foreach ( $item as $export_obj){
  
•             $rows[] = iconv('utf-8', 'GB18030', $export_obj);
  
•         }
  
•         fputcsv($fp, $rows);
  
•     }
  
• 
  
•     // 将已经写到csv中的数据存储变量销毁，释放内存占用
  
•        unset($export_data);
  
•        ob_flush();
  
•        flush();
  
• }
  
• 
  
• exit ();