php按照查询条件大数据量进行导出,如果进行有效率导出
对php来说将一些配置信息数组保存到文件中是司空见惯的情况,就我目前所知,有以下几种保存方法[*]直接用var_export写成return array(...);的php代码,然后读取的时候用require解析即可。
[*]使用serialize函数序列化一个数组,然后读取的时候用unserialize反序列化
[*]使用json_encode序列化一个数组,然后读取的时候用json_decode反序列化
[*]使用其它的文件格式,比如yaml或者ini
由于用到了比较多的数组,所以想搞清楚php的array和session的容量到底有多大,其实主要是想验证一下之前我听说的array的容量是跟配置有关这一说法的正确性。
array的验证代码程序:
$arr=array();//这一行可以省去的,我是比较奉行java中的先声明后使用原则
for ($i=0;$i<8000000;$i++){
$arr[$i]=$i;
}
echo count($arr);
unset($arr);
session的验证代码程序:
ession_start();
for ($i=0;$i<8000000;$i++){
$_SESSION[$i]=$i;
}
echo count($_SESSION);
运行上面的程序后,会出现下面的错误提示:
注:此时我php.ini中memory_limit值的配置是10M
然后 接下来我的验证方法是把php.ini中memory_limit的值改为1000M,然重启apache,再次运行上面的验证程序,则可以正常输出array和session的大小值。
难道不是我修改了php.ini的原因,是其他巧合问题导致的正常?我要再次验证一下是不是php.ini中memory_limit配置的原因,我把该值重新配置为10M,重启apache后,然后再次运行上面的验证程序,结果的确又报上面的内存不足异常了。现在我相信了array和session的容量大小的确是跟php.ini中memory_limit的配置有关的。
不过我最大的一次配置该值的大小为1300M,运行验证程序后我的电脑几乎处于休眠状态,呵呵,下面是性能占用图:
在excel导出,大量数据按查询条件导出,我想到了session和文件存储按查询导出的数据。
如果按照session导出,我当初想到如果直接将最终查询sql存放在session中,但是在导出时候,仍然需要跟数据库交互,数据量太大,还是影响读取速度,对用户不是很友好,所以我想到将查询获取的数组放在数组存放在session中,经过上述测试是不可取的。
最终我想到将查询获取的数组以json形式存放在文件中,在导出进行读取,直接处理数组,结果方法是可行的。
当然也可以借助其他语言进行导出,比如python进行导出,效率还是不错的。
以上仅为我的个人验证观点,仅为分享使用,验证方法肯定存在不足,所以请大家指导,非常感谢,
页:
[1]