设为首页 收藏本站
查看: 769|回复: 0

[经验分享] php按照查询条件大数据量进行导出,如果进行有效率导出

[复制链接]

尚未签到

发表于 2017-4-12 12:12:57 | 显示全部楼层 |阅读模式
对php来说将一些配置信息数组保存到文件中是司空见惯的情况,就我目前所知,有以下几种保存方法

  • 直接用var_export写成return array(...);的php代码,然后读取的时候用require解析即可。
  • 使用serialize函数序列化一个数组,然后读取的时候用unserialize反序列化
  • 使用json_encode序列化一个数组,然后读取的时候用json_decode反序列化
  • 使用其它的文件格式,比如yaml或者ini
 
由于用到了比较多的数组,所以想搞清楚php的array和session的容量到底有多大,其实主要是想验证一下之前我听说的array的容量是跟配置有关这一说法的正确性。
array的验证代码程序:
$arr=array();//这一行可以省去的,我是比较奉行java中的先声明后使用原则
        for ($i=0;$i<8000000;$i++){
              $arr[$i]=$i;
        }

echo count($arr);
       unset($arr);

session的验证代码程序:
ession_start(); 
       for ($i=0;$i<8000000;$i++){
              $_SESSION[$i]=$i;
       } 

echo count($_SESSION);
运行上面的程序后,会出现下面的错误提示:
注:此时我php.ini中memory_limit值的配置是10M
DSC0000.png
DSC0001.png
然后 接下来我的验证方法是把php.ini中memory_limit的值改为1000M,然重启apache,再次运行上面的验证程序,则可以正常输出array和session的大小值。
DSC0002.png
难道不是我修改了php.ini的原因,是其他巧合问题导致的正常?我要再次验证一下是不是php.ini中memory_limit配置的原因,我把该值重新配置为10M,重启apache后,然后再次运行上面的验证程序,结果的确又报上面的内存不足异常了。现在我相信了array和session的容量大小的确是跟php.ini中memory_limit的配置有关的。
不过我最大的一次配置该值的大小为1300M,运行验证程序后我的电脑几乎处于休眠状态,呵呵,下面是性能占用图:

DSC0003.png
DSC0004.png
 
在excel导出,大量数据按查询条件导出,我想到了session和文件存储按查询导出的数据。
如果按照session导出,我当初想到如果直接将最终查询sql存放在session中,但是在导出时候,仍然需要跟数据库交互,数据量太大,还是影响读取速度,对用户不是很友好,所以我想到将查询获取的数组放在数组存放在session中,经过上述测试是不可取的。
最终我想到将查询获取的数组以json形式存放在文件中,在导出进行读取,直接处理数组,结果方法是可行的。
当然也可以借助其他语言进行导出,比如python进行导出,效率还是不错的。
以上仅为我的个人验证观点,仅为分享使用,验证方法肯定存在不足,所以请大家指导,非常感谢,

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-363949-1-1.html 上篇帖子: [转]php递归获取目录内的文件,包含子目录 下篇帖子: PHP配置问题!急
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表