设为首页 收藏本站
查看: 965|回复: 0

[经验分享] 关于 PHP MySQL 长连接、连接池的一些探索

[复制链接]

尚未签到

发表于 2017-12-30 16:50:59 | 显示全部楼层 |阅读模式
  PHP连接MySQL的方式,用的多的是mysql扩展、mysqli扩展、pdo_mysql扩展,是官方提供的。php的运行机制是页面执行完会释放所有该php进程中的所有资源的,如果有多个并发访问本地的测试页面 http://127.0.0.1/1.php 根据php跟web服务器的不同,会开相应的线程或者进程去处理该请求,请求完了会释放结果的。也就是php无法从语言层面从页面到页面之间传递一些数据,但是mysql_pconnect跟pdo中的ATTR, 设置array(PDO::ATTR_PERSISTENT => true)如下是可以实现长连接的。
  

$conn = new PDO($dsn, DB_USER, DB_PASSWORD,  array(PDO::ATTR_PERSISTENT => true)
  
);
  

  长连接的作用我觉得是在高负载的情况下,通过复用长连接,减少了每个页面的建立数据库连接的时间,而这个建立mysql connection的时间,在我的机器上


  • 在数据库connnections < 10的情况下 , mysql pdo 建立connection time 为0.003ms, mysqli建立connection time为0.14ms
  • 在数据库connection接近满的时候,mysql pdo建立connection time为0.13ms, mysqli建立connection time为0.13ms
  以上样本都是在大概估测时间,时间太小不好估计。其实建立连接的时间并不长,那这样为什么需要mysql长连接、连接池这样的东西呢。那是在高负载下,比如server单机可以接受的mysql并发在200左右,web server的单机并发在700左右,那么当大批量500并发连接压过来的时候, web server没到满负荷, mysql提前到了满负荷,就会导致所有页面无法响应、或者已经建立好数据库连接的页面执行很慢。
  php中的mysql长连接由于php的运行方式有多种,因而长连接实现也有多种。需要web服务器支持才可以实现长连接,因为php是没有进程池跟连接池这种概念的,绝大多数情况下php应用本身不是一个应用服务器(后起之秀swoole, 是一个优秀的php应用服务器,不过是在c层面做的)。因而php的长连接其实是搭载apache这样的带有mpm模块的webserver, Linux 下apache会维护一个进程池,开启了apache mpm功能之后,apache会默认维持一个进程池,mysql长连接之后的连接,并没有作为socet连接关闭,而是作为一个不释放的东西,放进了进程池/线程池里面去。等需要连接的时,apache从它维护的进程池/线程池里面取出mysql  socket connnection, 然后就可以复用此连接了。
  这里测试一下,首先本机环境是archlinux , 后文所用mysql httpd php都是自己编译的源代码,都在/home/dengpan/opt目录。httpd的mpm模型这里采用的是worker, httpd的mpm(apache用于并行方面功能的,俗称多路处理模块)其实有perfork、worker、event三种。mpm的好处是让apache随时有些备用的spare或者空闲的子进程(服务器线程池),随时等待新过来的请求,这样客户端不需要在请求服务之前等待子进程的产生。
  使用什么mpm,需要单独指定编译进去apache里面去,比如编译work mpm到apache里面去,比如我的最简化httpd的编译参数是
  

./configure \  
--with-apr=/home/dengpan/opt/apr-1.5.2 \
  
--with-apr-util=/home/dengpan/opt/apr-util-1.5.4 \
  
--prefix=/home/dengpan/opt/httpd-2.4.16 \
  
--with-mpm=worker
  

  查看httpd加载的模块,
DSC0000.jpg

  看到worker.c 已经编译过去了,
  mpm的配置参数为
  

<IfModule mpm_worker_module>  StartServers 15
  MinSpareThreads 75
  MaxSpareThreads250
  ThreadsPerChild 10
  MaxRequestWorkers  400
  MaxConnectionsPerChild   0
  
</IfModule>
  

  

  启动apache用pstree看到 |-httpd—15*[httpd—11*[{httpd}]],说明起了15个server进程,每个server起了10个子线程。整个mpm要维持的最小的闲置线程数量在75,最大的闲置线程在250。满载的最大的工作线程在400个。下面准备一个shell脚本,每1秒输出下当前mysql的active连接数量, 查看mysql current连接数我用的较多的有2个方法


  • 进mysql shell, 执行SHOW STATUS WHERE `variable_name` = ‘Threads_connected'; 不过这个方法得mysql shell进的去才对,当connections很多的时候,mysql shell进不去也就无法查询了
  • shell直接查询,  find /proc/`pidof mysqld`/fd/ -follow -type s | wc -l , 需要root权限,好处是即使mysql因为too many connections无法进入shell的时候还是可以连接进去。
  这里用方法2,因为后面回到机器的mysql满载负荷的。写一个shell如下:
  

#!/bin/bash  
while(true)
  
do
  find /proc/`pidof mysqld`/fd/ -follow -type s | wc -l
  sleep 1
  
done
  

  后面执行该shell不断的输出当前连接数,测试可得


  • cli下执行php,长连接无效,cli下脚本一退出,连接即释放
  • apche+mod_php不开启mpm模块的话,无论mysql mysql_pconnect、pdo_mysql长连接, 页面访问完毕, mysql连接即释放。
  • apche+mod_php开启mpm模块(worker模式)的话,无论mysql mysql_pconnect、pdo_mysql长连接, 页面访问完毕, mysql连接+1,直到达到最大的mysql连接数,不在增加,但是访问页面还是可以复用连接查询到相应数据。
  • nginx+php-fpm下mysql长连接基本无效果。
  apache之所以能够复用mysql连接,说明apache肯定为mysql自己实现了一些功能函数、模块,否则不可能把一个未知类型的socket指针存下来的。用ldd查看,
  

➜  mysql_persist  ldd /home/dengpan/opt/httpd-2.4.16/bin/httpd  linux-vdso.so.1 (0x00007ffffcbde000)
  libpcre.so.1 => /usr/lib/libpcre.so.1 (0x00007f8e8d17c000)
  libaprutil-1.so.0 => /home/dengpan/opt/apr-util-1.5.4/lib/libaprutil-1.so.0 (0x00007f8e8cf57000)
  libexpat.so.1 => /usr/lib/libexpat.so.1 (0x00007f8e8cd2d000)
  libapr-1.so.0 => /home/dengpan/opt/apr-1.5.2/lib/libapr-1.so.0 (0x00007f8e8cafb000)
  libuuid.so.1 => /usr/lib/libuuid.so.1 (0x00007f8e8c8f6000)
  librt.so.1 => /usr/lib/librt.so.1 (0x00007f8e8c6ee000)
  libcrypt.so.1 => /usr/lib/libcrypt.so.1 (0x00007f8e8c4b6000)
  libpthread.so.0 => /usr/lib/libpthread.so.0 (0x00007f8e8c299000)
  libdl.so.2 => /usr/lib/libdl.so.2 (0x00007f8e8c095000)
  libc.so.6 => /usr/lib/libc.so.6 (0x00007f8e8bcf3000)
  /lib64/ld-linux-x86-64.so.2 (0x00007f8e8d3ec000)
  

  可以猜测出/home/dengpan/opt/apr-util-1.5.4/lib/libaprutil-1.so.0跟/home/dengpan/opt/apr-1.5.2/lib/libapr-1.so.0应实现了跟mysql相关的代码段。由于我是本地编译的,很方便找到函数入口,/home/dengpan/github/apache-httpd/apr-util-1.5.4/dbd/apr_dbd_mysql.c这个文件,其实是apache的mod_dbd对常见的数据库都做了长连接支持。而nginx跟php-fpm的关系并不像php跟apache那样,所以nginx+php-fpm无法实现对应的长连接。大概是php-fpm并没有做mysql的进程、线程池。
  最后给出我的建议,一般小型php应用是没有性能问题的,php自身连接mysql很快,很多都处于性能过剩, 随着apache慢慢被nginx替代,php的mysql长连接也只会越来越鸡肋。单机的话,其实要是怕mysql创建connections有压力,最好把mysql的创建使用单例模式,这样一个页面只会创建一个mysql连接实例。诸如下面的单例例子代码,而这个更适合写在框架里去实现单例。
  

<?php  
/**
  
* Created by PhpStorm.
  
* User: dengpan
  
* Date: 15-7-24
  
* Time: 下午2:56
  
*/
  
include "./db.php";
  

  
class DB {
  private static $_instance;
  private $db;
  

  private function __construct()
  {
  $this->db =  new mysqli(DB_HOST, DB_USER, DB_PASSWORD, 'my', 3307);
  }
  public static function getInstance()
  {
  if (!(self::$_instance instanceof DB)) {
  self::$_instance = new self();
  }
  return self::$_instance;
  }
  private function __clone()
  {
  

  }
  

  public function getConn()
  {
  return $this->db;
  }
  
}
  

  
$conn = DB::getInstance()->getConn();
  

  至于非要有用mysql连接池的那种要求的,推荐使用swoole扩展实现的连接池,  http://rango.swoole.com/archives/265 或者更大型点的直接使用qihoo360开源的 atlas数据库中间件,  https://github.com/Qihoo360/Atlas 。都很不错。mysql长连接的话,个人感觉可以在php中尽量不用。
  转载自:http://blog.csdn.net/will5451/article/details/56487506

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-429734-1-1.html 上篇帖子: app微信支付服务器端php demo 下篇帖子: feiyun8616的作坊 (半个程序员and dba) 脚本化
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表