killerxf 发表于 2016-12-21 10:33:34

postgresql在工作中

sql语句15个常用的语句:
  1.select>  2.selecr pg_database_size('数据库名')
  3.select pg_size_pretty(pg_total_relation_size('表名‘))
  4.\d 表名
  5.create index name on table using index_type(colum)
  6.rollback,commit
  7.explain query
  8.explain analyze query
  9.insert into number(num) values (generate_series(1,1000))
  10.select count(*) from table ,select count(col_name) from table,
  select count(distinct 列名) from table
  11.slect MAX(num) from number_table where num
  12.select MIN(col_name) from number_table where num >(select MIN(num) from number_table)
  13.select typname,typlen from pg_type where typtype = 'b'
  14.\g output_file,select * from table_name,\g
  15.加密:select crypt('sathiys',gen_salt('md5'));
  16.insert into WU(a1,b1) select generate_series(1,1000000),'aa';
  17.select name,setting,short_desc from pg_settings where name like '%scan';
  参考:http://www.zlovezl.cn/articles/15-advanced-postgresql-commands-with-examples/
  工作上:
  给了40多个函数,每个都跑一遍,找出运行时间过长的,并把进行优化,
  前提:用的pg 8.2版本,函数内查询的数据量比较大,所以排除索引方法
  gld_pdms_wula 运行要100多分钟 优化后20分钟
  方法:分别测试函数内每个查询语句,找到花费时间最多的那段代码,吧代码拿出来放在sql编辑器里,对查询的字段和表连接分别进行explain,查看执行计划
  ,可以对代码进行分层explain,比如查询语句中有5个表连接,你可以查看最上面两个表的explain中的cost,依次连接称下的表,找到代码里
  cost最大的那段。我发现where中连接一个日历表,cost最大,那我就查看为什呢要连接这个表,需要表的什么字段,看看能不能不要这个表用其他的字段代替,结果发现是可以的,于是就拿掉这个表,结果优化成功
  gld_wula_analyze 运行需要12分钟 优化后3分钟:同样的查找代码的方法,找到where中的子查询cost最大,查看子查询的优化方法,吧子查询部分拿出来重新写个
  查询语句,符合业务逻辑,行数也是一样,优化成功。
  还有几个表没有优化成功,那些表运行需要6-8分钟,因为代码很短,查询的数据量又大,查询用到的表又大,全表扫描必定占用时间,代码上也没有可以的优化的,主要是要符合业务逻辑,优化失败。
  这些过程中用到的知识:
  1.刚开始需要学习pg的执行计划
  http://my.oschina.net/Kenyon/blog/75757 很详细
  http://blog.itpub.net/24484596/viewspace-730958/ 很直观
  http://my.oschina.net/congqian/blog/135872
  http://jackwxh.blog.iyunv.com/2850597/1311341
  强制修改计划
  http://blog.csdn.net/hantiannan/article/details/4517192
  看执行计划优化
  http://www.iyunv.com/database/201306/217900.html
  2.首先想到的优化方法是建立索引(有时候查询语句走索引未必比全表扫描的快)
  http://blog.csdn.net/vernonzheng/article/details/8079207 很详细
  http://blog.iyunv.com/uid-7655508-id-3637972.html 介绍不走的索引原因及改进
  http://dreamer-yzy.github.io/2015/01/17/-翻译-高效使用PostgreSQL索引/ 一个pgDBA的博客
  http://francs3.blog.163.com/blog/static/4057672720125218561360/ 函数索引和联合索引
  错误:一股脑的将where中用到的列都建立索引,结果没有任何效果,查看explain 优化器根本不走索引。
  其中我问过公司DBA,知道pg的autovacuum是关闭的,这样会导致当一个表insert,delete过多数据时,表的信息不能及时跟新反馈给pg的优化器,
  可以使用分析表:analyze table_name,于是对那些函数使用这个办法,失败,查询的数据量比较大,即使数据量只有10% 也不走,到现在我也不知道原因,只能归咎于公司的gp架构了。
  (gp就是greenplum,分布式数据库,有主节点(master),分节点,表的建立要有分布键DISTRIBUTED BY(列名))
  3.走了一个弯路,之后就从代码上下手
  (1)http://www.jasongj.com/2015/03/15/count_distinct/   Count distinct 优化
  (2)http://www.jasongj.com/2015/03/07/Join1/#Query_1_Test_1:_查询优化器自动选择Nested_Loop,耗时784-845_ms不等连接
  (3)http://www.cnblogs.com/mchina/archive/2013/04/09/2973427.html 分区表的应用,很好有实例
  http://blog.iyunv.com/uid-24774106-id-3887099.html 发现gp架构不需要对表建立分区,(猜测分布键的原因)
  4.没有可优化返回看看pg的sql知识
  http://blog.csdn.net/cdnight/article/category/2128135 一个人博客
  http://www.jsjtt.com/shujuku/postgresql/15.html,http://cuijiemin.iyunv.com/blog/940927 Postgresql 数据类型转换
  http://www.cnblogs.com/mchina/archive/2013/04/15/3010418.html 日期
  5.PostgreSQL的经典语句(转)
  http://jeff1987.blog.iyunv.com/910685/271142 很全很强大
  6.最后看一些pg的性能
  http://my.oschina.net/121002123/blog/124118
  7.Postgresql 专业博客
  http://blog.163.com/digoal@126/blog/static/163877040201221382150858/那海蓝蓝
  http://www.cnblogs.com/stephen-liu74/archive/2012/06/06/2312759.html
  http://blog.163.com/li_hx/blog/static/183991413201310634345275
  http://my.oschina.net/Kenyon/blog/54376
  http://blog.163.com/digoal@126/ 德哥 灰常不错
  Postgresql 专业博客总结
  http://francs3.blog.163.com/blog/static/405767272014017341219/ 很好很强大
  8.MYSQL 和postgresql 的区别
  http://www.postgresql.pw/thread-13443-1-2.html 很详细 很强大
  后续跟新。。。。。。。
页: [1]
查看完整版本: postgresql在工作中