一次oracle优化经历

uq30p57065

项目背景：一个用户行为分析系统，使用oracle数据库来记录用户每天对网站的访问情况，用户每一次点击都会产生一条记录，一天下来整个网站大概会产生1千万条点击记录。
      系统架构：前端使用三台服务器负责采集用户浏览行为数据，web应用服务器使用resin，后台用一台服务器作为数据库服务器以及分析结果查询服务器，两台服务器分别用作分析用户浏览行为数据。
       需求：每天每小时定时分析前一个小时用户点击产生的数据以及每一天需要分析前一天的用户点击产生的全部数据进行汇总，进一步还会按月按年分析这些数据。
       由于数据增长速度异常之快，数据库很快就出现了瓶颈。痛苦而漫长的优化之旅便开始了。
      一、首先很快想到了oracle分区，oracle分区的优点在这不再啰嗦，我们这次是按一天分一个逻辑分区，一个月进行一次物理分区；
      二、对于用户的点击产生的数据采用oracle的批处理命令，定时导入到数据库；
      三、根据查询分析的处理要求，建立了适当的索引（注意并不是建立了索引数据库的查询性能就会得到提升，弄不好反而会加重了数据库的负担）；
      四、把部分在程序中处理的逻辑移到数据库层面进行处理。由于一开始时是先一部分逻辑在数据库处理后再把结果返回应用程序在进行处理，然后再返回数据库中；由于要处理的数据量太大（在监控中发现结果集常常有返回上百万条记录，一条记录有3k，就有一两个G数据了），一方面导致内存溢出，另一方面数据在应用程序与数据库之间的传输需要花费大量的时间（包括应用程序与数据库之间建立连接也需要时间），把这部分的逻辑放在数据库中处理就减少了这些麻烦；
      五、优化数据库表的结构，特别是一些字段的数据类型，比如时间类型，字数类型等必须严格按照实际进行设计；在涉及查询或者统计时，如果不是按照实际进行设计的话，oracle就会自动进行类型转换，这时很耗性能的，比如字符串转数字；
      六、适当的时候使用oracle的并行查询，比如按月按年分析数据可考虑使用；
      七、按照业务进行必要的表拆分，把所有业务都揉在一个表中对于海量数据处理来说并不是好事；
      八、对表进行压缩。