C-JDBC

yaomint

C-JDBC

　　C-JDBC(Java 数据库连接群集)作为开发源码的数据库群集中间件，可以让任何应用程序通过JDBC能够透明的访问数据库群集。数据库可以分布在多个节点并可以进行数据复制，C-JDBC能够均衡在这些节点之间的查询负载。 C-JDBC通过软件来实现RAIDb(廉价数据库冗余阵列)。C-JDBC是GNU LGPL许可证下的ObjectWeb项目。
http://c-jdbc.objectweb.org/网站上的C-JDBC-Brochure-EN.pdf写的内容挺好。(C-JDBC)tutorial.pdf内容也挺翔实。
　　大型应用随着用户量访问越来越大，增加数据库存储和做好数据库冗余可以增加系统的可靠性和性能。
　　无需修改客户端应用程序，无需变更应用服务器或数据库服务器软件。C-JDBC的JDBC driver把SQL请求转给C-JDBC controller(负责在databases之间做负载均衡）
The database is distributed and replicated among several nodes and C-JDBC load balances the queries between these nodes.
就这一句话就太诱人了！
上周的某一个上午，搞定C-JDBC的安装配置啦~
主要根据官方的user guide和这篇好文: http://huaronghu.spaces.live.com/blog/cns!B9A68E1C1CA857AD!288.entry
　　
准备工作：
环境：windows,postgreSQL,JDK
建立数据库“们”，安装若干db在若干server上，所以如果使用商业数据库的话，就会需要好几套的钱哪。
安装C-JDBC：
下载了binary版的c-jdbc-2.0.2-bin.zip，解压到作为C-JDBC server的机器上（e.g. C:\software\c-jdbc-2.0.2-bin），
设置环境变量,新增系统变量:CJDBC_HOME =C:\software\c-jdbc-2.0.2-bin
把实际使用的数据库的JDBC driver（例如mysql-connector-java-3.1.12-bin.jar ，postgresql-8.0.309.jdbc2.jar）拷贝到c-jdbc/drivers 中
配置文件：
在c-jdbc-2.0.2-bin/config/virtualdatabase目录中创建虚拟数据库配置文件。
里面DatabaseBackend 标签中定义的就是被集群的数据库。
试验时，创建了文件：postgresql-raidb1-distribution.xml，使用了2个postgreSQL数据库，采用了全复制的方法。
注意，如果采用全复制，所以在2个数据库上建库、建表的全部脚本都要完全相同，否则将会报出mismatch的错误。
目前感觉配置里面最有用的配置就是<AuthenticationManager>，<DatabaseBackend>和<LoadBalancer>（还没有仔细看）。
配置时可以参考已经提供的例子，c-jdbc-2.0.2-bin/config/RAIDb-1-full-example.xml，里面对每一个属性都有比较详细的注释，DatabaseBackend中还有各个开源数据库连接的例子，挺贴心的。

<? xml version="1.0" encoding="UTF8" ?>
<! DOCTYPE C-JDBC PUBLIC "-//ObjectWeb//DTD C-JDBC 2.0.2//EN" "http://c-jdbc.objectweb.org/dtds/c-jdbc-2.0.2.dtd" >

< C-JDBC >
  
   < VirtualDatabase  name ="myDB"  maxNbOfConnections ="20"  minNbOfThreads ="1"  maxNbOfThreads ="20"  blobEncodingMethod ="hexa" >
     < AuthenticationManager >
       < Admin >
        < User  username ="admin"  password ="c-jdbc" />
       </ Admin >  
       < VirtualUsers >
         < VirtualLogin  vLogin ="boss"  vPassword ="boss" />
       </ VirtualUsers >
     </ AuthenticationManager >

    < DatabaseBackend  name ="postgreSQLNode114"  driver ="org.postgresql.Driver"  url ="jdbc:postgresql://10.10.0.114:5432/clusterdb"  connectionTestStatement ="select now()" >
  < DatabaseSchema  dynamicPrecision ="column" />
       < ConnectionManager  vLogin ="boss"  rLogin ="postgres9"  rPassword ="12345" >
  < RandomWaitPoolConnectionManager  poolSize ="20" />
       </ ConnectionManager >
     </ DatabaseBackend >

     < DatabaseBackend  name ="postgreSQLNode155"  driver ="org.postgresql.Driver"  url ="jdbc:postgresql://10.10.0.155:5432/clusterdb"  connectionTestStatement ="select now()" >
  < DatabaseSchema  dynamicPrecision ="column" />
       < ConnectionManager  vLogin ="boss"  rLogin ="postgres"  rPassword ="abcde" >
  < RandomWaitPoolConnectionManager  poolSize ="20" />
       </ ConnectionManager >
     </ DatabaseBackend >

     < RequestManager >
       < RequestScheduler >
          < RAIDb-1Scheduler  level ="passThrough" />   
       </ RequestScheduler >

       < RequestCache >
          < MetadataCache  maxNbOfMetadata ="10000"  maxNbOfField ="0" />
          < ParsingCache  backgroundParsing ="false"  maxNbOfEntries ="5000" />   
          < ResultCache  granularity ="table"  maxNbOfEntries ="100000"  pendingTimeout ="0" >
        < ResultCacheRule  queryPattern ="default"  timestampResolution ="1000" >
              < EagerCaching />
          </ ResultCacheRule >
          </ ResultCache >
       </ RequestCache >

       < LoadBalancer >
          < RAIDb-1 >
          < RAIDb-1-LeastPendingRequestsFirst />   
          </ RAIDb-1 >
       </ LoadBalancer >         
     </ RequestManager >
   </ VirtualDatabase >
</ C-JDBC >
　　在c-jdbc-2.0.2-bin/config/controller目录中创建一个c-jdbc controller的配置文件。
试验时，创建的配置文件为：uud-controller-distributed.xml

<? xml version="1.0" encoding="UTF8"  ?>
<! DOCTYPE C-JDBC-CONTROLLER PUBLIC "-//ObjectWeb//DTD C-JDBC-CONTROLLER 2.0.2//EN"  "http://c-jdbc.objectweb.org/dtds/c-jdbc-controller-2.0.2.dtd" >
< C-JDBC-CONTROLLER >
   < Controller  port ="25322" >
     < Report />
     < JmxSettings >
       < RmiJmxAdaptor  port ="1091" />
     </ JmxSettings >
     < VirtualDatabase  configFile ="postgresql-raidb1-distribution.xml"  virtualDatabaseName ="myDB"  autoEnableBackends ="true"  checkpointName ="Initial_empty_recovery_log" />
   </ Controller >
</ C-JDBC-CONTROLLER >　　注意：Controller和VirtualMachine的配置文件不能采用相同的文件名
启动：
在c-jdbc-2.0.2-bin\bin目录下，运行controller.bat -f ../config/controller/uud-controller-distributed.xml
unix用户使用controller.sh来启动controller
截图：（下回补）
凑合看一下吧，控制台的正常输出：
C:\software\c-jdbc-2.0.2-bin\bin>controller.bat -f ../config/controller/uud-cont
roller-distributed.xml
2007-03-07 15:16:44,017 INFO  controller.core.Controller C-JDBC controller (2.0.
2)
2007-03-07 15:16:44,439 INFO  controller.core.Controller Loading configuration f
ile: ../config/controller/uud-controller-distributed.xml
2007-03-07 15:16:44,752 INFO  controller.core.Controller JMX is enabled
2007-03-07 15:16:44,830 INFO  controller.core.Controller Starting JMX server on
host: 10.10.0.155
2007-03-07 15:16:46,376 INFO  backend.DatabaseBackend.postgreSQLNode114 Adding c
onnection manager for virtual user "boss"
2007-03-07 15:16:46,501 INFO  backend.DatabaseBackend.postgreSQLNode155 Adding c
onnection manager for virtual user "boss"
2007-03-07 15:16:46,642 INFO  controller.RequestManager.myDB Request manager wil
l parse requests with the following granularity: TABLE
2007-03-07 15:16:46,657 WARN  controller.virtualdatabase.myDB No recovery log ha
s been configured, enabling backend without checkpoint.
2007-03-07 15:16:48,641 INFO  backend.DatabaseBackend.postgreSQLNode114 Detected
backend as: PostgreSQL
2007-03-07 15:16:49,063 WARN  backend.DatabaseBackend.postgreSQLNode114 Statemen
t.getGeneratedKeys not supported.
2007-03-07 15:16:49,579 INFO  backend.DatabaseBackend.postgreSQLNode114 Gatherin
g database schema
2007-03-07 15:16:49,782 INFO  controller.RequestManager.myDB Setting new virtual
database schema.
2007-03-07 15:16:49,782 INFO  cjdbc.controller.cache Setting new database schema
.
2007-03-07 15:16:49,782 INFO  controller.loadbalancer.RAIDb1 Adding blocking tas
k worker thread for backend postgreSQLNode114
2007-03-07 15:16:49,797 INFO  controller.loadbalancer.RAIDb1 Adding non blocking
task worker thread for backend postgreSQLNode114
2007-03-07 15:16:49,797 INFO  controller.RequestManager.myDB Database backend po
stgreSQLNode114 is now enabled
2007-03-07 15:16:50,922 INFO  backend.DatabaseBackend.postgreSQLNode155 Detected
backend as: PostgreSQL
2007-03-07 15:16:51,328 WARN  backend.DatabaseBackend.postgreSQLNode155 Statemen
t.getGeneratedKeys not supported.
2007-03-07 15:16:52,172 INFO  backend.DatabaseBackend.postgreSQLNode155 Gatherin
g database schema
2007-03-07 15:16:52,390 INFO  controller.RequestManager.myDB Virtual database sc
hema merged with new schema.
2007-03-07 15:16:52,390 INFO  cjdbc.controller.cache Merging new database schema
　　2007-03-07 15:16:52,390 INFO  controller.loadbalancer.RAIDb1 Adding blocking tas
k worker thread for backend postgreSQLNode155
2007-03-07 15:16:52,390 INFO  controller.loadbalancer.RAIDb1 Adding non blocking
task worker thread for backend postgreSQLNode155
2007-03-07 15:16:52,406 INFO  controller.RequestManager.myDB Database backend po
stgreSQLNode155 is now enabled
2007-03-07 15:16:52,422 WARN  VirtualDatabaseWorkerThread.myDB.metadata Metadata
key [getMaxColumnsInIndex] is not compatible. (Backends are: [jdbc:postgresql:/
/10.10.0.114:5432/clusterdb] and [jdbc:postgresql://10.10.0.155:5432/clu
sterdb] ; Values are:[32] and [0])
2007-03-07 15:16:52,422 INFO  controller.core.Controller Adding VirtualDatabase
myDB
2007-03-07 15:16:52,437 INFO  controller.core.Controller Waiting for connections
on 0.0.0.0:25322
2007-03-07 15:16:52,469 INFO  controller.core.Controller Controller started on 2
007.03.07 10 at 03:16:52 下午 GMT+08:00
2007-03-07 15:16:52,484 INFO  controller.core.Controller Controller 10.10.0.
155:25322 ready, listening to requests ...
　　
遇到过的问题：
1、
刚启动没一会儿，就看到config文件读取错误，控制台信息也就此结束。
解决方法：controller.bat -f filename中filename的相对路径和文件名竟然都写错了，汗。。。。
2、
启动时，控制台抛出ERROR以及exception，大意是connection failed, IP没有配置到pg_hba.conf中
解决方法：虽然是连本机的一个数据库，但是由于数据库连接的url里面写的是IP地址，所以仍然要把本机的IP地址配置到pg_hba.conf以允许其访问。
3、
还是启动时抛错了，Connection test failed(org.postgresql.util.PSQLException:Backend start-up failed:FATAL:role "boss_user" does not exist.)
解决方法：原来是在自己写的.xml配置文件中，DatabaseBackend标签里面写的用户名和密码需要是真实数据库的真实用户名和密码。
　　最后都整好了,但是遇到一个warn的log：
backend.DatabaseBackend.postgreSQLNode155 Statement.getGeneratedKeys not supported
至今不知道是什么问题,有什么影响.
代码部分：
只需要修改应用程序用到的jdbc driver的配置，把c-jdbc/drivers/目录下的c-jdbc-driver.jar拷贝到应用程序的工程里，并加入到class-path中。
之前是使用 Class.forName("com.somevendor.jdbcDriver.Driver") 去连接某特定的数据库
现在是使用 Class.forName("org.objectweb.cjdbc.driver.Driver") 统一处理。
连接字符串：DriverManager.getConnection("jdbc:cjdbc://localhost:25322/mycjdbc") 取得数据库连接。
　　c-jdbc server称为c-jdbc controller，聆听请求们
其他所有通过c-jdbc来访问的DB们称为db backends.
　　jdbc:cjdbc://host1:port1,host2:port2/database
host是指跑着c-jdbc controller的机器IP，port是指controller监听客户端链接的端口，默认端口号：25322
注意，不仅真正的DB安装多个在多个机器上，c-jdbc controller也可以安在不同的机器上,这样可以防止一个c-jdbc 坏掉带来的风险。
例如：

Class.forName( " org.objectweb.cjdbc.driver.Driver " );
DriverManager.getConnection( " jdbc:cjdbc://c1.objectweb.org,c2.objectweb.org/tpcw " );  // 不验证用户名密码
DriverManager.getConnection( " jdbc:cjdbc://host/db?user=me&password=secret " ) // 验证用户名密码的写法1
DriverManager.getConnection( " jdbc:cjdbc://host/db;user=me;password=secret " ) // 验证用户名密码的写法2　　然后可以在代码中insert/update几个记录，再单独到各个数据库中去查一下，应该都受到影响就对了。
问题：
1、管理C-JDBC，不知道C-JDBC需要啥管理，不过好像是已經有一個簡單的 Desktop Application 可以控制相關的 administration 介面, 最重要的是, 他結合了 JMX , 可以讓整個監控的環境更完整.. （等待尝试）
2、不知道通过C-JDBC来操作速度如何
3、RAIdb的3种类型，采取哪个更好？把表分开在不同server上对联表查应该不会有影响吧？
其他：
1、Configuring C-JDBC with Jakarta Tomcat
Copy the c-jdbc-driver.jar file to the lib directory of your web application (for example: $TOMCAT_HOME/webapps/mywebapp/WEB-INF/lib).
There are many ways to obtain connections from a Tomcat application. Just ensure that you are using org.objectweb.cjdbc.driver.Driver as the driver class name and that the JDBC URL is a C-JDBC URL
　　2、Configuring C-JDBC with Hibernate
C-JDBC just has to be defined as any JDBC driver in Hibernate, leaving the syntax set to the proper database. Here is a configuration example to use Hibernate with a C-JDBC cluster made of Sybase backends:
## C-JDBC
hibernate.dialect                 net.sf.hibernate.dialect.SybaseDialect
hibernate.connection.driver_class org.objectweb.cjdbc.driver.Driver
hibernate.connection.username     user
hibernate.connection.password     pass
hibernate.connection.url          jdbc:cjdbc://localhost:25322/test