日常工作中的数据处理（shell，python，java）

寂寞大萝卜

工作中常常需要在linux线上环境处理数据，比如：处理log分析，mysql数据提取等等。
你可能首先想到的是shell，或在python。
shell确实简练，但是有时候并不好用，比如复杂数据的统计，shell显得过于简陋。
python当然可以应对多种需求，由于linux 都标配了python，熟悉python 那是相当方便。
不过对于业界 java语言的普及度是很高的，很多同事在处理数据的时候，由于对python不熟悉，效率很低，要把数据搞到本地，再tmd写java处理，实在坑爹。
下面兄弟谈下java在linux下的配置java环境以及处理数据，尤其是引用第三方的jar包，自我感觉相当方便～
第一步：配置jdk环境。
vim .profile

export JAVA_HOME=/home/q/java/jdk1.6.0_20
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:~/java/lib/*.jar

注意：最后我指定了:~/java/lib/*.jar ，这些jar包是jdk提供之外的jar包。
第二步：配置 Djava.ext.dirs，java编译和执行时引用jdk之外的jar包

alias jc='javac -Djava.ext.dirs=/home/xinchun.wang/java/lib'
alias jr='java -Djava.ext.dirs=/home/xinchun.wang/java/lib'


第三步：测试

import org.apache.commons.lang.StringUtils;
public class Test2{
public static void main(String[] args){
System.out.println(StringUtils.isEmpty(""));
System.out.println(StringUtils.isEmpty("hellow"));
}
}

执行：

jc Test2.java
jr Test2

输出：
true
false
至此：已经成功配置～
总结：
shell ：实在不好用，但是简单的数据处理以及统计，那是简洁高效方便
python：胜任所有场景，熟悉的话，就优先使用啦，尤其是在执行环境多变的情况，可移植性好，比如给dba执行一个db数据处理的情况，对方可能没有装java环境，或者环境配置不一致，这块java不让python。
java：胜任所有场景，移植性（因为不同组的同事可能不装java环境，但是python肯定都有）相对python较差。