如何在python程序中调用weka的分类器

宇文氏

WEKA（www.cs.waikato.ac.nz/ml/weka/）作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。而开发者则可使用Java语言，利用Weka的架构上开发出更多的数据挖掘算法。

Python是一种面向对象、直译式计算机程序设计语言，也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。这种语言具有非常简捷而清晰的语法特点，适合完成各种高层任务，几乎可以在所有的操作系统中运行。目前，基于这种语言的相关技术正在飞速的发展，用户数量急剧扩大，相关的资源非常多。越来越多的实验室和科研院所选择python 语言作为自己的编程语言以快速高效的开发实验程序，观察实验结果。

那么如果能将功能强大的python语言和weka平台中用java语言实现好的机器学习算法结合起来，毫无疑问可以使写程序做实验的过程变得更加的轻松，简便。

虽然现在还没有相关的第三方工具提供python语言和java语言互相调用的功能，但是在nltk（nltk.sourceforge.net/）这是一个用python语言编写的自然语言处理工具包，在其nltk.classify.weka类中给我们在python程序中调用 weak中的分类器提供了一个途径。通过其中WekaClassifier类可以由python程序生成的features 转化为weka中的arff文件格式，自动的设置命令参数。并对自动的解析weka返回的分类结果，将其保存在列表。
Example：

def gender_features(name):

features = {}

for letter in 'abcdefghijklmnopqrstuvwxyz':

features['count(%s)' % letter] = name.lower().count(letter)

features['has(%s)' % letter] = letter in name.lower()

features['startswith(%s)' % letter] = (letter==name[0].lower())

features['endswith(%s)' % letter] = (letter==name[-1].lower())

return features

if __name__ == "__main__":

from nltk.corpus import names

import random

names = ([(name, 'male') for name in names.words('male.txt')] +[(name, 'female') for name in names.words('female.txt')])

random.shuffle(names)

featuresets = [(gender_features(n), g) for (n,g) in names]

train_set, test_set = featuresets[500:], featuresets[:500]

classifier = WekaClassifier.train(r'c:/name.model',train_set,'weka.classifiers.functions.Logistic')

print nltk.classify.accuracy(classifier, test_set)

ls = ["Alex","Neo","vivian","tom"]

result = classifier.batch_classify([gender_features(name) for name in ls])

print result

不过由于版本和操作系统的问题，需要对nltk中nltk.classify.weka下的一些源文件做出修改，才可以正常使用，目前我们已经发现的bug有
1 命令行下的命令修改成为java.exe
2 输出结果的解析功能，解析返回列表的下标起始位置不正确，需要根据你的weka版本来确定
3 合成命令行下命令时，命令的组合中 –cp参数的两个值在windows os中应该通过“；”连接起来
4 需要设定WEKAHOME或者在程序设定的默认搜索路径中加入你的weka文件所在的路径

（吴博 bowu365@gmail.com）