Hive调用Python脚本异常
我使用的是Hive 0.10和Hadoop 1.1.1。在家里的环境是Hive 0.9和Hadoop 1.0.4.
Hive可以使用Python脚本大大地提高数据处理的开发效率，使用MapReduce的方式将数据处理成想要的结果。
我们使用ADD FILE 为Hive增加一个脚本，或者Jar包。
有两种方式：
ADD FILE {env:HOME}/your_file/your_script.py
ADD FILE /home/your_name/your_file/your_script.py
在调用的时候，过去的版本可以使用：
FROM u_data
SELECT
TRANSFORM (userid, movieid, rating)
USING 'python /home/dacoolbaby/test_data_mapper3.py'
AS str
;
但是在Hive 0.10貌似不支持这样弄。
FROM u_data
SELECT
TRANSFORM (userid, movieid, rating)
USING 'python test_data_mapper3.py'
AS str
;
后面的是脚本的名称，而不是整个的路径名。
以后在Hive下面使用Hadoop Distributed Cache要注意这个问题。
页:
[1]