【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总
原文连接：http://click.aliyun.com/m/13938/免费开通大数据服务：https://www.aliyun.com/product/odps
本文列举了Flume采集网站日志到MaxCompute的一些常见问题，欢迎大家补充；
https://yqfile.alicdn.com/0598e66e3505b23d1d35e87a8770592967e24ca6.png
Q：找不到指定路径的文件
A：本实验要在Linux系统下运行，路径也要写在Linux下的路径
https://yqfile.alicdn.com/aec2f6c5756235c301a61bbd6337d5c4dac9f303.png
Q：找不到指定sink type的类
A：插件错误，需要用新版本的 flume插件 写新版本的 datahub
https://yqfile.alicdn.com/925cf9312351beeffa339a6b03c2c0e5b655fad2.png
Q：不能执行SinkRunner
A：插件错误，需要用新版本的 flume插件 写新版本的 datahub
https://yqfile.alicdn.com/3fa927d023a1c6978bd4757e316adf8af721deb4.png
Q：不识别Datahubendpoint地址
A：填的 endpoint是 ecs上用的，应填写公网地址
https://yqfile.alicdn.com/80ddd8252fe2149f6cd92bd42f346d6234f5aca6.png
Q：更改endpoint地址后依旧报同样的错
A：虚拟机未能ping通外网，重新设置虚拟机，搭建桥接模式
Q：报ak有错
A：先检查ak是否被禁用，若没有不断刷新页面
https://yqfile.alicdn.com/47c6e9ec0e0635cb20c7ff0b9c88f14acea45c98.png
Q：上传数据成功后往MaxCompute归档时未成功
A：MaxCompute表的字段和Datahub topic字段大小写不一致（还要注意Flume配置文
件中a1.sinks.k1.serializer.fieldnames的一致性）
Q：错误，找不到主类
A：不支持文件夹命名带空格，如MaxCompute Project，改为MaxCompute_Project
MaxCompute产品地址：https://www.aliyun.com/product/odps
感谢楼主的分享！
页:
[1]