kafka-sinks报错之Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode=””:suh:supergroup:rwxr-xr-x

Caused by: org.apache.hadoop.ipc.RemoteException:

一、错误原因:

  1. 我的情况:
    我运行flume的时候并无任何错误,但是就是hdfs无任何次flume的sinks写的文件。
    我的架构图如下:
    file

  2. 错误:
    当我让flume1和2把数据生产到kafka中后,报了下面的错误

    Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="":suh:supergroup:rwxr-xr-x

    这个时候思考了一下,是因为消费kafka的时候的是从末尾开始的,当我让flume1和2把数据生产到kafka中后,因为权限不足,所以报了错误。

二、问题解决:

  1. 摸索:经过摸索,发现是因为我的linux账户登录错误,flume是归属以我的shixia用户的,切换到shixia用户后此问题解决。

  2. 新问题:
    再次启动报如下错误:

    Caused by: java.io.FileNotFoundException: /opt/module/flume/checkpoint/behavior1/in_use.lock (权限不够)
  3. 新问题解决:
    是因为flume目录下的三个文件是在root用户下创建的,所以shixia权限不够,把这三个文件删除就好了
    file

    sudo rm -rf checkpoint/ data/ logs/

版权声明:
作者:十下
链接:http://blog.edkso.cn/?p=504
来源:十下博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
打赏
< <上一篇
下一篇>>