智能日志管理平台

  • HDFS

    最近更新时间:2019-02-28 20:58:31

    hdfs reader支持从hdfs上读取日志文件。

    安装完logkit之后进入日志收集的页面,可以在左侧的选择栏中看到从hdfs读取数据的选项。

    注意:从hdfs中读取数据必须将logkit的agent部署在hdfs集群的namenode节点上,否则可能会导致数据读取的不成功。

    进入从hdfs读取数据的页面后你可以看到如下的配置选项:

    连接IP地址(ip):hdfs中提供webhdfs服务的IP地址。可以在配置文件hdfs-site.xml<name>dfs.namenode.http-address</name>中找到有关webhdfs的配置,若未配置,则默认使用127.0.0.1
    访问端口(host):hdfs中提供webhdfs服务的端口。可以在配置文件hdfs-site.xml<name>dfs.namenode.http-address</name>中找到有关webhdfs端口的配置,若未配置,则默认使用本机的50070端口。
    用户名(username):部署hdfs集群时,hdfs所属的用户。
    hadoop安装根目录(hdfs_conf):安装hdfs时Hadoop所在的目录,具体到bin目录所在的路径。例:hadoop bin文件夹所在的路径为/root/hadoop/bin,则填写的路径应为/root/hadoop
    namenode存储fsimage文件的地址:hdfs用于存放fsimage文件的路径,可以在配置文件hdfs-site.xml<name>dfs.namenode.name.dir</name>选项下查找具体路径。
    单次读取字节数(read_bytes_once):选填,单次从hdfs上读取数据的大小,单位字节,默认读取大小1M。正确的路径下应该可以看到如下文件:

    正确配置上述选项之后,点击右侧的获取数据按钮就可以看到尝试获取的数据。

    以上内容是否对您有帮助?
  • Icon free helper
    Close