java -> kafka -> logstash -> elasticsearch + kibana
①java把日志写入kafka
②logstash从kafka获取数据
③logstash将数据写入elasticsearch
④kibana用于展示elasticsearch的数据
整套日志架构软件版本使用
kafka : kafka_2.10-0.10.0.0.tgz
logstash:logstash-2.3.0.tar.gz
elasticsearch: elasticsearch-2.3.0.tar.gz
kibana : kibana-4.3.0-linux-x64.tar.gz
使用log4j将程序日志实时写入kafka
http://www.cnblogs.com/gaopeng527/p/5266351.html
Kafka与logstash数据交互
http://blog.csdn.net/xiaoyu_bd/article/details/52454951
logstash
Logstash安装和使用
http://blog.csdn.net/u012373815/article/details/51029826
logstash+elasticsearch配置文件创建规则
https://www.elastic.co/guide/en/logstash/current/configuration.html
Elasticsearch+kibana
kibana和Elasticsearch集成只需要简单的配置Kibana的配置文件
Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的
kibana4的安装和使用
http://blog.csdn.net/u012373815/article/details/51029855
这边博客写的比较详细:http://blog.csdn.net/ming_311/article/details/50619859
kibana官方示例:https://my.oschina.net/clgo/blog/671861
Kafka 生产者消费情况监控,输入输送到 Elasticsearch 并利用 Kibana 进行前台展示。
安装elasticsearch插件elasticsearch-head
elasticsearch-2.2.0 如何安装插件elasticsearch-head?
Head插件是Elasticsearch的图形化界面,方便 用户对数据进行增删改查,基于REST的四种方式进行数据交互
1.安装和使用kafka
参考:http://colobu.com/2014/08/06/kafka-quickstart/
2.安装和使用elasticsearch
参考:http://shensuqiao.iteye.com/blog/2251674
3.安装elasticsearch插件elasticsearch-head
①https://github.com/mobz/elasticsearch-head下载zip 解压
②建立elasticsearch-2.3.1\plugins\head文件
③将解压后的elasticsearch-head-master文件夹下所有的文件copy到head(注意:这里说的是elasticsearch-head-master文件夹下面的文件)
④运行es
⑤打开http://localhost:9200/_plugin/head/
启动报错:
Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.
解决:http://blog.csdn.net/u010317005/article/details/52205825
参考:
1.kafka入门教程
http://colobu.com/2014/08/06/kafka-quickstart/
创建只有一个备份一个分区的主题test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费消息
./kafka-console-consumer.sh --zookeeper 10.10.28.111:2181 --topic test --from-beginning
查看主题信息
bin/kafka-topics.sh --describe --zookeeper 10.10.28.111:2181 --topic test
kafka+log4j
http://www.cnblogs.com/dreammyle/p/6598935.html
http://stackoverflow.com/questions/35628706/kafka-log4j-appender-0-9-does-not-work
2.认识kibana
http://blog.csdn.net/ming_311/article/details/50619804
3.Elasticsearch教程
http://www.sojson.com/blog/85.html
4.跨域问题处理
5.网关编写
相关推荐
kafka的集群安装和配置,以及简单的使用生产数据和消费数据
Apache Kafka Quick Start Guide-Packt Publishing(2018),epub格式,欢迎下载
版本kafka_2.13-2.5.0. 官网下载太慢了,备份一下. 直接可以用 启动方法 方法一:加守护进程启动 bin/kafka-server-start.sh -daemon config/server....nohup kafka-server-start.sh ../config/server.properties
批处理脚本启动kafka服务,
说明:kafka-manager 自己下载编译速度巨慢,此资源是编译好的 kafka-manager,版本是:kafka-manager-1.3.3.7(适用于较新的版本,kafka版本是kafka_2.11-2.0.1)。 安装配置说明: 1. 里头有个自己写的启动脚本,...
kafka 的分布式搭建,quick start:《kafka 分布式环境搭建》 关亍 kafka 的实现细节,返主要就是讲 design 的部分:《细节上》、《细节下》 关亍 kafka 开収环境,scala 环境的搭建:《开収环境搭建》 数据生产者...
bin/kafka-server-start.sh config/server.properties & 停止 bin/kafka-server-start.sh config/server.properties & bin/zookeeper-server-start.sh config/zookeeper.properties & create a topic bin/...
[root@hadoop102 kafka-manager-1.3.3.22]$ nohup bin/kafka-manager -Dhttp.port=7456 >/opt/module/kafka-manager-1.3.3.22/start.log 2>&1 & 6)在浏览器中打开 备注:指定端口号看启动过程中 "-Dhttp.port=7456...
环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_...分别启动:kafka-server-start.bat ..\..\config\server.properties
linux与window上都可以运行 启动zookeeper命令: >nohup bin/zookeeper-server-start.sh config/zookeeper.properties >output 2>&1 & ...>nohup bin/kafka-server-start.sh config/server.properties >output 2>&1 &
kafka_2.13-2.8.1.rar 安装包。 支持大字符串生产和消费(已修改过配置) 0 解压 进入bin目录 1.先启动zk ./zookeeper-server-start.sh ../config/zookeeper...../kafka-server-start.sh ../config/server.properties
window版的kafka资源下载,请解压在D:Server目录,则无需修改配置,否则需要修改配置。在bin/window目录,双击kafka-server-start.bat即可启动
脚本内容主要是进行hadoop,zookeeper,kafka服务的start,stop,status等...
简单的Kafka消费者-生产者示例运行项目的步骤下载Kafka 0.10.0.0二进制文件cd kafka_2.11-0.10.0.0 运行zookeeper和kafka服务器bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start....
kafka 0.10.0 以后的版本offset信息都不会存在zookeeper中,而是在本地的进行存储,所以直接下载KafkaOffsetMonitor-assembly包启动,会导致看不见消费组的信息及offset动态关系...启动命令 sh kafka-monitor-start.sh
Nest.js Kafka演示 设置 Kafka,其依赖项和Kafdrop(Kafka UI) $ docker-compose up # to start $ docker-compose down # to stop $ docker-compose down -v --rmi all # full cleanup Nest.js生产者服务 $ cd ...
Kafka REST代理 ... 包装脚本bin/kafka-rest-start和bin/kafka-rest-stop是启动和停止服务的推荐方法。 快速开始 以下内容假设您已经使用默认设置和一些已创建的主题运行Kafka和REST Proxy实例。 # Get a list
编译好的kafka-manager,https://github.com/yahoo/kafka-manager,解压,运行:1.Start Kafka:Start kafka: ./bin/kafka-server-start ./etc/kafka/server.properties 2.Start manager: ./bin/kafka-manager -Dhttp....
项目介绍一个例子,使用 spring boot ...cmd, 输入 输入bin\windows\kafka-server-start.bat config\server.properties,启动 kafka测试:运行以下命令kafka-topics.bat --create --zookeeper localhost:2181 --replica
Kafka REST代理 Kafka REST代理为Kafka集群提供了RESTful接口。 无需使用本机Kafka协议或客户端,即可轻松生成和使用消息,查看集群状态以及执行管理操作。... 建议使用包装脚本bin/kafka-rest-start和bin/kafka-