如何利用docker安装flume,ubuntu安装docker

如何利用docker安装flume,ubuntu安装docker

Flume-ngagent-cconf/-nlog_monitor-fconf/flume.conf-Dflume.root.logger=INFO,console>logs/log_monitor.out2>&1#如果使用dockerrun启动容器，ENVPATH$FLUME_HOME/bin:$PATH#修改默认flume-ngjvmheapsizeRUNsed-i' 225s/Xmx20m/Xmx2048m/'/usr/local/flume/bin/flume-ng###Youcantrynotusingsetuptools,meld3,和supervisor

5.缓存中间件redismememecached6.消息中间件activemqrabbitmqkafa等7.数据库中间件mycatshardingjdbc8.容器化技术dockerk8s9.微服务SpringbootSpringclouddubbozookeeper注意：Centos6.9默认为docker1.7早期版本。 *版本，后续docker版本分为CE和EE，只能安装在centos7.*上。 在centos6.9环境下，由于系统包名冲突，docker包名

1.拉取Flume镜像2.开始调试并拉取镜像：pulltheanchorfree/flumeimagefromhub.docker,dockerpullanchorfree/flume:latest通过dockerimage查看主机创建的卷路径ps:mkdir/datadockerrun-it-d--networkdatastore_net--ip172.173.16.16--nameflume01caiser/centos-ssh:7.8下载flumeD自己加载flume复制到容器dockercp~/下载

1）Flume设计架构及原理（三大组件）2）Flume初步使用，实时数据采集3）如何使用Flume监控文件夹数据，实时采集并输入到HDFS中4）任务调度框架Oozie3.Oozie功能、安装和部署1）使用OozietoscheduleMapReduceJo安装loki的dockerplugin.Rundockerplugininstallgraf从命令行运行ana/loki-docker-drive。呃：最新--aliasloki--授予所有权限tuseloki的docker插件有两种方法。

Scala开发sparkstreaming程序，读取skafka数据进行处理，然后写入Kafka。使用Flume将kafka数据写入HDFS，然后加载到hive中进行hsql分析。使用Springboot和Vue开发数据管理系统，并使用Canal底层原理处理数据。 进行了讲解，详细介绍了Canal的安装、部署和常见应用，并详细讲解了如何采集MySQL数据以及如何将数据发送到Kafka，同时使用TCP模式对封装的数据进行深度分析并实现定制。