14人加入学习
广告日志数据采集系统
价格 ¥ 199.00
抱歉,该课程为限制课程,请联系客服
课程介绍

一、课程简介

      系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,及时分析相关问题、追查错误根源纠正错误。 许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分析系统使用,正是日志收集系统的要做的事情。现有一个服装电商网站,与某热门视频网站公司广告部合作,在视频网站中为用户推送广告,要求在网站主页面需要投放广告,且保证曝光率不低于1/5;在视频播放过程中穿插广告,且保证总曝光量不低于100000次;需要提供用户点击广告访问网站的记录。
      本案例的主要分析目标如下。
      (1)实时采集系统生成的日志文件,保存到HDFS。
      (2)实时采集广告曝光记录,保存到Kafka和HDFS。
      (3)实时采集广告点击记录,保存到Kafka和HBase。

 

二、技术点

      Flume数据采集、Kafka、HDFS、MySQL、HBase。

 

三、建议前置课程