全部课程 > 云计算/大数据 > 大型网站日志分析

授课机构:速学堂

大型网站日志分析

本项目就是以电商平台为背景,通过数据产生、数据收集、数据存储、数据清洗、数据分析、结果展示等过程来详细讲解本项目。

价      格¥189

优惠活动   无

特色服务 社区交流 24H答疑 作业批改 系统化学习 资料下载
选择班次

报班即学,有效期320天

课程简介

  随着科学技术的发展,人们已经不再像之前一样购买商品时需要去百货大楼等购物场所,而是选择在手机或者电脑上进行购物,这样的话,每一个用户的浏览,点击,收藏,对比,购买,评价等行为都会被电商公司所记录下来,每天产生的数据量将是非常庞大的量,一般在TB,甚至PB级别。那么对于电商公司而言,用户的这些行为数据将会是非常宝贵的财富。

  本项目就是以电商平台为背景,通过数据产生、数据收集、数据存储、数据清洗、数据分析、结果展示等过程来详细讲解本项目。


适合人群

  l 适合零基础学大数据的初学者

  l 想转行进入大数据行业的工作人员

  l 已经掌握Linux服务器内核和命令

  l 已经学习完Hadoop框架

  l 掌握Hive和Hbase

课程亮点

  项目中包含的核心模块如下:

  用户基本信息模块:

  通过收集的用户数据来计算新增用户、活跃用户、总用户、新增会员、活跃会员、总会员等指标;

  浏览器模块分析:

  以浏览器信息为条件计算新增用户、活跃用户、总用户、新增会员、活跃会员、总会员等指标;

  地域分析模块:

  通过采集地域信息来分析各个地方的新增用户、购买商品数等指标;

  用户浏览深度分析模块:

  计算在某个时间范围内或者某个用户访问的页面的数量;

  外链数据分析模块:

  主要分析各个不同外链端带来的用户访问量数据;

  订单分析模块:

  主要分析订单的相关情况:包括成交额,成功订单数量等。

主讲内容

  01 hbase补充:微博案例讲解

  02 项目需求分析

  03 项目数据介绍

  04 项目数据流图

  05 js端数据来源设计

  06 Java端数据来源设计

  07 日志数据发送到nginx,本地存储

  01 flume介绍及搭建

  02 flume source组件介绍

  03 flume sink组件介绍

  04 日志数据通过flume发送到hdfs

  05 ETL准备工作

  06 ETL代码讲解

  01 项目模块设计思路

  02 新增用户指标mapper端编写

  03 新增用户指标reducer端编写

  04 新增用户指标runner编写

  05 Mapreduce计算结果存储MySQL讲解

  06 新增用户指标运行

  01. 活跃用户指标编写

  02. 活跃用户指标编写2

  01 hive与hbase整合

  02 sqoop介绍安装及数据导入

  03 sqoop数据导出

  04 用户浏览深度SQL分析

  05 项目优化

  06 项目架构设计及项目总结

我知道了

现在就与学习导师聊一聊

北京总部地址:北京市海淀区西三旗街道建材城西路中腾建华商务大厦东侧二层尚学堂

咨询电话:400-009-1906 010-56233821

Copyright 2007-2019 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183