求解统计系统设计的一些技术方案和实现

从数据源到数据呈现说说目前的情况吧，

weenCompany闻名企业网站系统5.3.0 繁体中英文 UTF8

weenCompany闻名企业网站系统(免费开源)是一个功能强大, 使用简单的中英文企业智能建站系统, 您只需要一些基本的计算机知识就可以利用此系统完成中小型企业网站的建设; 是低成本企业网站架设方案之首选CMS系统, 也适合建设个人网站。weenCompany闻名企业网站系统功能：1. 程序代码简洁严谨, 整个系统程序仅2M左右大小.2. 中英文双语版共用一套网站程序, 双语页面实现自由切换.3

0

查看详情

数据源：
1、mysql
2、日志文件

呈现：
1、csv文件导出或者发送邮件
2、提供接口数据给web呈现图标

当前涉及的一些技术点：
从日志文件读取数据主要是 shell ＋ awk ，从 mysql 主要是 php 读取数据存储到文件，之后通过 php 或者 shell 来进行一些运算或者统计处理， 相应数据入库或者发送邮件提供给需求方。

目前项目积累了大量的脚本，和一些临时性的解决办法（零散脚本），而且随着数据的增长， mysql 这部分效率也越来越慢， 复杂的脚本已经变得越来越难维护。这些脚本有一些是需要的时候手工跑一次，还有很多是定时跑，如果继续下去已经快不可控了。

寻求一套从数据入口到数据呈现的解决方案，或者是各位有经验的同学分享分享。

日志文件存储在 hadoop 上一部分，目前没有写 mapreduce 直接去处理这部分。

->3Q

回复内容：

从数据源到数据呈现说说目前的情况吧，

数据源：
1、mysql
2、日志文件

呈现：
1、csv文件导出或者发送邮件
2、提供接口数据给web呈现图标

当前涉及的一些技术点：
从日志文件读取数据主要是 shell ＋ awk ，从 mysql 主要是 php 读取数据存储到文件，之后通过 php 或者 shell 来进行一些运算或者统计处理， 相应数据入库或者发送邮件提供给需求方。

目前项目积累了大量的脚本，和一些临时性的解决办法（零散脚本），而且随着数据的增长， mysql 这部分效率也越来越慢， 复杂的脚本已经变得越来越难维护。这些脚本有一些是需要的时候手工跑一次，还有很多是定时跑，如果继续下去已经快不可控了。

寻求一套从数据入口到数据呈现的解决方案，或者是各位有经验的同学分享分享。

日志文件存储在 hadoop 上一部分，目前没有写 mapreduce 直接去处理这部分。

->3Q

0、方案取决于你的目标和团队实力。自建方案的复杂度和你的期望成正比，和数据量成正比。
1、你可以研究一下Splunk或者Logstash + ES + Kibana这两个方案，相信会有惊喜。
2、如果还想更深入，可以了解一下SIEM。
3、Dirty And Quick是一种选择；Flexable是另一种选择。

源数据整理好格式，定好Schema，用Hive统计，用Oozie定时跑作业，结果放在约定好的地方，用Web呈现。
基本上都是这么个套路。

只能采纳一个答案.
其实这是一个讨论性的话题，希望有更多的人参与吧。