注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

小葫芦君(汉斯的博客)

博客迁移到新博客:https://blog.ssxingshou.com

 
 
 

日志

 
 
关于我

小小葫芦商城,为您提供高品质的商品,一流的产品,一流的包装服务,一流的物流服务,放心购买

研讨:数据统计报表的解决方案  

2012-03-22 11:33:39|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
转载某用户的研讨主题:

我们客户有个业务系统要进行数据统计并输出相关的统计报表。要求如下:
1、实现按照时间周期进行统计系统各项数据指标增量;
   按照天、周、月份、季度、年份等不同时间区间进行统计
2、实现按照地域分布进行统计系统各项数据指标增量;
   例如:按照全国、福建省、福州市、鼓楼区等等不同层级统计
3、实现按照系统业务内部分类维度进行统计系统各项数据指标增量;
   例如:按照生产类、财务类、行政类等等不同分类进行统计

实现的数据统计需要上述三者条件进行交织混合查询统计,然后以图形报表或者文档报表输出。统计功能设计包含如下三部分:
1、统计数据采集(统计的数据源)
2、统计数据加工(数据处理过程)
3、统计数据展现(统计结果展现)

目前我这边导致的思路如下:
统计数据采集过程:拦截业务操作的方法调用进行操作记录;
统计数据加工过程:业务库数据量较大不可能基于业务库进行实时统计,大的方向采用操作记录表+中间处理数据表相结合的方式进行:
  业务系统进行相关操作时将相关记录插入到操作记录表(大数据表),然后晚上定时采用任务调度的形式进行对当天的数据进行解析汇总,最后的周报表与月报表就是基于日报表进行统计汇总记录到另外一张中间表。
统计数据展现过程:数据展现采用Fushion Free直接读取相关的汇总表进行展现;

  倘若要按照这种方式实现上述业务需求,存在的问题如下:不能灵活挑选上述三项统计条件进行统计查询,统计数据量冗余度较大存储量也较大。

评论:
你说的【数据统计报表方案设计】和你的解决方案似乎对不上。
你描述的解决方案,应该是从业务系统-ETL-数据仓库---报表展现的过程。这个过程是需要一定理论支撑的,比如数据仓库的星型模型,或者雪花模型,能够指导你进行数据整合方案。
1、统计数据采集过程:  数据采集过程是不应该掺杂在业务系统中的,可采取业务系统空闲时,进行数据抽取。
2、统计数据加工过程:  数据抽取过程,是要根据你的数据仓库设计来进行的。比如数据仓库中有哪些维度(如区划、时间),在抽取过程中是要根据这些维度粒度来进行的,如果数据十分复杂,可采取建立数据ODS。
3、统计数据展现过程:数据展现过程,是基于数据仓库的,可采用第三方开源组建,如果没有多维分析,完全可自主开发页面。
总之,如果想做的完美,还是比较繁琐的。

第二步加工如果数据量特别大的话可以试试hadoop

数据来源有两个选择(择一):
1)晚上从非结构平台EMC Documentum中进行提取;
2)系统功能被触发前(或结果返回前)拦截进行记录操作日志;

朋友你说的模拟点击在我这边可能不是最好的方案。数据量增长量也不是很大,目前暂时仅采取了oracle数据表+相关处理策略等处理方式。目前正在验证技术框架,若可行到时再分享给大家,不行届时也说说问题所在。

报表到底需要考虑哪些东西?
1、数据源
2、呈现方式
3、呈现的性能
  评论这张
 
阅读(784)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018