博文
深入理解ETL(2007-12-28 14:22:00)
摘要：深入理解ETL
ETL是商业智能(BI)的重要组成部分。我们先看一下在WIKI中的定义：
ETL,是英文Extract-Transform-Load的缩写，即填充、更新数据仓库的数据抽取、转换、装载的过程。这是实现商业智能之前的数据采集步骤。这一步骤完成之后，对库中数据的数据挖掘、分析处理才可以进行。
对于ETL而言，”是什么”是很容易理解的，也就是将分散的、不易利用的数据进行整理，变成规则清晰的、易于利用的、（可能同时还是）集中的数据。在ETL过程之外，就可以基于报表分析系统、多维分析系统和数据挖掘系统等，进行进一步的数据分析利用。
这一过程可以通过Hard Codding，即编写程序实现，也可以通过各种ETL工具实现。
对于ETL，实际常见的问题有两个：
1、为什么要做ETL，而不是直接利用数据？
这个原因有多种多样，比如可能原始数据量太大，需要加以提炼；可能业务数据的服务器面临性能压力，不希望分析工作影响性能；可能源数据的异构性和低质量，需要加以规范；还有可能有些数据直接利用起来有困难，例如SAP系统中的数据。
2、不同ETL工具与方法的差异主要是什么？
由于ETL是一个可以用Hard Codding并不大困难就可以实现的过程，因此很容易会问”为什么要用ETL工具”。实际上，Hard Codding也是一种可供选择ETL方法，而各种工具与方法主要的差异在于两点，一是设计与建立ETL过程的复杂度，比如有些工作用工具可以很快建立和修改、调试，而写程序要花很大力气，有些工作则配置ETL工具很费力，还不如直接写一个SQL，不同的工具之间也有很大的差异；二是运行时的效率，有些ETL工作，要经常进行，有些则是初始时进行一次，有些数据量大、时效要求高，有些则反之。这样，在不同情况下，就可能需要根据运行效率的需要选择合适的ETL工具。
从上面两个问题，我们可以理解ETL的必要性与适用性，同时，也可以认识到，ETL是一个概念，应该根据实际的情况与需要，选择（包括不使用）合适的ETL工具或方法。
Technorati : BI, ETL, 商业智能, 数据仓库
相关文章:
OLAP工具就是商业智能BI吗? (0)
商业智能是一种解决方案 (0)
报表分析实现随需而动 (0)
一个轻量级的OLAP (0)
BI......
报表设计的方式 - 类Excel设计与传统的方式比较(2007-12-25 10:28:00)
摘要：报表设计的方式 - 类Excel设计与传统的方式比较
报表绘制的方法，是非常影响工作效率的，特别是对于格线比较多的表。
传统的报表绘制，大多数是用的拖拽式，拿部件拖来拽去。后来可能是发现了其中的不便，所以出现了类EXCEL的绘制方法。
其实，这两者根本不具可比性，类EXCEL的方法明显优于拖拽式，或者说，画报表就应该是用象Excel那样的方法。
道理非常简单，你见过有人用Powerpoint画表吗？会累死的。大概稍有点常识的人，都会拿Excel画表吧。
所以，类Excel是必然的方向。
但是，类Excel不应该简单地就是解决画的问题。水深水浅，举两个例子一试便知：
1、c3=a3+b3*0.5 要能支持写这个吧？
2、插入一行或一列 后面的公式要能自动变吧，否则一旦做了插入，后面所有的格子手工改一遍，岂不累死？
华天企业报表系统，采用了类Excel的设计方法，并且可以支持公式的自动变化和格间的计算，使报表设计的效率大大提高。
Technorati : 报表, 类Excel, 绘制, 设计本文链接：报表设计的方式 - 类Excel设计与传统的方式比较转载请注明出处：企业报表系统Report8000.com
« 报表中的参数,以及比参数更加灵活的宏
深入理解ETL »
相关文章
软件开发 - 一定要会做的30张报表 - 之六 - 地址标签 (1)
软件开发 - 一定要会做的30张报表之五 - 主从报表 (1)
软件开发 - 一定要会做的30张报表 - 之四 - 图表 (0)
软件开发 - 一定要会做的30张报表 - 之三 - 最基本的交叉表 (1)
软件开发，必须要会的报表之二-分组报表 (0) ......
OLAP工具就是商业智能BI吗?(2007-12-25 10:28:00)
摘要：
OLAP工具就是商业智能BI吗?
企业为了确定经营战略和市场战略所进行的经营活动，在BI项目的分析决策过程中，需要基于多种报告和报表进行分析。理想的市场活动展开，大多需要各个营业点的销售报表，每种商品按季节销售的业绩图表等，这就需
要大量准确的并且易于判断的数据。
然而，对于作为使用者的一般员工或者IT部门员工来说，这是一个很大的工作量负担。因为数据的分析需要先获得必要的数据信息，这就必须预先知道数据采集和数据加工计算的方法。当然，还有必要掌握数据库构成和数据存取语言的一些专门的知识。
因此这些工作以前全都是由IT部门人员用OLAP产品来完成的。信息管理部门要根据用户的要求把报表格式设计好，然后根据用户的目的，开发出应用程序以及建立数据库等来完成这项工作。
OLAP报表工具是指什么？
在报表市场上，有一个奇特的现象：IT部门的技术人员是企业所有部门中最不熟悉使用报表工具的部门人员，但报表的数据来自IT部门。IT部门往往利用OLAP的概念建设数据模型，根据数据模型来制作报表，因此对IT部门而言，报表工具是指OLAP工具中的报表展现部分，比如Crystal Report等等。
而在使用报表操作的业务人员眼里，报表工具是代表报表本身功能（排版、计算、统计、图形等）的产品，它目前只有一个产品来代表了，就是EXCEL。
OLAP报表产品最大的难点在哪里？
目前报表工具最大的难点不在于报表的样式（如斜线等），样式虽较繁琐但并非本质困难。最根本的难点在于业务部门知道报表代表的真正含义，却不知道报表的数据统计模型模型；而IT部门通过理解业务部门的描述，在数据库端进行设置数据统计模型，却对报表本身所代表的价值很难理解。
这样的现状，导致报表工具无法两者兼顾，OLAP报表工具产品一直在数据模型设计层面（OLAP层面）和报表本身功能层面做出平衡。
目前OLAP报表产品制作复杂，报表一般会有什么症状？
首先，由于IT部门创建的数据统计模型不完全适应，导致报表制作经常需要编写代码、准备数据（如几十甚至上百行的SQL或存储过程），而且动辄就要进行繁琐的子表拼接，即使这样仍有许多报表无法完成，需与用户商量改变，运算性能也很差。
其次，由于IT部门根据业务部门进行报表制作时，对报表样式理解不专业，大部分报......
报表设计的两种方式比较(2007-12-21 15:47:00)
摘要：
报表设计的两种方式比较
报表绘制的方法，是非常影响工作效率的，特别是对于格线比较多的表。
传统的报表绘制，大多数是用的拖拽式，拿部件拖来拽去。后来可能是发现了其中的不便，所以出现了类EXCEL的绘制方法。
其实，这两者根本不具可比性，类EXCEL的方法明显优于拖拽式，或者说，画报表就应该是用象Excel那样的方法。
道理非常简单，你见过有人用Powerpoint画表吗？会累死的。大概稍有点常识的人，都会拿Excel画表吧。
所以，类Excel是必然的方向。
但是，类Excel不应该简单地就是解决画的问题。水深水浅，举两个例子一试便知：
1、c3=a3+b3*0.5 要能支持写这个吧？
2、插入一行或一列 后面的公式要能自动变吧，否则一旦做了插入，后面所有的格子手工改一遍，岂不累死？
华天企业报表系统，采用了类Excel的设计方法，并且可以支持公式的自动变化和格间的计算，使报表设计的效率大大提高。
原文链接：报表设计的方式 - 类Excel设计与传统的方式比较出处：企业报表系统Report8000.com
相关文章:
软件开发 - 一定要会做的30张报表 - 之六 - 地址标签 (0)
软件开发 - 一定要会做的30张报表之五 - 主从报表 (0)
软件开发 - 一定要会做的30张报表 - 之四 - 图表 (0)
软件开发 - 一定要会做的30张报表 - 之三 - 最基本的交叉表 (0)
软件开发，必须要会的报表之二-分组报表 (0)
Technorati : 报表, 类Excel, 绘制, 设计本文链接：报表设计的两种方式比较转载请注明出处：商业智能BLOG-DinosBoy
相关文章:
什么是好的知识管理系统 (0)
电厂生命周期中的数据管理 (0)
OLAP工具就是商业智能BI吗? (0)
报表分析实现随需而动 (0)
一个CFO的一天 (0)
« 什么是好的知识管理系统 ......
报表中的参数,以及比参数更加灵活的宏(2007-12-21 15:23:00)
摘要：报表中的参数,以及比参数更加灵活的宏
报表参数毫无疑问是所有报表工具都应当提供功能，否则我们就要为每一张报表实例制作模板，这也就是自动化的报表工具与电子表格类产品（如EXCEL）的根本区别之一。
比如，有一张报表每月都要出，格式一样，但每月引用的数据是当月的。这时就可以做一张以月份为参数的报表，该参数在某些报表表达式中被引用，如在本例会在取出数据的SQL语句中写上类似WHERE 月份=arg的表达式。这样，只需绘制一遍报表模板后，报表运算器即可根据不同参数运算出不同月份的报表，而不必为每个月专门绘制报表。
然而，还有些我们需要的变化情况是用目前的参数机制解决不了的，举两例：
例1：我们可以用参数把取数条件从“=3月”改成”=5月”，但我们不能把“=3月“改成”>5月”；
例2：两张格式相同的报表，其数据分别来自两张数据结构类似的不同数据表（这种现象在信息系统中很常见，如教育系统中本科生和研究生数据结构大体一致，但一般会为了效率和处理方便设计成两个数据表），而我们不能用参数去改变SQL语句中FROM后面的部分；
为解决上述问题，华天企业报表系统中除了提供可应用于数据源（如SQL语句）和报表格间运算中的参数外，还提供了更为灵活的宏！
宏可以被理解为一种特殊的参数，应用宏能使报表有更多灵活的变化。与一般意义的参数不同，宏没有数据类型，可用于替换报表表达式的任何部分。如将SQL语句中的整个WHERE子句作为一个宏，可以写类似SELECT … FROM … WHERE macro的句子，在报表运算前将macro替换成传入的表达式（宏值）即可继续计算下去；同样地，FROM后面的表名也可以作为宏来传递。
当然，宏在带来方便的同时，也有其缺点，写进了宏的表达式在报表设计期间无法进行语法检查，只能在解析后才能查出错误，使用时必须很小心；另外，宏的解析很复杂，会影响表达式的处理速度（C编译器有相当多时间用于解析宏，PASCAL没这问题速度能快很多），对于表达式很多且性能要求很高的情况尽量不要采用宏。曾经有个相关的案例。用户有一张报表希望以某个字段排序输出，需要有正序和逆序两种形式。出于某些设计方面的原因，必须采用数据库的排序运算，即用SQL的ORDER BY子句控制，但该排序字段又不是数值型量，只能用ASC和DESC控制，但排序方向在水晶报表中不可作为参数......
什么是好的知识管理系统(2007-12-18 12:11:00)
摘要：
什么是好的知识管理系统
知识管理已经成为一个非常时尚的词。对于办公自动化、协同办公领域而言，可以说知识管理已经成为了必不可少的组成部分。
那么，什么是好的知识管理系统？
首先是知识内容要全面，从知识管理的内容角度，至少应该包括：
对信息的发布，比如直接发布各种内容
对文档的管理，如各类DOC、XLS、PPT等文件
对数据信息的管理，如各类报表等等
有利于充分利用知识，比如：
对链接的处理：在内容中可以互相链接，它是有效利用知识的非常重要的环节
强有力的索引能力，特别是全文检索
对于动态数据的强有力查询能力，比如可以根据各种条件进行查询
灵活的可配置性，比如：
对于知识目录、分类等的灵活配置
对于用户、权限的灵活配置
对于统计分析方法、报表格式的灵活配置
技术的先进性，比如：
强有力的权限控制机制
先进的报表设计模型
可靠地处理大附件的能力
进一步的，有一些专业的知识管理系统还提供了对知识的利用率、贡献率、生命周期等的管理，使得知识管理到了更深的层次。
本文转载自: ENOA http://www.enoa.cn/research/research_goodkm.htm
Technorati : 信息, 发布, 报, 数据, 知识管理本文链接：什么是好的知识管理系统转载请注明出处：商业智能BLOG-DinosBoy
相关文章:
报表设计的两种方式比较 (0)
电厂生命周期中的数据管理 (0)
OLAP工具就是商业智能BI吗? (0)
报表分析实现随需而动 (0)
一个CFO的一天 (0)
« 电厂生命周期中的数据管理 报表设计的两种方式比较 »
......
软件开发 - 一定要会做的30张报表 - 之七 - 复杂表头与横向运算(2007-12-18 12:10:00)
摘要：软件开发 - 一定要会做的30张报表 - 之七 - 复杂表头与横向运算
前面的报表，报表的表头都非常简单，但实际业务中，会碰到大量复杂表头的报表。比如：
这张表在篮板的统计那里，分成了两层，因此，需要能够生成这种复杂的表头。（实际上这个表头还不算是复杂的，更复杂的情况是需要进行横向的数据展开，在后面的文章中将会提到）
同时，篮板球的总数，是进攻篮板和防守篮板的合计，这就需要能够在报表内自动进行合计。（这种横向的运算，是最简单的运算，复杂的运算，在后面的文章中也会提到）
引自:http://www.rqrpt.blog.com.cn/
Technorati : 合计, 复杂报表, 数据, 表头本文链接：软件开发 - 一定要会做的30张报表 - 之七 - 复杂表头与横向运算转载请注明出处：企业报表系统Report8000.com
« 软件开发 - 一定要会做的30张报表 - 之六 - 地址标签
报表中的参数,以及比参数更加灵活的宏 »
相关文章
软件开发 - 一定要会做的30张报表 - 之三 - 最基本的交叉表 (0)
软件开发 - 一定要会做的30张报表之一 - 简单的数据列表 (0)
OA中的报表(之二) (0)
谈OA中的报表(之一) (0) ......
BI售前的临场发挥(转载)(2007-12-13 11:04:00)
摘要：
BI售前的临场发挥(转载)
我觉得做BI的售前，要在两个小时的演讲中让用户能明白（尤其没有实施过相关项目的用户）什么是数据仓库和做这个东东到底有什么用处，实在是件不容易的事情，因此要能够即兴发挥，把生活中的事情与BI联系起来，才能让人对”统计分析”有点感觉。
偏巧38那天去和客户喷段子，面对30个听众，有点发懵，开始正题之前，即兴发挥，说了个引子：
今天是3.8妇女节，首先祝在座的各位女同胞节日快乐！有这个节日我想到最几年来的节假日经济问题，如果不管是中国节、外国节，商家都过得热热闹闹，趁这个机会搞出点明堂来进行促销，从圣诞节到51之间的节假日尤其密集，有圣诞节、元旦、春节、元宵节、情人节、妇女节、劳动节，印象中每个节日各商家都要展开宣传促销大战。情人节有些移动通信公司就大推情侣套餐，时尚的手机、优惠的资费配合温馨的节日气氛，让硝烟弥漫的移动通信战场平添了几分浪漫。
不知道我们东方移动在3.8妇女节的时候是否也针对女同胞推出了什么业务，我在街上转了一圈，很遗憾，感觉以妇女节为题材的促销活动好象并不火爆，这样子让我有点失望，本来嘛，现在各行各业都纷纷抢占女性市场，先是饮料分了男女，叫”他她水”，然后银行推出了女性信用卡，然后手机分了男女，听说现在专为女性设计的手机款式多到了20多种！可是我偏偏就没听说哪家运营商推出女性资费套餐？
有时候我也在考虑其中的道道，为什么没有女性套餐呢？我相信做市场的朋友们肯定也想过这个问题，之所以还没设计出女性套餐来，我想可能还没搞清楚女性的通信消费区别于男性的地方吧。大家都知道女性喜欢青春美丽，所以服装、化妆品等，但女性打电话到底有什么特点呢？让我来猜测一下，如今这世界是男人的战场，从社会交往范围来说，男性交际范围相对较大，联系人较多，女性的联系人相对少一些，我想女同胞打电话单次通话的时间也会长一些，心情好的时候或者心情不好的时候，找个朋友打电话”聊十块钱”的很平常。呵呵，当然这样说是个玩笑话啦，但对于我们整个移动公司用户ARPU值只有60－80元的消费水平来说，如果时不时聊十块钱的，每月聊几回咱移动的ARPU值可就上去啦！其实我发现男同胞，尤其是高端用户，通话消费习惯可是大大的不同，同样是高端用户，当领导的必然是被叫多，主叫少，电话多，平均单次时间短，领导嘛，当然每天事务繁忙，请示汇报多；......
软件开发 - 一定要会做的30张报表 - 之六 - 地址标签(2007-12-13 11:03:00)
摘要：软件开发 - 一定要会做的30张报表 - 之六 - 地址标签
打印地址标签，是一个并不复杂的功能，但是非常实用。
简单讲，就是将一大堆地址，打印成发信用的地址标签（实际一般是打印在不干胶纸上，不过这事就和报表没关系了）。往往是一张纸上，要打印mxn个标签：
这主要是要求报表工具对格式有非常好的控制能力，包括能够分栏和控制好每行的高度（比如地址可能会有折行或不折行的现象，不能因此就影响到下面的位置）。
Technorati : 地址, 报表, 标签本文链接：软件开发 - 一定要会做的30张报表 - 之六 - 地址标签转载请注明出处：企业报表系统Report8000.com
« 商业智能－技术还是解决方案
软件开发 - 一定要会做的30张报表 - 之七 - 复杂表头与横向运算 »
相关文章
软件开发 - 一定要会做的30张报表之五 - 主从报表 (0)
软件开发 - 一定要会做的30张报表 - 之四 - 图表 (0)
软件开发 - 一定要会做的30张报表 - 之三 - 最基本的交叉表 (0)
软件开发，必须要会的报表之二-分组报表 (0)
解读商业智能之二 - 商业智能的组成 (0) ......
Web报表工具的采购成本(2007-12-10 09:58:00)
摘要：
Web报表工具的采购成本
一般地，Web报表在一个软件开发项目中占的比例大概是 10% 左右，这两年有上升的趋势，据我现在项目中报表的开发量大的能占到20%。下面的计算还是以10%为标准，每人月的成本按2.5万计算。
以一个100万的软件开发项目为例，Web报表的工作量占 10% ，即开发成本为 10 万元。以 2.5 万 / 人月来计算，这个项目需要用 4 个人月来完成报表工作。在实际的项目中，这 10 万元有几种方式分摊：
（1）集成商以前的代码积累＋程序员按项目定制。说白了，就是纯手工编写代码。这里又分两种情况： A 、是在集成商以前的代码积累基础之上直接按项目定制； B 、找开源的报表软件，在此之上做修改。这样做能在一定程度上减少程序员的工作量和后期的维护成本，但是开发上要受限于开源软件。且不论产品资料、函数接口什么的是否齐全，单是开源软件的 bug 问题就够让人挠头的了。
这两种方式不涉及到采用报表软件的成本问题，好处就是开发人员对程序能完全控制，开发成本直观。坏处就是如果项目报表的要求比较高的话，程序员的工作量会相当大，报表开发效率低，报表的后期维护成本也比较高，只要客户要修改报表，就必须找到开发商，除非事先商量好，否则就会出现钱方面的扯皮。实际应用中， A、B两种方式主要集中在中小型的项目。
（2）Web报表软件＋程序员开发。用报表软件的好处有很多，象提高开发效率、节省时间、缩短工期、方便后期维护等到，就不多说了。但是市场上报表软件非常多，如何能选择出既符合项目需要、又能合理控制成本的工具呢？采购报表软件的成本遵循下面这个原则就行： 选择的Web报表软件至少能减少 50% 的报表开发工作量，报表的总开发成本降低 1/3 左右。
拿在上面的例子来说：以前做报表需要4个人月，在使用Web报表工具后，应该2个人月就能完成；加上报表系统的采购成本，原来需要10万元才能做完的事情，应该要6、7万元就能做完。
至于选择哪些报表工具，还需要拿项目中的几个表实际用报表工具做一下，不敢妄言。
转自：www.quiee.com.cn Web报表工具的采购成本
Technorati : Java, Web报表, 开源报表, 报表软件本文链接：Web报表工具的采购成本转载请注明出处：商业智能BLOG-DinosBoy
相关文章:
None ......