技术起点

基于web的数据挖掘分析

作者：Lightning@小宝 发布时间：August 5, 2009 分类：产品&需求&体验

XML与Web数据挖掘  实例：google.analytics

摘要：面向Web的数据挖掘是一项复杂的技术，由于Web数据挖掘比单个数据仓库的挖掘要复杂的多，因而面向Web的数据挖掘成了一个难以解决的问题。而XML的出现为解决Web数据挖掘的难题带来了机会。
标签：XML  Web数据挖掘
oracle帮您准确洞察各个物流环节
面向Web的数据挖掘面临的挑战

Web 上有海量的数据信息，怎样对这些数据进行复杂的应用成了现今数据库技术的研究热点。数据挖掘就是从大量的数据中发现隐含的规律性的内容，解决数据的应用质量问题。充分利用有用的数据，废弃虚伪无用的数据，是数据挖掘技术的最重要的应用。

相对于Web的数据而言，传统的数据库中的数据结构性很强，即其中的数据为完全结构化的数据，而Web上的数据最大特点就是半结构化。所谓半结构化是相对于完全结构化的传统数据库的数据而言。显然，面向Web的数据挖掘比面向单个数据仓库的数据挖掘要复杂得多。

1.异构数据库环境

从数据库研究的角度出发，Web网站上的信息也可以看作一个数据库，一个更大、更复杂的数据库。Web上的每一个站点就是一个数据源，每个数据源都是异构的，因而每一站点之间的信息和组织都不一样，这就构成了一个巨大的异构数据库环境。如果想要利用这些数据进行数据挖掘，首先，必须要研究站点之间异构数据的集成问题，只有将这些站点的数据都集成起来，提供给用户一个统一的视图，才有可能从巨大的数据资源中获取所需的东西。其次，还要解决Web上的数据查询问题，因为如果所需的数据不能很有效地得到，对这些数据进行分析、集成、处理就无从谈起。

2.半结构化的数据结构

Web 上的数据与传统的数据库中的数据不同，传统的数据库都有一定的数据模型，可以根据模型来具体描述特定的数据。而Web上的数据非常复杂，没有特定的模型描述，每一站点的数据都各自独立设计，并且数据本身具有自述性和动态可变性。因而，Web上的数据具有一定的结构性，但因自述层次的存在，从而是一种非完全结构化的数据，这也被称之为半结构化数据。半结构化是Web上数据的最大特点。

3.解决半结构化的数据源问题

Web 数据挖掘技术首要解决半结构化数据源模型和半结构化数据模型的查询与集成问题。解决Web上的异构数据的集成与查询问题，就必须要有一个模型来清晰地描述 Web上的数据。针对Web上的数据半结构化的特点，寻找一个半结构化的数据模型是解决问题的关键所在。除了要定义一个半结构化数据模型外，还需要一种半结构化模型抽取技术，即自动地从现有数据中抽取半结构化模型的技术。面向Web的数据挖掘必须以半结构化模型和半结构化数据模型抽取技术为前提。

XML与Web数据挖掘技术

以XML 为基础的新一代WWW环境是直接面对Web数据的，不仅可以很好地兼容原有的Web应用，而且可以更好地实现Web中的信息共享与交换。XML可看作一种半结构化的数据模型，可以很容易地将XML的文档描述与关系数据库中的属性一对应起来，实施精确地查询与模型抽取。

1.XML的产生与发展

XML (eXtensibleMarkupLanguage)是由万维网协会(W3C)设计，特别为Web应用服务的SGML （StandardGeneralMarkupLanguage）的一个重要分支。

总的来说，XML是一种中介标示语言（Meta- markupLanguage），可提供描述结构化资料的格式，详细来说，XML是一种类似于HTML，被设计用来描述数据的语言。XML提供了一种独立的运行程序的方法来共享数据，它是用来自动描述信息的一种新的标准语言，它能使计算机通信把Internet的功能由信息传递扩大到人类其他多种多样的活动中去。XML由若干规则组成，这些规则可用于创建标记语言，并能用一种被称作分析程序的简明程序处理所有新创建的标记语言，正如HTML为第一个计算机用户阅读Internet文档提供一种显示方式一样，XML也创建了一种任何人都能读出和写入的世界语。XML解决了HTML不能解决的两个Web问题，即Internet发展速度快而接入速度慢的问题，以及可利用的信息多，但难以找到自己需要的那部分信息的问题。XML能增加结构和语义信息，可使计算机和服务器即时处理多种形式的信息。因此，运用XML的扩展功能不仅能从Web服务器下载大量的信息，还能大大减少网络业务量。

XML 中的标志(TAG)是没有预先定义的，使用者必须要自定义需要的标志，XML是能够进行自解释(SelfDescribing)的语言。XML使用DTD (DocumentTypeDefinition文档类型定义)来显示这些数据，XSL(eXtensibleStyleSheetLanguage)是一种来描述这些文档如何显示的机制，它是XML的样式表描述语言。XSL的历史比HTML用的CSS(层叠式样式表 CascadingStyleSheets)还要悠久，XSL包括两部分：一个用来转换XML文档的方法；一个用来格式化XML文档的方法。XLL （eXtensibleLinkLanguage）是XML连接语言，它提供XML中的连接，与HTML中的类似，但功能更强大。使用XLL，可以多方向连接，且连接可以存在于对象层级，而不仅仅是页面层级。由于XML能够标记更多的信息，所以它就能使用户很轻松地找到他们需要的信息。

利用XML，Web 设计人员不仅能创建文字和图形，而且还能构建文档类型定义的多层次、相互依存的系统、数据树、元数据、超链接结构和样式表。

2.XML的主要特点

正是XML的特点决定了其卓越的性能表现。XML作为一种标记语言，有许多特点：

（1）简单。XML经过精心设计，整个规范简单明了，它由若干规则组成，这些规则可用于创建标记语言，并能用一种常常称作分析程序的简明程序处理所有新创建的标记语言。XML能创建一种任何人都能读出和写入的世界语，这种创建世界语的功能叫做统一性功能。如XML创建的标记总是成对出现，以及依靠称作统一代码的新的编码标准。

（2）开放。XML是SGML在市场上有许多成熟的软件可用来帮助编写、管理等,开放式标准XML的基础是经过验证的标准技术，并针对网络做最佳化。众多业界顶尖公司，与W3C的工作群组并肩合作，协助确保交互作业性，支持各式系统和浏览器上的开发人员、作者和使用者，以及改进XML标准。XML解释器可以使用编程的方法来载入一个XML的文档，当这个文档被载入以后,用户就可以通过XML文件对象模型来获取和操纵整个文档的信息，加快了网络运行速度。

（3）高效且可扩充。支持复用文档片断，使用者可以发明和使用自己的标签，也可与他人共享，可延伸性大，在XML中，可以定义无限量的一组标注。XML提供了一个标示结构化资料的架构。一个XML组件可以宣告与其相关的资料为零售价、营业税、书名、数量或其它任何数据元素。随着世界范围内的许多机构逐渐采用 XML标准，将会有更多的相关功能出现：一旦锁定资料，便可以使用任何方式透过电缆线传递，并在浏览器中呈现，或者转交到其他应用程序做进一步的处理。 XML提供了一个独立的运用程序的方法来共享数据，使用DTD，不同的组中的人就能够使用共同的DTD来交换数据。你的应用程序可以使用这个标准的DTD 来验证你接受到的数据是否有效，你也可以使用一个DTD来验证你自己的数据。

（4）国际化。标准国际化，且支持世界上大多数文字。这源于依靠它的统一代码的新的编码标准，这种编码标准支持世界上所有以主要语言编写的混合文本。在HTML 中，就大多数字处理而言，一个文档一般是用一种特殊语言写成的，不管是英语，还是日语或阿拉伯语，如果用户的软件不能阅读特殊语言的字符，那么他就不能使用该文档。但是能阅读XML语言的软件就能顺利处理这些不同语言字符的任意组合。因此，XML不仅能在不同的计算机系统之间交换信息，而且能跨国界和超越不同文化疆界交换信息。

3.XML在Web数据挖掘中的应用

XML 已经成为正式的规范，开发人员能够用XML的格式标记和交换数据。XML在三层架构上为数据处理提供了很好的方法。使用可升级的三层模型，XML可以从存在的数据中产生出来，使用XML结构化的数据可以从商业规范和表现形式中分离出来。数据的集成、发送、处理和显示是下面过程中的每一个步骤:

促进XML应用的是那些用标准的HTML无法完成的Web应用。这些应用从大的方面讲可以被分成以下四类：需要Web客户端在两个或更多异质数据库之间进行通信的应用；试图将大部分处理负载从Web服务器转到Web客户端的应用；需要Web客户端将同样的数据以不同的浏览形式提供给不同的用户的应用；需要智能Web代理根据个人用户的需要裁减信息内容的应用。显而易见，这些应用和Web的数据挖掘技术有着重要的联系，基于Web的数据挖掘必须依靠它们来实现。

XML 给基于Web的应用软件赋予了强大的功能和灵活性，因此它给开发者和用户带来了许多好处。比如进行更有意义的搜索，并且Web数据可被XML唯一地标识。没有XML，搜索软件必须了解每个数据库是如何构建的，但这实际上是不可能的，因为每个数据库描述数据的格式几乎都是不同的。由于不同来源数据的集成问题的存在，现在搜索多样的不兼容的数据库实际上是不可能的。XML能够使不同来源的结构化的数据很容易地结合在一起。软件代理商可以在中间层的服务器上对从后端数据库和其它应用处来的数据进行集成。然后，数据就能被发送到客户或其他服务器做进一步的集合、处理和分发。XML的扩展性和灵活性允许它描述不同种类应用软件中的数据，从描述搜集的Web页到数据记录，从而通过多种应用得到数据。

同时，由于基于XML的数据是自我描述的，数据不需要有内部描述就能被交换和处理。利用XML，用户可以方便地进行本地计算和处理，XML格式的数据发送给客户后，客户可以用应用软件解析数据并对数据进行编辑和处理。使用者可以用不同的方法处理数据，而不仅仅是显示它。XML文档对象模式(DOM)允许用脚本或其他编程语言处理数据，数据计算不需要回到服务器就能进行。 XML可以被利用来分离使用者观看数据的界面，使用简单灵活开放的格式，可以给Web创建功能强大的应用软件，而原来这些软件只能建立在高端数据库上。另外，数据发到桌面后，能够用多种方式显示。

XML 还可以通过以简单开放扩展的方式描述结构化的数据，XML补充了HTML，被广泛地用来描述使用者界面。HTML描述数据的外观，而XML描述数据本身。由于数据显示与内容分开，XML定义的数据允许指定不同的显示方式，使数据更合理地表现出来。本地的数据能够以客户配置、使用者选择或其他标准决定的方式动态地表现出来。CSS和XSL为数据的显示提供了公布的机制。通过XML，数据可以粒状地更新。每当一部分数据变化后，不需要重发整个结构化的数据。变化的元素必须从服务器发送给客户，变化的数据不需要刷新整个使用者的界面就能够显示出来。但在目前，只要一条数据变化了，整一页都必须重建。这严重限制了服务器的升级性能。XML也允许加进其他数据，比如预测的温度。加入的信息能够进入存在的页面，不需要浏览器重新发一个新的页面。XML应用于客户需要与不同的数据源进行交互时，数据可能来自不同的数据库，它们都有各自不同的复杂格式。但客户与这些数据库间只通过一种标准语言进行交互，那就是XML。由于 XML的自定义性及可扩展性，它足以表达各种类型的数据。客户收到数据后可以进行处理，也可以在不同数据库间进行传递。总之，在这类应用中，XML解决了数据的统一接口问题。但是，与其他的数据传递标准不同的是，XML并没有定义数据文件中数据出现的具体规范，而是在数据中附加TAG来表达数据的逻辑结构和含义。这使XML成为一种程序能自动理解的规范。

XML 应用于将大量运算负荷分布在客户端，即客户可根据自己的需求选择和制作不同的应用程序以处理数据，而服务器只须发出同一个XML文件。如按传统的 “Client/Server”工作方式，客户向服务器发出不同的请求，服务器分别予以响应，这不仅加重服务器本身的负荷，而且网络管理者还须事先调查各种不同的用户需求以做出相应不同的程序，但假如用户的需求繁杂而多变，则仍然将所有业务逻辑集中在服务器端是不合适的，因为服务器端的编程人员可能来不及满足众多的应用需求，也来不及跟上需求的变化，双方都很被动。应用XML则将处理数据的主动权交给了客户，服务器所作的只是尽可能完善、准确地将数据封装进XML文件中，正是各取所需、各司其职。XML的自解释性使客户端在收到数据的同时也理解数据的逻辑结构与含义，从而使广泛、通用的分布式计算成为可能。

XML 还被应用于网络代理，以便对所取得的信息进行编辑、增减以适应个人用户的需要。有些客户取得数据并不是为了直接使用而是为了根据需要组织自己的数据库。比方说，教育部门要建立一个庞大的题库，考试时将题库中的题目取出若干组成试卷，再将试卷封装进XML文件，接下来在各个学校让其通过一个过滤器，滤掉所有的答案，再发送到各个考生面前，未经过滤的内容则可直接送到老师手中，当然考试过后还可以再传送一份答案汇编。此外，XML文件中还可以包含进诸如难度系数、往年错误率等其他相关信息，这样只需几个小程序，同一个XML文件便可变成多个文件传送到不同的用户手中。

结束语

面向Web的数据挖掘是一项复杂的技术，由于Web数据挖掘比单个数据仓库的挖掘要复杂的多，因而面向Web的数据挖掘成了一个难以解决的问题。而XML的出现为解决Web数据挖掘的难题带来了机会。

由于XML能够使不同来源的结构化的数据很容易地结合在一起，因而使搜索多样的不兼容的数据库能够成为可能，从而为解决Web数据挖掘难题带来了希望。XML的扩展性和灵活性允许XML描述不同种类应用软件中的数据，从而能描述搜集的Web页中的数据记录。

同时，由于基于XML的数据是自我描述的，数据不需要有内部描述就能被交换和处理。作为表示结构化数据的一个工业标准，XML为组织、软件开发者、Web站点和终端使用者提供了许多有利条件。相信在以后，随着XML作为在Web上交换数据的一种标准方式的出现，面向Web的数据挖掘将会变得非常轻松。

谦逊编程（翻译整理）

作者：Lightning@小宝 发布时间：August 3, 2009 分类：产品&需求&体验

转自：明城大哥

译注：开发人员如何从无休止的需求、项目进度中摆脱烦躁的心态，这是每个人都值得思考的话题。无意间看见了这篇文章，恐于太长遂将其精简翻译，错误之处难免欢迎指正。

同时如果你有有关程序员修身养性的观点和心得，欢迎说说你的看法。

-- Split --

其实每个程序员或多或少都会有个毛病，就是具有某种有强烈的“优越感”。而这种“优越感” 有可能成为激励自身不断发展的动力，同时也有可能成为其职场中的绊脚石。

程序员的这种心态，源自自身掌握的技术、以及多年积累的经验。正如上面所言，这种心态能使其一切都力求完美、同时准确按照自己的思路行事，能使其技术不断的提升。而另一方面，如果将这种态度套用给身边其他的人（包括陌生人、同事、朋友甚至家庭），则会发现 他的生活将会如履薄冰 -- 他们只会看见完美的一面而忽略了更多更需要关注的事物。

总而言之，越早发现并解决这一问题，越对自身有利。套用 GeraldWeinberg 在《计算机编程心理学》中的一段话

这种想法是程序员必须解决的，他们对待自己的代码犹如对待自己身体的
一部分，因此他们拒绝所有的负面评价。相反，它们（指代这种心态）应
该及时的引导到正途，使其发挥真正的效用。人非圣贤，这不仅仅是心态
更是精神上的境界，并非所有人都能达到，但仍旧值得去尝试。

症状

那么，你如何得知这种“优越感”正在伤害到自己？除了应付那些没完没了的催促项目进度的 电话，以及给同事擦屁股的优化工程，其它的现象并非显而易见。

其实就我个人而言，时常也会自我责备，这就能窥出事态的严重。例如一方面你对项目疲于 奔命，而同时却忽略身边的人对你表达的看法（该死，这个时候我应该放下手头的工作听他 们说完的）。或者你“假装”静下心来听取他们的意见，但不就繁杂的工作却让你左耳进右耳 出。

其他的些症状

• 如上面所说的，不会妥善处理批评
• 不放心同伴的代码，经常性地对他们进行代码审查（Review）
• 报复性的编写大量充斥着错误的代码
• 个人的消极心态，对自身和团队造成不利的影响
• 必须要求进行测试，但出发点却是炫耀
• 对事物的看法仅仅局限于个人或者本职位的角度

这不仅仅是你个人的事情，编程以及项目开发实际上是团队活动。了解到这些，你将会意识到 你的心态将会直接影响到你的同事。

事实就是这样，当我对您的代码提出写意见甚至批评时，你应该听、并且认
真的听，这样你才能理解我的看法。

有可能最糟糕的情况就是，即便早已经收到其他同事的提醒，当事人已经陷入此泥潭无法自拔。

准则

让我们回到文章的题目本身，正如上面的例子中看到，“谦逊编程”不是编程技术本身，而是 种态度，但它的确会比你掌握的某种技术要有用的得多。

行为准则的确能改变人的心态，下面是些不成文的建议，或许你可以尝试下

• 不要草率的宣布你的决定，在大多数情况下，你应该和你们的同事们讨论
• 不要使用这些论调，这非常让人感到不适：“这是见过的最糟糕的代码了”，换之你可以这样说，“我有个更好的解决方案，要不看看？”
• 不要轻易认为他们没有考虑到你想的方式，即便很不幸是这样，应该善意的提醒。例如“你觉得我这个看法怎么样...”
• 不要无理由的批评你认为很弱智的现象，例如“我觉得 DBA 脑门子被夹了，这个字段竟然使用 INT 型”

更多的，可以参考 Tech Republic 中的“谦逊编程”十条诫律：

• 理解和接受你将犯下的“错误”。
  重点是及早的发现你已经犯下的错误，当代码投入使用以后，改动起来就会非常的困难。
• 你的代码不能代表你的人。
  记住始终要 Review 你的代码，即便你已经认为无懈可击，经验证明总能发现些错误。
• 不管怎么样，有些“奇技淫巧”总能派上用场，而可能这些技巧别人知道的比你更多。
  如果你坚持不耻下问，你的同伴总能分享你更多。
• 不要在完全没有沟通的情况下，自作多情的进行代码重构。
  当你确定要更改别人的代码时，必须加上良好的修改记录，这也是出于对他人的种尊重。
• 对待那些新手要保持充分的尊重、细心以及耐心。
  记住当他们成长起来后，能帮你解决的问题会比你想象中的还要多。
• 唯一不变的是变化。
  怀着开放的心态对待变化，对于各种需求、平台甚至开发工具的变更，应该是迅速适应而不是牢骚满腹 -- 这样解决不了问题。
• 真正的权威来自学识，而不是立场。
  权威源自学识、尊重源自权威。
• 优雅的接受失败。
  最终你的一些观点将会被推翻，即便你有能力证明你的观点是正确的，请不要重复的争辩。帮助其他人意识到这点的最好工具，就是你的理解以及时间。
• 不要成为“办公室男”。
  不要在昏暗的办公室里独自喝着可乐敲着代码。当与外界隔绝，离开同伴的视线，也就说明你离开了一个开放、合作的环境。
• 批判代码而不是编写它的人。
  要知道你的意见可以影响到代码也可以影响到其人，如果你想尝试下如何打击别人的自信并造成冲突，那么尝试下吧。

为什么首页最后设计

作者：Lightning@小宝 发布时间：July 31, 2009 分类：产品&需求&体验

在我做过的N多项目中，基本都有个跑不开的怪圈——首页很难设计。根据进度安排，首页必须按时出来，不然没法review，也没法测试。于是，首页只能在后续工作中不断的redesign。而且我发现，往往都是必须整个产品结束之后，首页调整才算完成。

仔细思考，为什么网站需要首页？因为内容需要索引，任务需要入口。在任何角度，首页都是贯穿整个体系的中心点，牵一发而动全身。或许，此话题得放大到改版来看。

六年前为赚零花钱，经常接到类似“重新设计XX网站首页”的私活。能做的事情，无非就是根据已有内容调调布局、板块，优化字体、行距等现在看来纯属“信息设计”范畴的小问题。虽然没受过专业训练，自己专业知识结合个人审美，但也比很多“设计师”做的出色。

四年前做业内某互动娱乐门户网站，三个月之内进行了三次大改版。结果是一次不如一次，究其原因，我认为关键在于不应该先改首页。改首页的确容易出“政绩”，但改动频繁对用户来说却是场灾难，搞不好还以为走错、或者网站出啥事儿了。

任何改版都会产生数据震荡，这是因为受用户习惯的影响，短暂周期内用户有点不适合。但如果是好的改版，数据应该在两周内恢复，并且能看到逐步提升的趋势。首页所放内容应该保证宁缺勿滥，慢慢补充总比来回折腾好，切忌先入为主制定“规范”。具体原因，可参考对比暗示中的观点“大改时，用户会重点看哪些改的不错；小改时，用户会更关注哪些还需要再改。”

因此，改版是动作越轻、动静越小对用户影响越少。全站改版应该遵从“自下而上”原则，先从结构最基础的功能开始，首页最后；单页改版应该遵从“由内而外”原则，先从结构最里边的小模块开始，页面布局最后。如下观点大家都不陌生，但陈旧思路也不是完全错误：

“首页风格定下来，全站就好做了。”

是这样么？完全不是。但这个出发点犯了“以风格为中心”的错误。因为用户首先要的并不是风格，而是信息和内容。首页需要放的内容一定提取自各下级组织单元，在整个信息结构基础不牢靠前提下诞生的首页，生命周期可想而知。

“首页是用户看到的第一个页面，马虎不得。”

是这样么？不一定是。得根据不同类型产品来具体分析，比如走媒体路线的新闻资讯网站，走商务路线的百货卖场网站，首页都很重要，但大多访问量肯定来自最底层的内容和商品信息页面。提供服务的产品不同，比如有隐私性质的邮箱，最重要肯定就只有首页的登录。

“首页设计最能反映web设计师的水准。”

是这样么？的确是。因为做好首页的前提是做好全站，同时，设计师必须精准把握传达点，引导不同任务行为流。首页只是默认进入页面的代称，与叫index,default的传统一样，但不同类型产品需要突出不同侧重点。比如，登录框直接放首页，还是只链接引导？具体情况需要具体分析。再比如，我固执的认为直接介绍就是个人网站最好的首页，没必要再“关于”自己。
转自:http://blog.rexsong.com/?p=6132