智•火花-Z•Spark搜索引擎开源项目，欢迎你的加入！

此主题相关图片如下：zspark.gif

智•火花  Z•Spark

好网搜索与数据挖掘开源工程 – 智•火花 （Z•Spark）

工程介绍：
智•火花 （Z•Spark） 是好网搜索与数据挖掘开源工程的名称。“智•火花”是其中文名称。“Z•Spark” 是其英文名称。这个工程是一个开源工程，是可扩展的中文Web网页的搜索与数据挖掘工程。是一个中文垂直搜索与数据挖掘的开源工程。

工程目标：
最终希望通过Z•Spark完成下面的目标：
1.Z•Spark可以轻松的在单服务器上，在中小型数据域上建立智能索引和垂直搜索引擎。
2.Z•Spark支持可扩展性，支持分布式数据处理，可以轻松的把一台服务器加入到Z•Spark的集群中，Z•Spark可以在大型海量数据上一样高速高效的工作，建立智能索引和垂直搜索引擎。

工程背景信息：
Z•Spark 完全基于开源项目。其实是对现在这个领域中开源项目的一次中文支持的整合。Z•Spark依托于下面的开源工程：
1. Lucene http://lucene.apache.org/ 索引与搜索开源工程。
2. Nutch http://lucene.apache.org/nutch/ 基于Lucene的垂直搜索引擎开源工程。
3. Hadoop http://hadoop.apache.org/core/ 类似与Google File System的分布式文件与数据处理开源工程。
4. Heritrix http://crawler.archive.org/ 网页抓取开源工程。
5. NutchWAX http://archive-access.sourceforge.net/ 使Nutch可以在ARC文件上建立索引。
6. Paoding http://code.google.com/p/paoding/ 中文分词器。
7. Compass http://www.compass-project.org/ 一个搜索引擎框架。

Z•Spark 希望基于上面的这些开源工程，搭建一个支持中文的垂直搜索引擎。

Z•Spark 成员如何沟通
Z•Spark 现在主要通过成员的邮件地址进行沟通，当Z•Spark基本上可推出0.1版本的时候会，会去sourceforge.net申请开源工程，现在只在Google申请了Z•Spark的讨论区http://groups.google.com/group/zspark。

Z•Spark “Hello World”
你可以在下面的地址Download到Z•Spark所需要的所有背景工程，同时其中大部分工程中都加入了一个build.bat Windows下的build批处理。你可以在Windows平台下进行对应你JRE的Build。运行一下这些背景工程。

http://zhangsichu.com/zspark/

加入Z•Spark
如果你热爱编程。每天早上当手指触摸到键盘的时候，当屏幕进入编程IDE环境的时候，如果你感觉你在告诉你说 Yeah. It’s my world, it’s my show time. 那么Z•Spark 将会是 It’s our world, we build our platform to show ourselves.

    >> 如果你对搜索引擎技术感兴趣，想要对搜索引擎进行更加深入的学习和研究，平时花费很多的时间在网上学习知识和获取经验。Z•Spark 很适合你。

    >> 如果你熟悉 OOP 面向对象程序设计，熟悉 Java 语言 ，Eclipse 等IDE开发环境，Z•Spark 很适合你。

    >> 如果你符合上面的条件，Z•Spark 欢迎你的加入。请下载并填写下面的表格发送到 zspark@xdnice.com
  

点击浏览该文件

sf

我  就是  搞 J2EE的 

对 JAVA已经不感兴趣了 编程  太累人  低级程序员  没有好日子

目前暂未定时间限制

晕，使用hadoop，你觉得需要这么重型的武器吗？这个是一个分布式计算平台，一般是用来做巨型数据处理的，尽管搭建这样的环境很容易，但是在我们能够轻松获得多核多路机器的情况下，请楼主考虑是否必要。

其实整个搜索引擎最难的地方有两个，第一个是蜘蛛，第二个是切词，其次才是那些索引什么的。所以我建议还是集中在蜘蛛以及切词上。还有，你是打算使用java吗？请考虑一下效率问题吧，同时你们准备使用什么平台呢？linux还是windows？至于你说的希望能够很容易的加入新的服务器，我想这个问题连google，baidu这样的公司都还是没有解决好的吧，除非你的搜索引擎可以完全部署在一台机器上，否则一旦出现了分层，呵呵，增加服务器就意味着索引的切分，还可能意味着数据的切分。如果只是希望做成小型的搜索引擎，这个问题我建议最好回避。

对了，那么多参考，我想，就算只是读完那些代码甚至只是文档，都不是一件容易的事情吧？

另外，你把这个定义为开源，并且号召大家加入，是想大家免费给你们工作？

若观点有误，请斧正。

>>使用hadoop，你觉得需要这么重型的武器吗？
这是根据应用场景的需要来决定的。如果确实需要在大型数据上进行快速的索引操作确实需要。

>>搜索引擎最难的地方有两个，第一个是蜘蛛，第二个是切词，所以我建议还是集中在蜘蛛以及切词上。还有，你是打算使用java吗？请考虑一下效率问题吧。

蜘蛛 方面是基于Heritrix 和 Nutch 这两个工程来。 其中已经有很多垂直搜索引擎是基于Nutch来搭建的。
Public search engines using Nutch http://wiki.apache.org/nutch/PublicServers 在这个页面你可以看到使用Nutch技术搭建的搜索引擎。Heritrix 和 Nutch 在网页抓取方面已经非常领先了。

分词 方面是基于Paoding，JE分词也不错可是没有开源。中文分词技术上，可以提供源代码开源使用的可能也就Paoding比较好了。

为何使用Java？首先这些背景工程都是使用Java写的，在开源领域很多资源都是使用Java来编写的。 google的很多东西也是使用Java来写的。使用Java可以复用更多的资源，站在巨人的肩膀上可以让我们省很多力气，看的更远一些。其次Java虚拟机的特性可以方便的支持跨平台，解决平台兼容性的问题。效率上Java毕竟是字节码，但Java现成资源多优势是无法抗拒的。

>>增加服务器就意味着索引的切分，还可能意味着数据的切分。
增加服务器上， hadoop 工程在做这方面的工作了。并且已经支持了 2000个节点的部署 http://hadoop.apache.org/core/docs/r0.17.1/quickstart.html 不过hadoop 只通过了 GNU/Linux 下的测试。 在windows下没有测试。在是否多服务器上，还是看应用场景的需要，如果需要，可以使用Linux下的服务器集群。如果不需要，只在小数据上应用，完全可以使用单台服务器。单台服务器上Linux和Windows都可以胜任。 具体的服务器集群，分布式数据处理的工作 hadoop已经做的非常好了。

>>我想，就算只是读完那些代码甚至只是文档，都不是一件容易的事情吧？
确实每个工程都需要学习代码和文档。 但是当你看到报名的表格的时候就会明白了，不是每个人都需要学习和了解所有的东西。是根据自己的兴趣自己选择安排的。在自己学习掌握自己部分的基础上大家进行交流沟通，共同搭建一个支持中文的搜索引擎。 并不是让一个人搞定所有事情。

>>你把这个定义为开源，并且号召大家加入，是想大家免费给你们工作？
开源的定义：
http://en.wikipedia.org/wiki/Open_source

Open source is a development methodology,which offers practical accessibility to a product's source (goods and knowledge). Some consider open source as one of various possible design approaches, while others consider it a critical strategic element of their operations. Before open source became widely adopted, developers and producers used a variety of phrases to describe the concept; the term open source gained popularity with the rise of the Internet, which provided access to diverse production models, communication paths, and interactive communities.

The open source model of operation and decision making allows concurrent input of different agendas, approaches and priorities, and differs from the more closed, centralized models of development.The principles and practices are commonly applied to the development of source code for software that is made available for public collaboration, and it is usually released as open-source software.
更加具体的定义 可以继续在 维基百科上找到。
开源 open source 是沟通和运作的一种方式。从Internet得到知识，同时把自己的成果也贡献给Internet.
每个做ZSpark的人都是想做一个好的中文搜索引擎。所得成果也会贡献给Internet贡献给所有人。 这个才是ZSpark开源的意义。