forfuture1978的博客
forfuture1978 · 共 79 篇文章
Lucene应用开发揭秘
Lucene应用开发揭秘 华章培训网地址: http://www.hztraining.com/bbs/showtopic-1954.aspx ChinaPub地址: http://product.china-pub.com/3502099&ref=xiliegoumai 注意事项: 由于本人是首次录制此类视频,不完美之处敬请谅解 此系列课程主要包涵三大部分,一是搜索引擎的原理,二是lucene的深入解析及高级特性,三是实时搜索分布式搜索的框架解析及代码实现 对于搜索引擎的原理部分,理论讲解比较多,有的部分内容较少,处于完整性的需要,还是作为单独的一节,可能视频时间较短,好在视频是分节销售的…
2011-09-25T22:13:05Z · 开源软件 · 评论(10)
LinkedIn公司实现的实时搜索引擎Zoie
一、总体架构 Zoie是linkedin公司基于Lucene实现的实时搜索引擎系统,按照其官方wiki的描述为: http://snaprojects.jira.com/wiki/display/ZOIE/Overview Zoie is a realtime indexing and search system, and as such needs to have relatively close coupling between the logically distinct Indexing and Searching subsystems: as soon as a document …
2010-11-29T21:19:49Z · 编程语言 · 评论(4)
Hadoop学习总结之四:Map-Reduce的过程解析
一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的: public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个任务 running = jc.submitJob(job); JobID jobId = running.getID(); …… while (true…
2010-11-19T23:48:10Z · 编程语言 · 评论(1)
Hadoop学习总结之三:Map-Reduce入门
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 006701199099999 1950 051507**+0000**+ 004301199099999 1950 051512**+0022**+ 004301199099999 1950 051518**-0011**+ 004301265099999 1949 032412**+0111**+ 004301265099999 1949 032418**+00…
2010-11-14T18:26:01Z · 编程语言 · 评论(1)
Hadoop学习总结之二:HDFS读写过程解析
一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDataInputStream( dfs.open(getPathName(f), bufferSize, verifyChecksum, statistics)); } 其中dfs为DistributedFileS…
2010-11-10T21:38:56Z · 编程语言 · 评论(1)
有关Lucene的问题(8):用Lucene构建实时索引的文档更新问题
在有关Lucene的问题(7),讨论了使用Lucene内存索引和硬盘索引构建实时索引的问题。 然而有的读者提到,如果涉及到文档的删除及更新,那么如何构建实时的索引呢?本节来讨论这个问题。 1、Lucene删除文档的几种方式 IndexReader.deleteDocument(int docID)是用 IndexReader 按文档号删除。 IndexReader.deleteDocuments(Term term)是用 IndexReader 删除包含此词(Term)的文档。 IndexWriter.deleteDocuments(Term term)是用 IndexWriter 删除包含…
2010-06-27T14:21:31Z · 编程语言 · 评论(10)
Lucene 原理与代码分析完整版
Lucene 原理与代码分析系列文章已经基本告一段落,可能问题篇还会有新的更新。 完整版pdf可由以附件下载。 目录如下: 目录 目录 第一篇:原理篇 第一章:全文检索的基本原理 一、总论 二、索引里面究竟存些什么 三、如何创建索引 第一步:一些要索引的原文档(Document)。 第二步:将原文档传给分次组件(Tokenizer)。 第三步:将得到的词元(Token)传给语言处理组件(Linguistic Processor)。 第四步:将得到的词(Term)传给索引组件(Indexer)。 1. 利用得到的词(Term)创建一个字典。 2. 对字典按字母顺序进行排序。 3. 合并相同的词…
2010-06-13T01:30:17Z · 编程语言 · 评论(77)
有关Lucene的问题(7):用Lucene构建实时的索引
由于前一章所述的Lucene的事务性,使得Lucene可以增量的添加一个段,我们知道,倒排索引是有一定的格式的,而这个格式一旦写入是非常难以改变的,那么如何能够增量建索引呢?Lucene使用段这个概念解决了这个问题,对于每个已经生成的段,其倒排索引结构不会再改变,而增量添加的文档添加到新的段中,段之间在一定的时刻进行合并,从而形成新的倒排索引结构。 然而也正因为Lucene的事务性,使得Lucene的索引不够实时,如果想Lucene实时,则必须新添加的文档后IndexWriter需要commit,在搜索的时候IndexReader需要重新的打开,然而当索引在硬盘上的时候,尤其是索引非常大的时…
2010-06-08T02:02:22Z · 编程语言 · 评论(7)
有关Lucene的问题(6):Lucene的事务性
所谓事务性,本多指数据库的属性,包括ACID四个基本要素:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。 我们这里主要讨论隔离性,Lucene的IndexReader和IndexWriter具有隔离性。 当IndexReader.open打开一个索引的时候,相对于给当前索引进行了一次snapshot,此后的任何修改都不会被看到。 仅当IndexReader.open打开一个索引后,才有可能看到从上次打开后对索引的修改。 当IndexWriter没有调用Commit的时候,其修改的内容是不能够被看到的,哪怕Inde…
2010-06-07T01:36:51Z · 编程语言 · 评论(4)
Lucene学习总结之十:Lucene的分词器Analyzer
1、抽象类Analyzer 其主要包含两个接口,用于生成TokenStream: TokenStream tokenStream(String fieldName, Reader reader); TokenStream reusableTokenStream(String fieldName, Reader reader) ; 所谓TokenStream,后面我们会讲到,是一个由分词后的Token结果组成的流,能够不断的得到下一个分成的Token。 为了提高性能,使得在同一个线程中无需再生成新的TokenStream对象,老的可以被重用,所以有reusableTokenStream一说。 …
2010-06-06T22:13:31Z · 编程语言 · 评论(1)
乌合之众(大众心理研究)之四:群体的感情和道德观
1、群体的冲动、易变和急躁 所有刺激因素都对群体有控制作用,并且它的反应会不停地发生变化。 孤立的个人具有主宰自己的反应行为的能力,群体则缺乏这种能力。 刺激群体的因素多种多样,群体总是屈从于这些刺激,因此它也极为多变。这解释了我们为什么会看到,它可以在转眼之间就从最血腥的狂热变成最极端的宽宏大量和英雄主义。 群体根本不会做任何预先策划。他们可以先后被最矛盾的情感所激发,但是他们又总是受当前刺激因素的影响。 群体不仅冲动而多变。它不准备承认,在自己的愿望和这种愿望的实现之间会出现任何障碍,它没有能力理解这种中间障碍,因为数量上的强大使它感到自己势不可挡。出乎预料的障碍会被狂暴地摧毁。 2、群…
2010-05-26T00:36:25Z · 非技术 · 评论(0)
乌合之众(大众心理研究)之三:群体的一般特征
聚集成群的人,他们的感情和思想全都转到同一个方向,他们自觉的个性消失了,形成了一种集体心理。 自觉的个性的消失,以及感情和思想转向一个不同的方向,是就要变成组织化群体的人所表现出的首要特征,但这不一定总是需要一些个人同时出现在一个地点。 一个人终其一生性格保持不变的事情,只有在小说里才能看到。只有环境的单一性,才能造成明显的性格单一性。一切精神结构都包含着各种性格的可能性,环境的突变就会使这种可能性表现出来。这解释了法国国民公会中最野蛮的成员为何原来都是些谦和的公民。在正常环境下,他们会是一些平和的公证人或善良的官员。风暴过后,他们又恢复了平常的性格,成为安静而守法的公民。 一个心理群体表现…
2010-05-24T23:47:24Z · 非技术 · 评论(1)
乌合之众(大众心理研究)之二:群体的时代
发生在文明变革之前的大动荡,如罗马帝国的衰亡和阿拉伯帝国的建立,乍看上去,似乎是由政治变化、外敌入侵或王朝的倾覆决定的。 造成文明洗心革面的惟一重要的变化,是影响到思想、观念和信仰的变化。令人难忘的历史事件,不过是人类思想不露痕迹的变化所造成的可见后果而已。这种重大事件所以如此罕见,是因为人类这个物种最稳定的因素,莫过于他世代相传的思维结构。 目前的时代便是这种人类思想正经历转型过程的关键时期之一。 构成这一转型基础的是两个基本因素。首先是宗教、政治和社会信仰的毁灭,而我们文明的所有要素,都根植于这些信仰之中。其次是现代科学和工业的各种发现,创造了一种全新的生存和思想条件。 群众势力开始不断…
2010-05-24T23:46:37Z · 非技术 · 评论(0)
IT外企那点儿事(7):做一个优秀的基层
千里之行,始于足下,无论你有多么的豪情万丈,总要从最基础的东西做起。 然而要做一个好的基层工作人员,并不是低头认认真真写好代码就可以的,其中可大有学问。 按照余世维所论,一个好的下属应该: 主动向上司汇报你的工作进度——让上司知道! 对上司的询问,有问必答,而且清楚——让上司放心! 充实自己,努力学习,才能了解上司的言语——让上司轻松! 接受批评,不犯两次过错——让上司省事! 不忙的时候,主动帮助他人——让上司有效! 毫无怨言的接受任务——让上司圆满! 对自己的业务,主动提出改善计划——让上司进步! 我也总结了如下几点,欢迎大家补充。 (1) 做得快还是做得好? 当前的项目管理中,多是强调结…
2010-05-22T14:34:47Z · 非技术 · 评论(17)
Lucene学习总结之九:Lucene的查询对象
Lucene学习总结之九:Lucene的查询对象(1) http://forfuture1978.iteye.com/blog/669444 Lucene学习总结之九:Lucene的查询对象(2) http://forfuture1978.iteye.com/blog/669445 Lucene学习总结之九:Lucene的查询对象(3) http://forfuture1978.iteye.com/blog/669446 此系列相关文章 ---------------------------------------------------------- Lucene学习总结之一:全文检索的基…
2010-05-19T02:39:49Z · 编程语言 · 评论(2)