前言
最近项目上需要用到搜索引擎,由于之前自己没有了解过,所以整理了一下搜索引擎的相关概念知识。
正文
想查数据就免不了搜索,搜索就离不开搜索引擎,百度、谷歌都是一个非常庞大复杂的搜索引擎,他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说,肯定就没必要用这么复杂的技术了,如果我们想实现自己的搜索引擎,方便存储和检索,可以快速地储存、搜索和分析海量数据。搜索引擎有很多种,我这里主要讲两种比较流行的搜索引擎框架 Elasticsearch 和 Lucene 搜索引擎。
一、搜索引擎实现核心
Lucene/Elasticsearch 实现快速搜索的核心就是倒排索引,Lucene/Elasticsearch 就是尽量将磁盘里的东西搬进内存,减少磁盘随机读取次数(同时也利用磁盘顺序读特性),结合各种压缩算法,高效使用内存,从而达到快速搜索的特性。
二、Lucene搜索引擎
**百度百科:**是 Apache 软件基金会4 Jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包(实际就是一个 Jar 包),但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎。Lucene 是一套信息检索工具包,并不包含搜索引擎系统,它包含了索引结构、读写索引工具、相关性工具、排序等功能,因此在使用 Lucene 时仍需要关注搜索引擎系统,例如数据获取、解析、分词等方面的东西。Lucene 提供了一个简单却强大的应用程式接口,能够做全文索引和搜寻。
Lucene,最先进、功能最强大的搜索库,直接基于Lucene开发,非常复杂,Api复杂(实现一些简单的功能,写大量的java代码),需要深入理解原理(各种索引结构)。Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene的配置及使用非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。
三、ElasticSearch搜索引擎
**百度百科:**ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。ElasticSearch 用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。
Elasticsearch,基于 Lucene,隐藏复杂性,提供简单易用的R estful Api 接口、Java Api 接口(还有其他语言的Api 接口)
分布式的文档存储引擎
分布式的搜索引擎和分析引擎
分布式,支持PB级数据
四、Lucene和ElasticSearch优缺点对比
这两种搜索引擎各自都有自己的特点,现在我来总结一下:
联系:ElasticSearch 封装了 Lucene,让使用变得更简单,ElasticSearch 除了拥有Lucene 所有优点以外,还有自己的优点:
可用性:支持集群没有单点障碍,
扩展性:支持集群扩展-高并发
在集群环境中使用:大项目使用
ElasticSearch全文检索服务器,所有项目都统一访问索引服务器,支持在集群环境中使用, Lucene全文检索引擎工具包,必须集成到项目中使用,不支持在集群环境下使用。
ElasticSearch支持多种语言,Lucene只支持java
ElasticSearch简单,都是http请求,而Lucene复杂,都需要调用API执行一大推操作。
一般Lucene在中小型项目中使用,ElasticSearch都适用(大中小),因为ES支持在集群环 境中使用,并且自身也支持集群。
Luncene需要二次开发,才能使用。不能像百度或谷歌一样,它只是提供一个接口需要被实现才能使用。 ElasticSearch直接拿来用。
封装了更多高级的功能,例如聚合分析的功能,基于地理位置的搜索
ES自动可以将海量数据分散到多台服务器上去存储和检索
综上所述:搜索引擎选择用 Ela
