菡萏如佳人ElasticSearch简介与安装入门
文章目录
ElasticSearch简介
概述
Elasticsearch是一个基于Lucene实现的、（准）实时、分布式的全文搜索和分析引擎。
准实时，意味着有轻微的延迟（通常为1秒）就可以从入库建索引文件到能够进行关键字搜索。
作用
ES主要提供全文搜索、结构化搜索以及分析的功能，并能将这三者混合使用
特性
- 支持RESTful风格的接口
- 输入输出支持JSON风格
- 分布式索引、搜索
- 索引自动分片、负载均衡
- 自动发现机器、组建集群
- 高性能、高可扩展性、高可用提供复制机制
- 使用简单，快速上手
ElasticSearch 安装
1：去官网下载最新的版本：https://www.elastic.co/products/elasticsearch，这里用的是目前最新版6.4.1
2：Windows下直接解压后就能使用
3：在CentOS上安装ES
（1）解压，然后拷贝到你要放置的位置
（2）ES在linux上不能用root启动，创建ES的用户和组：
groupadd es
useradd es -g es -p es
（3）把ES安装的文件夹的所属用户和组修改为上面创建的用户和组：chown -R es:es elasticsearch-2.3.4
（4）切换用户到es，然后就可以启动ES了： su es
（5）如果想要外部能访问，需要修改es绑定的network.host地址为你安装的服务器地址，想要后台运行，可以用-d
检查是否安装成功：访问host:9200，例如：http://192.168.52.128:9200/
看到返回以下类似内容就表示安装成功了：
{
"name" : "iYLxRzi",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "SXIJqTdrRDiI2p5enqO7Dw",
"version" : {
"number" : "5.6.8",
"build_hash" : "688ecce",
"build_date" : "2018-02-16T16:46:30.010Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
启动中可能出现的错误参考下面几个博文来进行解决，链接如下：
https://blog.csdn.net/u012371450/article/details/51776505
https://www.jianshu.com/p/4c6f9361565b
https://www.cnblogs.com/yidiandhappy/p/7714481.html
常用插件安装
Head
1：直接到ES安装路径下的bin里，运行
./plugin install mobz/elasticsearch-head
2：打开http://server的ip:9200/_plugin/head/ 就可以看效果了
注意：6开头的版本后面不支持命令行安装了，不要参考以上操作
6开头版本以上的请参考：
http://www.mamicode.com/info-detail-2105773.html
https://blog.csdn.net/dyangel2013/article/details/79504516
安装好node后几个关键命令：
npm install -g grunt-cli
grunt -version 检测下安装成功没
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip master.zip
npm install -g cnpm --registry=https://registry.npm.taobao.org //安装依赖的时候用国内淘宝的镜像比较快
nohup grunt server & //后台启动，elasticsearch-head-master目录下
//elasticsearch.yml中最后添加
http.cors.enabled: true
http.cors.allow-origin: "*"
head插件展示示意图：
IK分词器
默认的分词器standard对中文分词效果不好，只是把所有中文字一个个分开而已
1：下载对应版本的ik：https://github.com/medcl/elasticsearch-analysis-ik
版本v5.5.1之前的
然后自己编译打包，生成jar包，需要修改一下pom文件，把最下面的
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
全部注释掉
2：把下载到ik解压到plugins
3：把生成的jar拷贝到plugins／elasticsearch-analysis-ik-master下面，同时还要拷入需要的依赖jar，commons-codec-1.9.jar、commons-logging-1.2.jar、httpclient-4.4.1.jar、httpcore-4.4.1.jar
4：在ik源码的main／resources里面，拷贝plugin-descriptor.properties到plugins／elasticsearch-analysis-ik-master下面，然后把里面的参数数据修改一下，参考如下：
description=ik_analyzer
version=1.9.4
name=ik_analyzer
site=false
jvm=true
classname=org.elasticsearch.plugin.analysis.ik.AnalysisIkPlugin
java.version=1.8
elasticsearch.version=2.3.4
isolated=false
5：修改es的config／elasticsearch.yml，在最后添加：
index.analysis.analyzer.ik.type : 'ik'
index.analysis.analyzer.default.tokenizer : 'ik'
然后就可以按照ik官方给的测试进行测试了
版本v5.5.1之后的
直接参考官方示例即可，安装很方便一个命令即可。注意插件的版本号和Elastic的版本号要一致。
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.1/elasticsearch-analysis-ik-6.4.1.zip
IKAnalyzer.cfg.xml配置说明
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">custom/ext_stopword.dic</entry>
<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">location</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<entry key="remote_ext_stopwords">http://xxx.com/xxx.dic</entry></properties>
注意事项
请确保你的扩展词典的文本格式为 UTF8 编码，每个词以换行符相隔。
IK 分词从 5.0.0 版本开始使用 ik_smart 和 ik_max_word 两种分词方式
- ikmaxword:表示最细粒度拆分。优点是查询效果比较好。缺点是会产生很多碎片，对于大文本字段不建议使用 ik_max_word
例子：
将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合
- ik_smart：表示最粗粒度拆分，优点是降低了索引存储。缺点是查询效果不好
例：将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。这个时候输入“中华”是匹配不到的，只能匹配“中华人民共和国”或“国歌”。
pinyin分词器
对于很多的搜索场景，用户输入的有时候并非汉字，可能是拼音或者拼音首字母，这个时候我们同样要匹配到数据，就需要引入 pinyin 分词器。
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.4.1/elasticsearch-analysis-pinyin-6.4.1.zip
mavel
1: 在ES里面安装Marvel插件
./plugin install license
./plugin install marvel-agent
2：安装Kibana，解压然后拷贝到要放置的位置即可修改一下配置文件里面的elasticsearch.url
3：在Kibana里面安装Marvel插件
./kibana plugin --install elasticsearch/marvel/latest
4: 启动ES和Kibana
5: 然后就可以到http://server的ip:5601/app/marvel
简单官网示例测试步骤
- 创建索引
curl -XPUT http://192.168.0.57:9200/index
- 创建映射
curl -XPOST http://192.168.0.57:9200/index/fulltext/_mapping -H 'Content-Type:application/json' -d'
{
"properties": {
"content": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
}
}
}'
- 创建数据
curl -XPOST http://192.168.0.57:9200/index/fulltext/1 -H 'Content-Type:application/json' -d'
{"content":"美国留给伊拉克的是个烂摊子吗"}
'
curl -XPOST http://192.168.0.57:9200/index/fulltext/2 -H 'Content-Type:application/json' -d'
{"content":"公安部：各地校车将享最高路权"}
'
curl -XPOST http://192.168.0.57:9200/index/fulltext/3 -H 'Content-Type:application/json' -d'
{"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"}
'
curl -XPOST http://192.168.0.57:9200/index/fulltext/4 -H 'Content-Type:application/json' -d'
{"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}
'
- 执行查询
curl -XPOST http://192.168.0.57:9200/index/fulltext/_search -H 'Content-Type:application/json' -d'
{
"query" : { "match" : { "content" : "中国" }},
"highlight" : {
"pre_tags" : ["<tag1>", "<tag2>"],
"post_tags" : ["</tag1>", "</tag2>"],
"fields" : {
"content" : {}
}
}
}
'
- 返回结果
{
"took": 14,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 2,
"max_score": 2,
"hits": [
{
"_index": "index",
"_type": "fulltext",
"_id": "4",
"_score": 2,
"_source": {
"content": "中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
},
"highlight": {
"content": [
"<tag1>中国</tag1>驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首 "
]
}
},
{
"_index": "index",
"_type": "fulltext",
"_id": "3",
"_score": 2,
"_source": {
"content": "中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"
},
"highlight": {
"content": [
"均每天扣1艘<tag1>中国</tag1>渔船 "
]
}
}
]
}
}