Elasticsearch
2022-06-14 23:10:08 3 举报AI智能生成
Elasticsearch
作者其他创作
大纲/内容
搜索
聚合功能
海量数据的存储
功能
网站搜索
垂直搜索
代码搜索
日志管理与分析
安全指标监控
应用性能监控
web抓取舆情分析
应用场景
架构
logstash
kibana
子主题
elastic发展
beats
生态
搜索场景架构
指标分析与日志分析场景架构
集成
Cluster
集群
节点
分片
副本
索引是含有相同文档的集合，因为在7.0删除了type（类型）所以我们可以将索引理解为关系型数据库中的一张table
索引
类型
文档
路由
id序列
动态映射
静态映射
text、keyword、number、array、range、boolean、date、geo_point、ip、nested、object
常用数据类型
mapping映射
elassearch的基础概念
不进行分词；keyword类型默认开启doc_values来加速聚合排序操作，占用了大量磁盘io 如非必须可以禁用doc_values
keyword
默认会进行分词，支持模糊查询（5.x之后版本string类型已废弃，请使用text）
text
string类型
long
integer
short
byte
double
float
half_float
scaled_float
如果只有过滤场景 用不到range查询的话，使用keyword性能更佳，另外数字类型的doc_values比字符串更容易压缩。
number
数据类型
支持毫秒、根据指定的format解析对应的日期格式，内部以long类型存储。
date
时间类型
只接受true、false 也可以是字符串类型的“true”、“false”
boolean
布尔类型
binary
二进制类型
对数据的范围进行索引；目前支持 number range、date range 、ip range。
integer_range
float_range
long_range
double_range
date_range
区间类型
基础类型
es不需要显示定义数组类型，只需要在插入数据时用'[]'表示即可，'[]'中的元素类型需保持一致。
Array
数组类型
嵌套类型，不支持数组。
Object
对象类型
嵌套类型，一种特殊的object类型，存储object数组，可检索内部子项。
nested
Nested类型
复杂类型
存储经纬度数据对。
Geo-point
Geo-shape
GEO地理位置类型
将ip数据存储在这种数据类型中，方便后期对ip字段的模糊与范围查询。
ip
IP类型
completion
自动补全类型
tocken_count
string长度类型
mumur3
percolate类型
percolator
父子索引join类型
并不实际存在，而是对已有字段的一种别名映射，搜索该字段与搜索实际字段返回的内容没有本质的区别。
alias
别名类型
特定类型
另一种时间类型，可精确到纳秒，用法类似date。
date_nanos
用来存储特征向量，数据不能为0和负数，查询时只能使用rank_feature query，该字段主要为支持后续机器学习相关功能做准备。
features
存储特征数组，支持稀疏与稠密向量存储，该字段主要为支持后续机器学习相关功能做准备。
vector
7.0新增的数据类型
elasticsearch的基本数据类型
检索和过滤的区别
检索和过滤的适用场景
检索和过滤
term 单值精确匹配
terms 多值精确匹配
精确匹配检索
range query
范围检索
exists query
存在与否检索
prefix query
前缀检索
wildcard query
通配符模糊检索
regexp query
正则检索
type query
类型检索
ids query
id检索
fuzzy query
模糊检索
结构化检索
match query
分词全文检索
match_phrase query
短语检索
match_phrase_prefix query
短语前缀检索
multi_match query
多字段匹配检索
query_string
支持与或非的字符串检索
simple_query_string
简化d的字符串检索
全文检索
固定得分检索
must
minimum should match
should
must_not
bool组合检索
Dis Max query
function score query
boostring query
改变评分检索
复合检索
Nested检索
父子检索
父子文档检索
Geo类型检索
more like this
相似文章检索
script
脚本检索
特定检索
elasticsearch的基本检索类型
cardinality 去重
Avg聚合
Max聚合
Min聚合
Sum聚合
........
Metric聚合
Terms分组聚合
立方图Histogram聚合
时间区间聚合Data Histogram聚合
过滤Filter聚合
Nested聚合
Buckting聚合
Bucket script聚合
Bucket Selector 聚合
Bucket Sort聚合
Max/Min/avg/Sum Bucket聚合
Pipeline聚合
后续版本可能会删除
Matrix聚合
elasticsearch的基本聚合类型
green
yellow
red
heallth API
集群状态分类
state
集群状态
stats
集群统计
_tasks
集群任务管理
_nodes
节点信息
_nodes/hot_threads
活跃线程信息
集群状态监控
_snapshot
_restore
集群备份
elasticsearch集群基本操作
put index
增
delete index
删
reindex
elasticsearch-dump
elasticsearch-Exporter
elasticsearch-migration
第三方工具
索引数据库迁移
注意索引一旦创建，分片数不可以更改，除非reindex
修改副本数
shrink
索引压缩
改
Get index结合_settings
查
elasticsearch索引的基本操作
put document
单个文档写入
bulk写入
批量写入
mysql
Oracle
sql server
pgsql
关系型数据库导入
redis
mongo
非关系型数据库导入
hadoop
spack
大数据导入
logstash_input_*
flume
kafka实时数据流
kafka-connector
第三方导入
de'lete document
单个删除
delete_by_query
批量删除
update结合script
单个修改
update_by_query
批量修改
单个检索
scroll游标遍历
批量检索
from+size
分页
默认
Unified highlighter
最适合在单一领域突出简单的查询匹配
Plain highlighter
适合大文件
Fast vector highlighter
高亮
Term suggester
Phrase Suggester
Completion Suggester
Context Suggester
推荐
中英文分词的区别
ik分词器
jieba
ansj
中文分词插件
动态更新词典
分词
同义词词典配置
同义词
profile：true
调试
elasticsearch文档的基本操作
elasticsearch的基本操作
kibana工具
Head浏览器插件
cerebro监控工具
curl -H \"Content-Type:application/json\" -XPOST http://localhost:9200/_xpack/license/start_trial?acknowledge=true（启用 trial license）
curl -H \"Content-Type:application/json\" -XPOST -u elastic 'http://localhost:9200/_xpack/security/user/elastic/_password' -d '{ \"password\" : \"111111\" }' 修改密码命令
安装
在elasticsearch.yml文件中添加
elasticsearch-6.3.0/bin/elasticsearch-setup-passwords interactive（设置用户名密码）
分支主题
在kibana.yml文件中添加
配置
添加如图配置
http://localhost:9100/?auth_user=elastic&auth_password=you_pass
head插件访问
xpack.graph.enabled 设置为false禁用X-Pack图形功能。
xpack.ml.enabled 设置为false禁用X-Pack机器学习功能。
xpack.monitoring.enabled 设置为false禁用X-Pack监视功能。
xpack.reporting.enabled 设置为false禁用X-Pack报告功能。
xpack.security.enabled 设置为false禁用X-Pack安全功能。
xpack.watcher.enabled 设置false为禁用观察器。
包含组件
x-pack
elasticsearch常用工具
elasticsearch基础
Master主节点
Client路由节点
data数据节点
elasticsearch节点数规划
elasticsearch每个分片支持的数据量？
业务数据分类梳理VSES存储
elasticsearch分片/副本规划
elasticsearch堆内存核心原理
堆内存优先设置
线程数、队列优化设置
候选主节点设置
更新中文分词词典
elasticsearch部署优化
elasticsearch集群规划
数据j建模的重要性
建模的流程
elasticsearch数据建模
template
rollover
基于时间轴动态创建索引
curator
定时请理索引
冷热数据分离
elasticsearch生命周期管理
没有使用批量操作
使用批量操作，但值设置不对
ES队列线程设置不合理
什么原因导致elasticsearch写入慢?
调大批量请求数
增加刷新间隔
写入前关闭副本
禁用refresh
尽量使用自动生成id
怎么提升elasticsearch的写入速度
elasticsearch写入性能优化
索引设置不合理
mapping映射字段设置不合理
DSL设置不合理，有优化空间
返回字段非常多
慢日志查询
cpu、内存、堆内存使用率
确认是否有并行写入等
监控集群状态
什么原因导致elasticsearch检索这么慢
profile：true 分析，找到根本原因
确认是哪里慢了？
预留足够多内存做内存缓存
更快的硬件
硬件层面
提前数据建模
减少检索字段
mapping优化
避免使用script
使用近似日期
只读数据force_merge
范围检索使用keyword而非range
数据层面
使用文件系统缓存
preference优化缓存利用率
缓存方面
怎么提升elasticsearch的检索速度
elasticsearch检索性能优化
elasticsearch磁盘读写优化
elasticsearch插件开发
elasticsearch集群高效监控
写入原理
检索原理
elasticsearch底层核心原理
elasticsearch进阶
Elasticsearch
0 条评论
回复 删除
下一页
