搜索引擎架构图
2020-11-02 23:47:58 26 举报
搜索引擎架构图是一种用于描述搜索引擎内部结构和工作流程的图表。它通常包括以下几个主要组件: 1. 数据采集模块:负责从互联网上收集网页和其他类型的数据。 2. 数据处理模块:对采集到的数据进行清洗、去重和格式化处理。 3. 索引模块:将处理后的数据建立索引,以便用户能够快速检索到相关信息。 4. 查询处理模块:接收用户的搜索请求,并根据查询条件在索引中查找相关结果。 5. 排序模块:根据一定的算法对查询结果进行排序,并将最相关的结果展示给用户。
作者其他创作
大纲/内容
flask模块
scrapy爬虫模块
博客数据
BlogItem
CSDN博客(可扩展)
BlogType查询结果
ElasticSearch查询模块
用户查询
查询词
查询事件路由
前端页面
查询json对象
查询结果
服务器(本地)存储
Pipeline
ElastcSearch索引模块将BlogItem转化为BlogType(其父类是ES的DocType)IK-analyzer(分词)根据分词结果建立本地倒排索引
倒排索引数据存储
0 条评论
回复 删除
下一页