大家好,欢迎来到IT知识分享网。
系统功能:能够在同一页面搜索不同类型、不同来源的内容。
具有三种类型的内容可供查询。
文章:对一个外部网站进行一次爬取数据后存储在本地数据库内。
图片:实时调用,当搜索的时候从bing上抓取。不存放于本地数据库中。
用户:利用chatgpt随机生成一些虚拟用户存储于数据库中。
设计门面模式在后端对三种数据源的搜索结果进行聚合,统一返回给前端,减少前端请求次数。
引入Elasticsearch,为索引绑定ik分词器实现分词搜索.
实现效果:
Jmeter压力测试
配置线程组
设置HTTP信息头部管理器
设置默认请求
设置HTTP请求:响应断言、响应结果树、聚合报告
分别测试对不同数据源进行搜索的吞吐量(每秒能够处理的请求数)
查询图片,吞吐量10.9/sec,99%的请求都能够在475ms以内响应
查询文章,吞吐量10.9/sec
查询用户,吞吐量11/sec
优化:
同步数据, 定时每隔5分钟同步MySQL数据到ES,通过唯一id保证数据的准确性;
设计适配器模式,定义统一的数据源接入标准,当接入新数据源的时候,只需要对其数据查询接口进行封装,以适配数据源接口无需修改原有代码,提高系统的可扩展性.
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/136836.html