如何加快PostgreSQL结巴分词加载速度

简介: 背景 PostgreSQL的全文检索接口是开放API的所以中文分词的插件也非常多,例如常用的scws分词插件还有结巴分词的插件。 但是你在使用结巴分词插件的时候有没有遇到这样嘚问题。 每个会话第一次查询会比较慢,接下来的查询就快了 例如 psql (,已获得阿里云开发者社区协议授权的媒体、网站在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名"违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容欢迎发送郵件至:developer2020@ 进行举报,并提供相关证据一经查实,本社区将立刻删除涉嫌侵权内容

简介: 背景 PostgreSQL的全文检索接口是开放API的所以中文分词的插件也非常多,例如常用的scws分词插件还有结巴分词的插件。 但是你在使用结巴分词插件的时候有没有遇到这样嘚问题。 每个会话第一次查询会比较慢,接下来的查询就快了 例如 psql (,已获得阿里云开发者社区协议授权的媒体、网站在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名"违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容欢迎发送郵件至:developer2020@ 进行举报,并提供相关证据一经查实,本社区将立刻删除涉嫌侵权内容

PostgreSQL的全文检索接口是开放API的所以Φ文分词的插件也非常多,例如常用的scws分词插件还有结巴分词的插件。

但是你在使用结巴分词插件的时候有没有遇到这样的问题。

每個会话第一次查询会比较慢,接下来的查询就快了

第一次加载pg_jieba模块时,需要调用加载字典的动作

分别执行加载pg_jieba的模块或执行pg_jieba词法解析后

  • 另外要提一点,结巴分词没有逗号的问题
  • 效率每CPU核 约处理56.4万字/s。
  • 为了提高结巴分词插件的装载速度应该将so文件配置为数据库启动時自动加载。
  • 使用数据库启动时自动加载还有一个好处,内存使用量也大大减少

祝大家玩得开心,欢迎随时来 阿里云促膝长谈 业务需求 恭候光临。

阿里云的小伙伴们加油努力做 最贴地气的云数据库

我要回帖

 

随机推荐