Django项目中使用haystack全文检索框架时改变分词方式
在Django项目中,当我们用到全文检索框架时,如果想要很好的支持中文分词方式,我们可以使用“结巴”分词。
1.安装jieba分词模块pip install jieba
2.找到你项目环境下的haystack目录,下面是我的项目环境路径。
/home/michael/.virtualenvs/Django_test/lib/python3.5/site-packages/haystack/backends/
3.在上面的那个目录中创建一个ChineseAnalyzer.py文件
import jiebafrom whoosh.analysis import Tokenizer, Tokenclass ChineseTokenizer(Tokenizer): def __call__(self, value, positions=False, chars=False, keeporiginal=False, removestops=True, start_pos=0, start_char=0, mode='', **kwargs): t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs) seglist = jieba.cut(value, cut_all=True) for w in seglist: t.original = t.text = w t.boost = 1.0 if positions: t.pos = start_pos + value.find(w) if chars: t.startchar = start_char + value.find(w) t.endchar = start_char + value.find(w) + len(w) yield tdef ChineseAnalyzer(): return ChineseTokenizer()
4.复制whoosh_backend.py文件并改名whoosh_cn_backend.py(注:我这里使用的是whoosh全文检索引擎)
cp whoosh_backend.py whoosh_cn_backend.py
5.打开whoosh_cn_backend.py文件,引入中文分析类,内部采用jieba分词。
from .ChineseAnalyzer import ChineseAnalyzer
6.更改词语分析类
找到analyzer=StemmingAnalyzer()改为analyzer=ChineseAnalyzer()
7.修改settings.py文件中的配置项
HAYSTACK_CONNECTIONS = { 'default': { # whoosh_cn_backend就是复制出来的那个文件 'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine', 'PATH': os.path.join(BASE_DIR, 'whoosh_index'), }}
8.重建创建索引文件
python manage.py rebuild_index
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。