centos下coreseek安装及使用方法

  Coreseek 中文全文检索引擎

  Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景,用户可以免费下载使用

  一,coreseek 简介

  官方http://www.coreseek.cn/

  Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景。商业使用(例如, 嵌入到其他程序中)需要获得商业授权。

  Coreseek是一个支持中文的全文搜索引擎,意图为其他应用提供高速、低空间占用、高相关度结果的中文全文搜索能力。CoreSeek可以非常容易的与SQL数据库和脚本语言集成。

  在Sphinx发行版本中提供的原生搜索API支持PHP、Python、Perl、Rudy和Java。搜索API非常轻量化,可以在几个小时之内移植到新的语言上。第三方API接口和插件提供了对Perl、C#、Haskell、Ruby-on-Rails支持,以及对其他可能的语言或者框架的支持。

  版本介绍

  Coreseek 3.2 稳定版

  Coreseek 4.1 测式版

  Coreseek 5 最新版

  二,安装Coreseek

  注:本文是以centos+mysql做为数据源支持为基础的coreseek安装教程.mysql安装略过.

  1,下载coreseek 3.2稳定版,下载其他版本请去官网自行下载

  cd /usr/local/src/

  wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz

  tar xzvf coreseek-3.2.14.tar.gz

  cd coreseek-3.2.14

  安装coreseek之前需要先安装需要预装的软件:yum install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel (注:这是centos 64位

  其他系统请参考http://www.coreseek.cn/product_install/install_on_bsd_linux/#deps

  2,安装mmseg

  $ cd mmseg-3.2.14

  $ http://www.jb51.net/os/redhat/bootstrap #输出的warning信息可以忽略,如果出现error则需要解决

  $ http://www.jb51.net/os/redhat/configure --prefix=/usr/local/mmseg3

  $ make && make install

  $ cd ..

  ##如果提示libtool: unrecognized option `--tag=CC' ,请查看libtool问题解决方案

  ##安装完成后,mmseg使用的词典和配置文件,将自动安装到/usr/local/mmseg3/etc中

  ##中文分词测试,如果显示不正常,请检查当前环境下的locale和UTF-8中文字符显示设置

  $ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc src/t1.txt

  中文/x 分/x 词/x 测试/x

  中国人/x 上海市/x

  Word Splite took: 1 ms.

  3,安装coreseek

  $ cd csft-3.2.14

  ##执行configure,进行编译配置:

  $ sh buildconf.sh

  $ http://www.jb51.net/os/redhat/configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql

  如查提示找不到mysql includes file则使用下面的编译命令

  http://www.jb51.net/os/redhat/configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql-includes=/alidata/server/mysql/include/ --with-mysql-libs=/alidata/server/mysql/bin/

  make && make install

  4,测式coreseek

  cd http://www.jb51.net/os/testpack

  $ /usr/local/coreseek/bin/indexer -c etc/csft.conf

  ##以下为正常情况下的提示信息:

  Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

  Copyright (c) 2007-2010,

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)

  using config file 'etc/csft.conf'...

  total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

  total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

  ##

  ##csft-4.0版显示:ERROR: nothing to do.

  ##

  $ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all

  ##以下为正常索引全部数据时的提示信息:(csft-4.0版类似)

  Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

  Copyright (c) 2007-2010,

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)

  using config file 'etc/csft.conf'...

  indexing index 'xml'...

  collected 3 docs, 0.0 MB

  sorted 0.0 Mhits, 100.0% done

  total 3 docs, 7585 bytes

  total 0.075 sec, 101043 bytes/sec, 39.96 docs/sec

  total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg

  total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg

  $ /usr/local/coreseek/bin/indexer -c etc/csft.conf xml

  ##以下为正常索引指定数据时的提示信息:(csft-4.0版类似)

  Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

  Copyright (c) 2007-2010,

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)

  using config file 'etc/csft.conf'...

  indexing index 'xml'...

  collected 3 docs, 0.0 MB

  sorted 0.0 Mhits, 100.0% done

  total 3 docs, 7585 bytes

  total 0.069 sec, 109614 bytes/sec, 43.35 docs/sec

  total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg

  total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg

  $ /usr/local/coreseek/bin/search -c etc/csft.conf

  ##以下为正常测试搜索时的提示信息:(csft-4.0版类似)

  Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

  Copyright (c) 2007-2010,

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)

  using config file 'etc/csft.conf'...

  index 'xml': query '': returned 3 matches of 3 total in 0.093 sec

  displaying matches:

  1. document=1, weight=1, published=Thu Apr 1 22:20:07 2010, author_id=1

  2. document=2, weight=1, published=Thu Apr 1 23:25:48 2010, author_id=1

  3. document=3, weight=1, published=Thu Apr 1 12:01:00 2010, author_id=2

  words:

  $ /usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera都提供了搜索服务

  ##以下为正常测试搜索关键词时的提示信息:(csft-4.0版类似)

  Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

  Copyright (c) 2007-2010,

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)

  using config file 'etc/csft.conf'...

  index 'xml': query 'Twittter和Opera都提供了搜索服务 ': returned 3 matches of 3 total in 0.038 sec

  displaying matches:

  1. document=3, weight=24, published=Thu Apr 1 12:01:00 2010, author_id=2

  2. document=1, weight=4, published=Thu Apr 1 22:20:07 2010, author_id=1

  3. document=2, weight=3, published=Thu Apr 1 23:25:48 2010, author_id=1

  words:

  1. 'twittter': 1 documents, 3 hits

  2. '和': 3 documents, 15 hits

  3. 'opera': 1 documents, 25 hits

  4. '都': 2 documents, 4 hits

  5. '提供': 0 documents, 0 hits

  6. '了': 3 documents, 18 hits

  7. '搜索': 2 documents, 5 hits

  8. '服务': 1 documents, 1 hits

  $ /usr/local/coreseek/bin/searchd -c etc/csft.conf

  ##以下为正常开启搜索服务时的提示信息:(csft-4.0版类似)

  Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

  Copyright (c) 2007-2010,

  Beijing Choice Software Technologies Inc (http://www.coreseek.com)

  using config file 'etc/csft.conf'...

  listening on all interfaces, port=9312

  三,配置coreseek支持mysql数据源

  1,配置csft_mysql.conf文件

  复制mysql配置文件到coreseek安装目录etc/下(比如/usr/local/coreseek/etc/)

  cp /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf /usr/local/coreseek/etc/

  cd /usr/local/coreseek/etc/

  vi csft_mysql.conf

  下面加红部分是需要你自己配置的

  官方参考文档:数据源配置:mysql数据源 http://www.coreseek.cn/products-install/datasource/

  其他数据源请参考官方==============================================================#源定义source phperz{ type = mysql

  sql_host = localhost sql_user = root sql_pass = xxxx sql_db = phperz sql_port = 3306 sql_query_pre = SET NAMES utf8

  sql_query = SELECT id,title,descs,status from article #sql_query第一列id需为整数 #title、content作为字符串/文本字段,被全文索引 sql_attr_uint = status #从SQL读取到的值必须为整数 #sql_attr_timestamp = date_added #从SQL读取到的值必须为整数,作为时间属性

  sql_query_info_pre = SET NAMES utf8 #命令行查询时,设置正确的字符集 sql_query_info = SELECT * FROM article WHERE id=$id #命令行查询时,从数据库读取原始数据信息}

  #index定义index phperz{ source = phperz #对应的source名称 path = /usr/local/coreseek/var/data/phperz #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/... docinfo = extern mlock = 0 morphology = none min_word_len = 1 html_strip = 0

  #中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/ charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾 #charset_dictpath = etc/ #Windows环境下设置,/符号结尾,最好给出绝对路径,例如:C:/usr/local/coreseek/etc/... charset_type = zh_cn.utf-8}#全局index定义indexer{ mem_limit = 128M}

  #searchd服务定义searchd{ listen = 9312 read_timeout = 5 max_children = 30 max_matches = 1000 seamless_rotate = 0 preopen_indexes = 0 unlink_old = 1 pid_file = /usr/local/coreseek/var/log/searchd_mysql.pid #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/... log = /usr/local/coreseek/var/log/searchd_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/... query_log = /usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...}==============================================================

  2,建立索引

  路经部分需要改成你自己的地址

  /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all

  可能出现的错误

  ERROR: index 'phperz': sql_connect: Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) (DSN=mysql://root:***@localhost:3306/phperz).

  这是因为mysql的sock文件路经不正确导致的.

  确认一下你的mysql.sock路经,建立一个软连接,比如

  ln -s /tmp/mysql.sock /var/lib/mysql/mysql.sock

  四,coreseek+php使用方式

  复制安装止录下的/usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php文件到你的项目里

  你的程序里include sphinxapi.php

  php使用方法见/usr/local/src/coreseek-3.2.14/testpack/api/test.php

  另附我的使用方法:

  ===============================================================

  $wd = trim($_GET['wd']);

  include_once(JF_PATH."/config/sph_cfg.php");

  include_once(JF_PATH."/include/sphinxapi.php");

  $cl = new SphinxClient();

  $cl->SetServer(SPH_SERVER_HOST, SPH_SERVER_POST);

  $cl->SetConnectTimeout(3);

  $cl->SetArrayResult(true);

  $cl->SetMatchMode(1);

  $cl->SetFilter("status", array(1));

  $cl->SetLimits(0, 10);

  $res = $cl->Query($wd, "phperz_www");

  if ($res['matches']) {

  $rownum = $res['total'];

  foreach ($res['matches'] as $k => $v) {

  $re = $this->db->get_one("select * from article where id=".$v['id']);

  if (!empty($re)) {

  $list[] = $re;

  }

  }

  }

  print_r($list);

  ===============================================================

  五,coreseek日常维护

  启动

  /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf

  停止

  /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop

  建立索引

  /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all

  重建索引

  /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

  你需要把启动命令加到开机自启动里

  把重建索引命令加到计划任务里每天执行

  本文为phperz原创,转载请注明出处.