设为首页 收藏本站
查看: 719|回复: 0

[经验分享] PHP+Sphinx建立高效的站内搜索引擎

[复制链接]
YunVN网友  发表于 2017-4-10 08:21:24 |阅读模式
  1.    为什么要使用Sphinx
假设你现在运营着一个论坛,论坛数据已经超过100W,很多用户都反映论坛搜索的速度非常慢,那么这时你就可以考虑使用Sphinx了(当然其他的全文检索程序或方法也行)。
2.    Sphinx是什么
Sphinx由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包,在GPL与商业协议双许可协议下发行。
全文检索是指以文档的全部文本信息作为检索对象的一种信息检索技术。检索的对象有可能是文章的标题,也有可能是文章的作者,也有可能是文章摘要或内容。
3.    Sphinx的特性
l  高速索引 (在新款CPU上,近10 MB/秒);
l  高速搜索 (2-4G的文本量中平均查询速度不到0.1秒);
l  高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
l  提供良好的相关性排名
l  支持分布式搜索;
l  提供文档摘要生成;
l  提供从MySQL内部的插件式存储引擎上搜索
l  支持布尔,短语, 和近义词查询;
l  支持每个文档多个全文检索域(默认最大32个);
l  支持每个文档多属性;
l  支持断词;
l  支持单字节编码与UTF-8编码;
4. 使用Sphinx
我要使用Sphinx需要做以下几件事
1)首先得有数据
2)建立Sphinx配置文件
3)生成索引(省去)
4)启动Sphinx(省去)
5)使用之(调用api或search.exe程序进行查询)
第1件:(导入数据)
我们建立测试所需要用到得数据库、表以及数据,篇幅有限,这些在附件中都有,下载后导入MySQL即可。
第2件:(建立配置文件)
接下来我们需要建立一个Sphinx的配置文件 E:\coreseek\etc\mysql.conf,将其内容改为下面这些:

source mysql
{
type                                        = mysql
sql_host                                    = localhost
sql_user                                    = root
sql_pass                                    = 123456
sql_db                                      = test
sql_port                                    = 3306
sql_query_pre                               = SET NAMES utf8
sql_query                                   = SELECT id,addtime,title,content FROM post
sql_attr_timestamp                          = addtime
}
  先讲下这个配置文件中每项的含义。
source mysql{} 定义源名称为mysql,也可以叫其他的,比如:source xxx{}
type  数据源类型
sql_* 数据相关的配置,比如sql_host,sql_pass什么的
sql_query 建立索引时的查询命令,在这里尽可能不使用where或group by,将where与groupby的内容交给sphinx,由sphinx进行条件过滤与groupby效率会更高,注意:select 的字段必须包括一个唯一主键以及要全文检索的字段,where中要用到的字段也要select出来
sql_query_pre 在执行sql_query前执行的sql命令, 可以有多条
sql_attr 以这个开头的配置项,表示属性字段,在where,orderby,groupby中出现的字段要分别定义一个属性,定义不同类型的字段要用不同的属性名,比如上面的sql_attr_timestamp就是时间戳类型。

index mysql
{
source                                 = mysql
path                                   = E:/coreseek/var/data/mysql
charset_dictpath                       = E:/coreseek/etc/
charset_type                           = zh_cn.utf-8
}
  index mysql{} 定义索引名称为mysql,也可以叫其他的,比如:index xxx{}
source 关联源,就是source xxx定义的。
path 索引文件存放路径,比如:E:/coreseek/var/data/mysql 实际存放在E:/coreseek/var/data/目录,然后创建多个名称为mysql后缀却不同的索引文件
charset_dictpath  指明分词法读取词典文件的位置,当启用分词法时,为必填项。在使用LibMMSeg作为分词 库时,需要确保词典文件uni.lib在指定的目录下
charset_type 字符集,比如charset_type = zh_cn.gbk

searchd
{
listen                                  = 9312
max_matches                             = 1000
pid_file                                = E:/coreseek/var/log/searchd_mysql.pid
log                                     = E:/coreseek/var/log/searchd_mysql.log
query_log                               = E:/coreseek/var/log/query_mysql.log
}
  searchd{} sphinx守护进程配置
listen 监听端口
max_matches最大匹配数,也就是查找的数据再多也只返回这里设置的1000条
pid_file pid文件路径
log全文检索日志
query_log查询日志
好了,配置文件就这样,配置的参数还有很多,大家可以自己查文档。
第5步:(使用Sphinx)
在web根目录下建立一个search目录(当然不在根目录也行,同样目录名也可以随取),复制E:\coreseek\api\ sphinxapi.php文件到search目录(sphinxapi.php这个是sphinx官方提供的api),开始php程序的编写。
在search目录建立一个文件,名字叫啥都行,我管它叫index.php,其内容如下

<?php
include("sphinxapi.php"); //加载SphinxAPI
//分页所需参数
$page = empty($_GET['page']) ? 1 : (int)$_GET['page']; //当前第几页
$pageSize = 5; //每页显示几条
$sphinx = new SphinxClient(); // 实例化Api
$sphinx->SetServer("localhost", 9312); //设置服务端,第一个参数sphinx服务器地址,第二个sphinx监听端口
$sphinx->SetMatchMode(SPH_MATCH_ANY);
$sphinx->SetLimits(($page - 1) * $pageSize, $pageSize); //传递当前页面所需的数据条数的参数
$res = $sphinx->query("sphinx", "mysql"); // 第一个参数查询的关键字,第二个查询的索引名称,多个索引名称以,分开,也可以用*表示所有索引。
if ($res['total'] == 0) {
echo '没有结果,请重新搜索';
exit;
}
echo "<pre>";
print_r($res);
  打印结果:
Array
(
   ………省略………
    [matches] => Array
        (
            [2] => Array
                (
                    [weight] => 2
                    [attrs] => Array
                        (
                            [addtime] => 1282622004
                        )
                )
            [4] => Array
                (
                    [weight] => 2
                    [attrs] => Array
                        (
                            [addtime] => 1282622079
                        )
                )
        )
  ………省略………
)
Matches中就是查询的结果了,但是仿佛不是我们想要的数据,比如titile,content字段的内容就没有查询出来,根据官方的说明是Sphinx并没有连接到MySQL去取数据,只是根据它自己的索引内容进行计算,因此如果想用Sphinx提供的API去取得我们想要的数据,还必须以查询的结果为依据,再次查询MySQL从而得到我们想要的数据。
查询结果中键值分别表示
  唯一主键
weight权重
attrs sql_attr_*中配置
至此,搜索引擎算是完成一大半了,剩下的大家可以自行完成。
比如:

<?php
$ids = array_keys($res['matches']); //获取主键,根据主键分表查询
$ids = join(',', $ids);
$query = mysql_query("SELECT * FROM post WHERE id IN ({$ids})");
while ($row = mysql_fetch_assoc($query)) {
}
  Sphinx的更多配置,程序的参数等,大家可以查看Sphinx的文档。

 



 

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-362646-1-1.html 上篇帖子: 在PHP中全面阻止SQL注入式攻击之一 下篇帖子: How to build an Apple Push Notification provider server (php)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表