结合SQL Server全文检索对Word内容进行检索的三个方案

dsqzhaoyue

　　SQL Server 2008中SQL应用系列及BI学习笔记系列--目录索引
　　
　　导读：除了利用office提供的API对word文档内容进行检索外，本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。
　　一、结合Windows索引服务进行全文检索
　　方案摘要：
　　1. 改变文件存储时的文件名；
　　2. 配置索引服务器，并将索引服务器与MS SQL Server关联。
　　3. 修改SQL语句，将进行全文查询语句的内容加入查询条件中
　　一个详细的实例，参考这里：http://database.ctocio.com.cn/51/11440551.shtml
　　优点：可以独立对文件以目录方式物理存放，并且这些文件继续以doc格式存放。
　　缺点：只能读取，不能写入。
　　二、结合BLOB数据进行全文检索
　　方案摘要：将doc文件以BLOB数据格式varbinary(max)存放于数据库的表中，再对表进行全文检索。这是最为常见的一种方案了。
　　一个简单插入表的示例：


-------二进制文件查询示例
/*********************3w@live.cn****************/
Use Master
Go
IFEXISTS (SELECT name FROM sys.databases WHERE name = N'BlobDataDemoDB')
DROPDATABASE BlobDataDemoDB
GO
USE Master
GO
CREATEDATABASE BlobDataDemoDB
GO
--------启用全文检索
/*********************3w@live.cn****************/
execute sp_fulltext_database 'enable'
go
use blobDataDemoDB
GO
--创建一个包含BlOB列的表
/*********************3w@live.cn****************/
ifOBJECT_ID('SampleBlobTable') isnotnull
droptable SampleBlobTable
go
CREATETABLE SampleBlobTable
(
[PKID]intidentity(1,1) primarykey,
[FileType]Nvarchar(32) null,
[FileName]Nvarchar(255) null,
[FileContent]VARBINARY(MAX) NULL,
[AddTime]datetimedefault(getdate())
)
GO
IFEXISTS (SELECT*FROM sys.objects WHERE
object_id=OBJECT_ID(N'[dbo].[CPP_InsertOneBlobDataToTable]')
AND type in (N'P', N'PC'))
DROPPROCEDURE[dbo].[CPP_InsertOneBlobDataToTable]
GO
--创建一个插入数据到SQL server的存储过程
/*********************3w@live.cn****************/
CREATEPROCEDURE CPP_InsertOneBlobDataToTable
( @FileTypenvarchar(32),
@FileNamenvarchar(255),
@FileContentVARBINARY(MAX)
)
AS
INSERT SampleBlobTable([FileType],[FileName],[FileContent],[AddTime])
VALUES (@FileType,@Filename,@FileContent,getdate())
GO　　


using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Data.SqlClient;
using System.Data;
namespace BlobDataSearchDemo
{
    class Program
    {
        conststring conn =@"Server=ap4\Agronet09;DataBase=BlobDataDemoDB;uid=sa;pwd=as;";
        staticvoid Main(string[] args)
        {
            SaveDoc2SQLServer(@"D:\2008Data\StreamData\Doc\轻舞飞扬.doc", conn);
            SaveDoc2SQLServer(@"D:\2008Data\StreamData\Doc\天龙八部.doc", conn);
            SaveDoc2SQLServer(@"D:\2008Data\StreamData\Doc\English.doc", conn);
            Console.ReadKey();
        }
        privatestaticvoid SaveDoc2SQLServer(string filepath, string conn)
        {
            FileInfo fi =new FileInfo(filepath);
            if (fi.Exists)
            {
                //Open the stream and read it back.
using (FileStream fs = File.OpenRead(filepath))
                {
                    byte[] b =newbyte[fi.Length];
                    SqlConnection Conn;
                    SqlCommand cmdUploadDoc;
                    UTF8Encoding temp =new UTF8Encoding(true);
                    while (fs.Read(b, 0, b.Length) >0)
                    {
                        Conn =new SqlConnection(conn);
                        //Setting the SqlCommand
              cmdUploadDoc =new SqlCommand("CPP_InsertOneBlobDataToTable", Conn);
              cmdUploadDoc.CommandType = CommandType.StoredProcedure;
              cmdUploadDoc.Parameters.Add("@FileName", SqlDbType.NVarChar, 200).Value = fi.Name;
              cmdUploadDoc.Parameters.Add("@FileContent", SqlDbType.VarBinary, 0).Value =b;
              cmdUploadDoc.Parameters.Add("@FileType", SqlDbType.NVarChar, 32).Value =
　　　　　　　　　　　　　　　　　　　　　　　　　　fi.Extension.Replace(".","");
                        Conn.Open();
                        cmdUploadDoc.ExecuteNonQuery();
                        Conn.Close();
                    }
                }
            }
        }  
    }
}　　
查询结果：
http://public.bay.livefilestore.com/y1p6I540BQIkr1ba8SLhQJqKBP7fV-X4bvzBxBhQDO0D1s_zZCkcJ1WUl8GSgq7UdhwAdIo9bWbGWPHs-z20GniEg/2011-4-21%2016-32-30.png?psid=1
　　注意：
　　1、在数据库设置全文检索时，必须有一个字段是文档类型，SQL Server全文检索依据此文档类型启动相应的doc引擎进行检索。
　　2、必须设置全文检索的语言，中文为2052，英文为1033。
http://kdhlla.bay.livefilestore.com/y1pkeH6oBdFdRmSwX2m1FwWMABjbtYd9yX0rwjfNzfB3GWGIz3oTINnBa_xt0taKdC2h6ibFof8OliB1gLRvQ9_jYPqzP7PQCHN/2011-4-21%2015-06-33.png?psid=1
http://public.bay.livefilestore.com/y1pg_OoMvAdiJ5LjlkC1a1uzfQCoRhDuVIDhjzMDDkUwgux4RevxizXqwkEpGS2ZV4PBgGiap3BUV8FwN0ygkvMkA/2011-4-21%2016-34-16.png?psid=1
　　优点：将doc文件导入SQL Server数据库中，可以方便地进行读取和全文检索，必要时也可以写入。
　　缺点：varbinary(Max)受2G大小限制，而且数据库存入大量的BLOB数据，将变得异常臃肿，检索速度将大大降低。
　　三、结合FileStream进行全文检索
　　方案摘要：与方案二类似，只不过利用FileStream技术将doc文件以数据格式varbinary(max)存放于数据库外的物理文件中，再对表进行全文检索。
　　在SQL Server 2008 中
– FILESTREAM 数据不支持远程存储
– 不支持数据库快照和数据库镜像
– 某些Katmai的功能不支持FILESTREAM ，例如：
· SQL 加密
· 表值参数
　　前提：必须安装全文检索并启用FileStream
http://kdhlla.bay.livefilestore.com/y1pxn4mPcmA5UeVcCk_TK2lxPtPpRvIgtwq99B4TI-Rk2ngjxR0btBxUTJsCID7fNjlS8cm8cyXc0kfscpw10HjEYJ6arYg0x4M/2011-4-21%2011-28-21.png?psid=1
http://kdhlla.bay.livefilestore.com/y1pfyELg72xTmetYDHGYPOdDUMv59TGbVo2XHCI7YXPJqbPKBbtrkDgE4Xl9IUtzHi6FPZRlUhnH8ODuMcSliAu4pra8w0Bc5vp/2011-4-21%2011-24-45.png?psid=1
　　参考：
　　http://msdn.microsoft.com/zh-cn/library/bb933993.aspx
　　http://www.iyunv.com/downmoon/archive/2010/05/06/1727546.html
　　http://www.iyunv.com/downmoon/archive/2010/05/08/1730044.html
　　优点：将doc文件导入SQL Server数据库中，可以方便地进行读取和全文检索，必要时也可以写入，并且克服了方案二的缺点。varbinary(Max)字段只存放索引，而实际的内容存放于数据库外，大小只受NTFS文件夹物理大小的限制。
　　小结：本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。本人认为方案一和方案三均可行。欢迎交流。3w@live.cn