Solr6.6.0 用 SimplePostTool索引文件

darkpoon

　　一、背景介绍
　　Solr启动并运行之后，并不包含任何数据，在solr的安装目录下的bin目录中，有一个post工具，我们可以使用这个工具往solr上传数据，这个工具必须在命令行中执行，post工具是一个Unix脚本工具，
　　没有windows版本（但可以在java程序中调用），我们可以使用SimplePostTool来代替 参考：https://cwiki.apache.org/confluence/display/solr/Post+Tool#PostTool-Windows
　　二、系统配置：
　　SimplePostTool工具是一个jar包（post.jar），在%SOLR_HOME%\example\exampledocs目录下
　　这个工具可以直接运行在支持的环境中（包括Windows），使用如下命令运行：
　　java -jar example/exampledocs/post.jar

　　我们可以查看帮助以获得该工具的更多信息，如：上传文件(本地或网络文件夹)到Solr服务器、直接向Solr发送命令等，如下图：
　　java -jar example/exampledocs/post.jar –h
　　java [SystemProperties] -jar post.jar [-h|-] [<file|folder|url|arg> [<file|folder|url|arg>...]]
　　
　　三、参数介绍
　　支持的系统属性及其默认值：
　　1、-Dc=<core/collection>
　　2、-Durl=<base Solr update URL> (overrides -Dc option if specified)
　　-Durl=solr的Url地址(如：http://127.0.0.1:8983/solr)，该参数会覆盖-Dc参数，以上两个参数必须指定其中的一个，因为必须指定url/core/collection参数
　　3、-Ddata=files|web|args|stdin (default=files)　　，该参数指定上传到Solr服务器的数据，默认为files (即文件)：
　　files：本地资源，在命令行参数中指定文件或文件夹(<file|folder|url|arg>);
　　web：网络资源，在命令行参数中指定的URL地址(<file|folder|url|arg>);
　　args：命令行参数指定的字符串(<file|folder|url|arg>);
　　stdin：标准输入，在命令行中通过”<”符号指定输入流(如文件输入流);
　　4、-Dtype=<content-type> (default=application/xml)  文件类型，默认是xml
　　5、-Dhost=<host> (default: localhost)  ，solr服务器地址
　　6、-Dport=<port> (default: 8983)  ，solr服务器端口默认是8983
　　7、-Dbasicauth=<user:pass> (sets Basic Authentication credentials)
　　8、-Dauto=yes|no (default=no)  ,SimplePostTool工具是否进入自动模式，自动模式下，会将-Ddata数据转换成相应的内容类型，切会忽略-Dtype参数
　　假设D:\work\Solr\solr-6.6.0\doctest目录下有一个文件：index.html
　　java -Dauto=no -Dc=gettingstarted -jar post.jar ..\doctest/  　
　　失败

　　java -Dauto=yes -Dc=gettingstarted -jar post.jar ..\doctest/　　　　　　　
　　成功

　　9、-Drecursive=yes|no|<depth> (default=0)：递归
　　现在在D:\work\Solr\solr-6.6.0\doctest目录下建一个test文件夹，该文件夹下有一个文件
　　执行命令：java -Dauto=yes -Drecursive=no -Dc=gettingstarted -jar post.jar ..\doctest/  　　没有进行递归，所以只索引了一个文件

　　执行命令：java -Dauto=yes -Drecursive=yes -Dc=gettingstarted -jar post.jar ..\doctest/  　　进行了递归，所以索引了2个文件

　　10、-Ddelay=<seconds> (default=0 for files, 10 for web)：延迟，单位是秒
　　11、-Dfiletypes=<type>[,<type>,...] (default=xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log) ：文件类型
　　12、-Dparams="<key>=<value>[&<key>=<value>...]" (values must be URL-encoded)：过滤参数
　　　　　　　　　   13、-Dcommit=yes/no (default=yes)：自动提交
　　　　　　　　　   14、-Doptimize=yes/no (default=no)：优化
　　　　　　　　　   15、-Dout=yes/no (default=no)
　　　　　　
　　四、文件索引
　　首先启动solr
　　solr start -e cloud -noprompt

　　1、xml文件索引
　　java -Dc=gettingstarted -jar post.jar ..\example\exampledocs\*.xml

　　2、json文件索引
　　java -Dtype=application/json -Dc=gettingstarted -jar post.jar ..\example\exampledocs\*.json

　　3、CSV文件索引
　　java -Dtype=text/csv -Dc=gettingstarted -jar post.jar ..\example\exampledocs\*.csv

　　4、各种文件索引（包含多种文件）
　　java  -Dauto=yes -Dc=gettingstarted -jar post.jar ..\example\exampledocs\*.*
　　注意要加上：-Dauto=yes

　　五、浏览索引文档
　　您可以浏览http：// localhost：8983 / solr / gettingstarted / browse索引的文档。 /浏览UI可以让您了解Solr的技术能力如何在熟悉的，尽管有些粗略和原型的交互式HTML视图中进行工作。
　　（/浏览视图默认为假设启动的模式和数据是结构化XML，JSON，CSV示例数据和非结构化富文档的全部混合，您自己的数据可能看起来不太理想，尽管/浏览模板是定制的。）
　　http://localhost:8983/solr/gettingstarted_shard1_replica1/browse