【引用】Oracle全文检索方面的研究(全10)

4、操作实例

4.1 单列与多列支持中文检索

Create table mytable1(id number primary key, doc1 varchar2(400),doc2 clob,doc3 clob);

 

Insert into mytable1 values(1,'今天的天气很不错，我想去逛街','今天是星期天，不用上班。天天好心情','明天是星期一，要上班。心情不好');

Insert into mytable1 values(2,'天是蓝色的，万里无云。天气非常好。','天是多云的，天气看起来要下雨了。不适宜出门','天正在下雨，大雨倾盆。不能出门。');

Insert into mytable1 values(3,'this is a text','this is a word','this is a pdf');

Commit;

 

--先删除引用

begin

ctx_ddl.drop_preference('my_chinese_vgram_lexer');

ctx_ddl.drop_preference('my_chinese_lexer');

end;

 

--支持中文分词

Begin

ctx_ddl.create_preference('my_chinese_vgram_lexer', 'chinese_vgram_lexer');

ctx_ddl.create_preference('my_chinese_lexer', 'chinese_lexer');

End;

 

--先删除引用

begin

ctx_ddl.drop_preference('my_multi');

end;

--多列查询，如果仅仅是单列，则不用设置这个类型

Begin

Ctx_ddl.create_preference('my_multi', 'multi_column_datastore');

Ctx_ddl.set_attribute('my_multi', 'columns', 'doc1, doc2, doc3');

End;

 

 

drop index myindex;

 

--单列查询，支持中文的索引建立

Create index myindex on mytable(docs)

indextype is ctxsys.context

parameters ('datastore ctxsys.default_datastore lexer foo.my_chinese_lexer')

 

drop index idx_mytable;

--多列查询，支持中文的索引的建立

Create index idx_mytable on mytable1(doc1)indextype is ctxsys.context

parameters('datastore my_multi lexer foo.my_chinese_lexer');

 

--chinese_lexer词法分析器下的结果,三列都可以查询

Select * from mytable1 where contains(doc1, '今天')>0;  --检索到第一条数据

Select * from mytable1 where contains(doc1, '不适宜')>0; --检索到第二条数据

Select * from mytable1 where contains(doc1, '适宜')>0; --检索不到数据，他的分词技术太简单，将‘不适宜’作为一个词了

Select * from mytable1 where contains(doc1, '出门')>0;  --检索到第二条数据

Select * from mytable1 where contains(doc1, 'this is a word')>0;  --检索到第三条数据，中英文适用

 

 

--chinese_vgram_lexer词法分析器下的结果,

--chinese_vgram_lexer词法分析器虽然没那么智能，但检索结果往往比较符合我们的要求，

--如：“不适宜”这个词语应该拆分为“不适宜”和“适宜”两个词语，而不是单独的作为一个词语，

--chinese_vgram_lexer可以查询的到，而chinese_lexer不可以。

drop index idx_mytable;

--多列查询，支持中文的索引的建立

Create index idx_mytable on mytable1(doc1)indextype is ctxsys.context

parameters('datastore my_multi lexer foo.my_chinese_vgram_lexer');

 

--chinese_vgram_lexer词法分析器下的结果,三列都可以查询

Select * from mytable1 where contains(doc1, '今天')>0;  --检索到第一条数据

Select * from mytable1 where contains(doc1, '不适宜')>0; --检索到第二条数据

Select * from mytable1 where contains(doc1, '适宜')>0; --检索到第二条数据，这个分词虽然效率低点，但检索结果还可以

Select * from mytable1 where contains(doc1, '出门')>0;  --检索到第二条数据

Select * from mytable1 where contains(doc1, 'this is a word')>0;  --检索到第三条数据，中英文适用

 

 

--对于多列查询，更新列操作

--只更新从表，看是否能查到更新的信息

Update mytable1 set doc2='adladlhadad this datastore when your text is stored test' where id=2;

 

--同步更新索引

Begin

Ctx_ddl.sync_index('idx_mytable');

End;

--可见，虽然你检索是三个列，但是你更新的不是索引对应的那列（doc1），同步了索引也是不起作用的

Select * from mytable1 where contains(doc1,'adladlhadad')>0; --没有记录

 

--更新与doc1列原来相同内容（实际内容不变，只有操作而已）

Update mytable1 set doc1='天是蓝色的，万里无云。天气非常好。' where id=2;

 

--再同步更新索引

Begin

Ctx_ddl.sync_index('idx_mytable');

End;

 

--再查询一次

Select * from mytable1 where contains(doc1,'adladlhadad')>0; --有结果，可见，对于其他查询的列（非索引对应的列）的更新操作，可以连同索引对应的列一起更新，只是不改变索引的内容即可做到同步索引就可以出现效果了。

4.2 本地磁盘检索

create table mytable3(id number primary key, docs varchar2(2000));

 

insert into mytable3 values(111555,'1.txt');

 

insert into mytable3 values(111556,'1.doc');

 

insert into mytable3 values(111557,'1.xls');

 

insert into mytable3 values(111558,'1.pdf');

 

insert into mytable3 values(111559,'2.txt');

 

insert into mytable3 values(111560,'2.doc');

 

insert into mytable3 values(111561,'2.xls');

 

insert into mytable3 values(111562,'2.pdf');

 

commit;

 

 

--先删除引用

begin

ctx_ddl.drop_preference('COMMON_DIR');

end;

 

--建立 file datastore

begin

ctx_ddl.create_preference('COMMON_DIR','FILE_DATASTORE');

ctx_ddl.set_attribute('COMMON_DIR','PATH','D:\search');

end;

 

--先删除索引

drop index myindex3;

--建立索引,8个文件，内容简单，耗时1.5s

create index myindex3 on mytable3(docs) indextype is ctxsys.context parameters ('datastore COMMON_DIR lexer foo.my_chinese_lexer');

 

select * from mytable3 where contains(docs,'text')>0; --查询，支持txt

select * from mytable3 where contains(docs,'pdf')>0; --查询，支持pdf

select * from mytable3 where contains(docs,'excel')>0; --查询，支持excel

select * from mytable3 where contains(docs,'word')>0; --查询，支持doc

select * from mytable3 where contains(docs,'文本')>0; --查询,支持中文

select * from mytable3 where contains(docs,'文档')>0; --查询，支持中文

select * from mytable3 where contains(docs,'阅读')>0; --查询，支持中文pdf

select * from mytable3 where contains(docs,'这是Excel')>0; --查询，支持中文

 

--暂时测试支持doc，txt,xls,pdf

 

--更新了文件内容2.txt

select * from mytable3 where contains(docs,'这个测试用的文本')>0; --查询无更新好数据

--不同步索引，无效

--同步更新索引

Begin

Ctx_ddl.sync_index('myindex3');

End;

--再次查询

select * from mytable3 where contains(docs,'测试')>0; --还是无效

 

--用相同的值取代2.txt然后再同步索引

Update mytable3 set docs='2.txt' where id=111559;

 

--再同步索引

--同步更新索引

Begin

Ctx_ddl.sync_index('myindex3');

End;

--再次查询

select * from mytable3 where contains(docs,'测试')>0; --结果出现，可见，单更新文件内容，同步索引是无效的，索引认的是数据库纪录，数据库纪录改变，索引才会更新

 

--新增加文件，结果雷同。关键是要更新数据库纪录，即使改了文件内容，也要用相同的值update数据库纪录一次。

4.3 检索结果高亮显示

Create table my_high (id number primary key, docs varchar2(1000));

insert into my_high values (1, 'this is a oracle text example. And oracle is the key word.');

insert into my_high values (2, 'this is a oracle ctx_doc hightlight example.');

commit;

/

--建立索引

create index ind_m_high on my_high(docs) indextype is ctxsys.context;

--返回结果的偏移量

set serverout on

declare

v_restab ctx_doc.highlight_tab;

begin

ctx_doc.highlight('ind_m_high', 1, 'oracle', v_restab, true);

for i in 1..v_restab.count loop

dbms_output.put_line('begin with: ' || v_restab(i).offset || ' length: ' || v_restab(i).length);

end loop;

end;

/

begin with: 11 length: 6

begin with: 36 length: 6

 

ctx_doc.highlight参数说明：

ctx_doc.highlight(索引,数据库中的ID, 搜索关键字, 指明返回的偏移量是针对纯文本格式还是针对HTML格式, true);

true or false: 对比PLAINTEXT设置为FALSE和TRUE的区别可以发现，对于HTML所有的标识部分，Oracle统一认为长度等于2。

对于True: this is a oracle ctx_doc hightlight example.，