设为首页收藏本站

绿色BI论坛商业智能大数据交流社区

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 121|回复: 0

Nlpir Parser灵玖文本内容智能过滤

[复制链接]
发表于 2017-6-14 15:25:21 | 显示全部楼层 |阅读模式
  21世纪是信息时代,也是网络时代。随着信息科学的进步和因特网的普及,网络信息资源越来越丰富,网上信息呈爆炸式增长。这一方面给用户发现信息、利用信息带来了方便,另一方面,无序、极其庞大的信息世界和成千上万的超级链接,又常常使用户在查找其所需信息时感到力不从心。
  网络信息过滤,就是根据用户的信息需求,利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息,同时屏蔽掉无用的信息的过程。信息过滤是实现信息的个性化主动服务的前提。个性化服务的实质是针对性,即针对不同的用户采取不同的服务策略,提供不同的服务内容。
图片1.png
  Nlpir Parser灵玖文本内容智能过滤系统是有灵玖软件研制成功,是针对互联网内容处理的需要,融合了自然语言理解、网络搜索和文本挖掘的技术,可以导入大批量用户业务敏感的关键词列表,实现对内存与文件的实时智能扫描,生成命中的敏感关键词、敏感类别与权重等信息。
(一)对数据库的设计。在对MySQL数据库进行使用的时候,其相关的设计结果相对较为清晰,在对用户表、日志表以及词汇表进行管理工作的开展提供一定的便利,并且,可以对词库表中所含有的敏感词、敏感词名以及词类别进行检测。
  (二)系统中中文的简体以及繁体互换功能。在MySQL数据库中,其相关的字符设集被设置成了GBK格式,其检测的敏感词几乎是简体。而在现实生活中,一些用户在对文章进行发表的时候,在文章之中总会有繁体的敏感词存在,因此,在对用户所发表的一些文章进行文本内容的检测时,可以对信息进行过滤,在这个过程中,需要对敏感词进行简繁的转换,促使信息在过滤时的准确性得到一定的提高。
  (三)系统中拼音以及中文之间互换的功能。在对文本内容信息过滤系统进行运用的时候,一些文章在发表的时候,用拼音来代替敏感词,因此,相关的工作人员还要注意在系统中设计中文以及拼音的互换功能。这样就可以对文章中所含有的不良敏感词信息进行有效的过滤,从而使文本内容信息过滤系统子在使用的时候,精确性能够达到新的高度。
  (四)关键词的多模式智能匹配功能
  用户设定关键词后,系统可以自动识别扫描不同编码、繁简体、全角半角、中间加各类干扰噪音等变体、变音、变种信息。
  随着我国经济水平的不断发展和提高,我国科技水平也得到了相应的创新和进步,其中,网络信息技术在各个行业中得到了相对较为广泛的应用。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

手机版|使用帮助|绿色BI论坛商业智能大数据交流社区 ( 粤ICP备09215901号-2   

点击这里给我发消息

粤公网安备 44049102496016号

GMT+8, 2017-8-18 13:05 , Processed in 1.404003 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表