设为首页收藏本站

绿色BI论坛商业智能大数据交流社区

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 192|回复: 0

Nlpir Parser大数据文本智能过滤

[复制链接]
发表于 2017-4-25 15:13:21 | 显示全部楼层 |阅读模式
  在互联网提供的海量、庞杂的信息中,很多负相关或者是极少相关的信息以不同的表现形式,从不同的方面对人群造成毒害或者干扰。因此,对网络访问进行必要的、有效的内容过滤是非常重要的。
  文本智能过滤首先要根据用户的需求建立用户模板,利用新闻推荐的协同过滤算法,并通过对用户的浏览记录,来分析出相应的主题。用户模板建立好之后判断流中的每一文本是否符合用户需求,并将符合用户需求的文本提交给用户,再由用户对过滤结果进行评判,根据评判结果自适应地修改用户模板,以更好地符合用户的需求。
  灵玖软件Nlpir Parser大数据文本智能过滤系统是充分融合了灵玖软件在自然语言理解、信息检索等方面多年的技术积累,可以快速便捷地匹配大量自定义的关键字、词,智能过滤特定法律法规以及侵犯用户权益的内容,具有智能、高效、自学习三大特点:
  1、智能主要体现在专家启发式知识与机器学习的有机融合;
  2、高效体现在本系统在保证准确率的情况下,可以单机每秒处理10MB的文本数据;
  3、自学习是指通过机器学习,自动抽取新的语言知识,以适应新的网络语言变化,做到因时而变。
  灵玖软件Nlpir Parser大数据文本智能过滤系统优势:
  1、基于PDAT专利的多关键词实时扫描算法
  我们采用了PDAT专利算法,可以针对百万量级关键词列表实现单机20MB/s的实时扫描速度;
  2、关键词的多模式智能匹配
  用户设定关键词后,系统可以自动识别扫描不同编码、繁简体、全角半角、中间加各类干扰噪音等变体,并可以自动识别特定关键词的变种。
  3、内置了丰富的敏感知识库
  目前已经自动内置了十大类型的敏感关键词词典,3万多特定关键词。这些词典几乎囊括了所有行业里面的敏感关键词,从而为净化互联网空间提供知识储备。
  4、支持用户增量添加百万量级业务敏感词库
  支持客户自定义导入用户词典,自定义敏感类别与权重。可以支持能够提供不同行业的敏感扫描结果。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

手机版|使用帮助|绿色BI论坛商业智能大数据交流社区 ( 粤ICP备09215901号-2   

点击这里给我发消息

粤公网安备 44049102496016号

GMT+8, 2017-8-18 13:05 , Processed in 1.279202 second(s), 27 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表