ASCII码 ASCII码

SpringBoot使用前缀树过滤敏感词的方法实例

发布于：2022-01-18 12:07:38  栏目：技术文档

SpringBoot使用前缀树过滤敏感词的方法实例

目录一、前缀树二、敏感词过滤器总结一、前缀树一般设计网站的时候，会有问题发布或者是内容发布的功能，这些功能的有一个很重要的点在于如何实现敏感词过滤，要不然可能会有不良信息的发布，或者发布的内容中有夹杂可能会有恶意功能的代码片段，敏感词过滤的基本的算法是前缀树算法，前缀树也就是字典树，通过前缀树匹配可以加快敏感词匹配的速度。

前缀树又称为Trie、字典树、查找树。主要特点是：查找效率高，但内存消耗大；主要应用于字符串检索、词频统计、字符串排序等。

到底什么是前缀树？前缀树的功能是如何实现的？

举一个具体的例子：若有一个字符串”xwabfabcff”，敏感词为”abc”、”bf”、”be”，检测字符串，若有敏感词，则将敏感词替换为”*”，实现一个算法。

前缀树的特点：

  1. 跟结点为空结点，没有任何字符。

  2. 除了根节点以外，每个结点只有一个字符。

  3. 每个结点包含的子节点不相同。 例如，root的子节点本来有两个b，但我们只保留一个

  4. 在每个敏感词的末尾结点做一个标记，表示从根节点到此节点组合成的字符串是一个敏感词，中间未被标记的结点和根节点中间的字符串不构成一个敏感词。

前缀树的算法逻辑：

  1. 准备：我们需要三个指针，①指针指向前缀树，默认指向根节点； ②、③指针指向要检测的字符串(同向尺距法，②从头到尾走一遍，标记敏感词的开头，③随着②而动，标记敏感词的结尾)，默认指向字符串的第一个字符。我们还需要一个存放检测结果的字符串(StringBuilder)。

  2. ①访问树的第一层，发现没有’x’，则②、③向下走一步，并将’x’存入StringBuilder字符串里。’w’ 同理。

  1. 此时②、③指向’a’，①访问树的第一层，发现有’a’，但’a’未被标记，所以不是敏感词，则把’a’存入StringBuilder字符串。然后②不动，①、③继续向下走，直至走到被标记的结点或者不匹配时，①归位，②向下走一步，③回到此时②指向的地方。重复以上步骤。

  2. 若检测到敏感词，则在StringBuilder中存储”*“，并使②跳过此敏感词，②、③共同指向原来③的下一个位置。

  1. ②、③走到字符串的末尾时，检测完成。最终结果为”xwa**ff”。

二、敏感词过滤器我们再开发项目时，需要开发出一个可复用的过滤敏感词的工具，成为敏感词过滤器，以便在项目中可以复用。

开发敏感词过滤器主要有以下三个步骤：

  1. 定义前缀树

  2. 根据敏感词，初始化前缀树

  3. 编写过滤敏感词的方法

代码实现如下：import org.apache.commons.lang3.CharUtils;import org.apache.commons.lang3.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.util.HashMap;import java.util.Map;

@Componentpublic class SensitiveFilter {

  1. // 记录日志
  2. private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
  4. // 替换符
  5. private static final String REPLACEMENT = "***";
  7. // 初始化根节点
  8. private TrieNode rootNode = new TrieNode();
  10. /**
  11.  * 2. 根据敏感词，初始化前缀树
  12.  */
  13. @PostConstruct// 当容器在服务器启动时实例化此Bean，调用Bean的构造方法后，该方法就会被自动调用
  14. public void init() {
  15.     try (
  16.             // 加载敏感词文件 sensitive-words.txt是自建的存放敏感词的文件
  17.             InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
  18.             // 字节流 -->  字符流 --> 字符缓冲流
  19.             BufferedReader reader = new BufferedReader(new InputStreamReader(is));
  20.     ) {
  21.         String keyword;
  22.         while((keyword = reader.readLine()) != null){
  23.             // 添加到前缀树，addKeyword为自定义的方法，将一个敏感词添加到前缀树中去
  24.             this.addKeyword(keyword);
  25.         }
  27.     } catch (IOException e) {
  28.         logger.error("加载敏感词文件失败:" + e.getMessage());
  29.     }
  31. }
  33. // 封装方法：将一个敏感词添加到前缀树中去
  34. private void addKeyword(String keyword){
  35.     TrieNode tempNode = rootNode;
  36.     for (int i = 0; i < keyword.length(); i++) {
  37.         char c = keyword.charAt(i);
  38.         TrieNode subNode = tempNode.getSubNode(c);
  40.         if(subNode == null){
  41.             // 如果子节点中没有该字符，则以此字符初始化子节点，并装配到树中
  42.             subNode = new TrieNode();
  43.             tempNode.addSubNode(c,subNode);
  44.         }
  46.         // 指向字节点，进入下一层循环
  47.         tempNode = subNode;
  49.         // 设置结束标识
  50.         if(i == keyword.length() -1){
  51.             tempNode.setKeywordEnd(true);
  52.         }
  53.     }
  54. }
  56. /**
  57.  * 3. 检索并过滤敏感词
  58.  * @param text 待过滤的文本
  59.  * @return 过滤后的文本
  60.  */
  61. public String filter(String text){
  62.     if(StringUtils.isBlank(text)){
  63.         return null;
  64.     }
  66.     // 指针①
  67.     TrieNode tempNode = rootNode;
  68.     // 指针②
  69.     int begin = 0;
  70.     // 指针③
  71.     int position = 0;
  72.     // 存放结果
  73.     StringBuilder sb = new StringBuilder();
  75.     while(position < text.length()){
  76.         char c = text.charAt(position);
  78.         // 跳过符号
  79.         if(isSymbol(c)){
  80.             // 若指针①处于根节点，将此符号计入结果，让指针②向下走一步
  81.             if(tempNode == rootNode){
  82.                 sb.append(c);
  83.                 begin++;
  84.             }
  85.             // 无论符号在未检测时出现还是正在检测时出现，指针③总是向下走一步
  86.             // （未检测时和指针②一起向下走一步，检测时指针②不动，指针③向下走一步）
  87.             position++;
  88.             continue;
  89.         }
  91.         // 检查下级节点
  92.         tempNode = tempNode.getSubNode(c);
  93.         if(tempNode == null){
  94.             // 以begin开头的字符串不是敏感词
  95.             sb.append(text.charAt(begin));
  96.             // 进入下一个位置
  97.             begin++;
  98.             position = begin;
  99.             // 指针①归位，重新指向根节点
  100.             tempNode = rootNode;
  101.         }else if (tempNode.isKeywordEnd()){
  102.             // 发现敏感词，将begin~position字符串替换掉
  103.             sb.append(REPLACEMENT);
  104.             // 进入下一个位置
  105.             position++;
  106.             begin = position;
  107.             // 指针①归位，重新指向跟接待你
  108.             tempNode = rootNode;
  109.         }else {
  110.             // 检查下一个字符
  111.             position++;
  112.         }
  113.     }
  114.     // 将最后一批字符计入结果：指针③比指针②先到中终点，且两者之间的字符串不是敏感词
  115.     sb.append(text.substring(begin));
  117.     return sb.toString();
  118. }
  120. // 封装方法：判断是否为特殊符号
  121. private boolean isSymbol(Character c){
  122.     // 0x2E80~0x9FFF 是东亚文字范围，不予当作特殊符号看待
  123.     return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
  124. }
  126. /**
  127.  * 1. 定义前缀树
  128.  */
  129. private class TrieNode {
  131.     // 敏感词（关键词）结束标识
  132.     private boolean isKeywordEnd = false;
  134.     // 子节点（key是下级字符，value是下级节点）
  135.     private Map<Character, TrieNode> subNodes = new HashMap<>();
  137.     public boolean isKeywordEnd() {
  138.         return isKeywordEnd;
  139.     }
  141.     public void setKeywordEnd(boolean keywordEnd) {
  142.         isKeywordEnd = keywordEnd;
  143.     }
  145.     // 添加子节点
  146.     public void addSubNode(Character c, TrieNode node) {
  147.         subNodes.put(c, node);
  148.     }
  150.     // 获取子节点
  151.     public TrieNode getSubNode(Character c) {
  152.         return subNodes.get(c);
  153.     }
  154. }

}总结到此这篇关于SpringBoot使用前缀树过滤敏感词的文章就介绍到这了,更多相关SpringBoot用前缀树过滤敏感词内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

相关推荐
阅读 +

© 2020 asciim码

人生就是一场修行