单词统计（续）-白红宇

单词统计（续）

阅读量：6690 次

发布时间：2019-06-25

本文共 5054 字，大约阅读时间需要 16 分钟。

题目：第1步：输出单个文件中的前 N 个最常出现的英语单词。功能1：输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。功能2：指定文件目录，对目录下每一个文件执行统计的操作。功能3：指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。功能4：输出出现次数最多的前 n 个单词，例如，提示统计统计前多少名：输入10。就是输出最常出现单词的前 10 名。当没有指明数量的时候，我们默认列出所有单词的频率。

第2步：第二步: 支持 stop words在一本小说里，频率出现最高的单词一般都是 "a", "it", "the", "and", "this", 这些词，可以做一个 stop word 文件（停词表），在统计词汇的时候，跳过这些词。我们把这个文件叫 "stopwords.txt" file. 第三步: 想看看常用的短语是什么，怎么办呢？先定义短语："两个或多个英语单词，它们之间只有空格分隔". 请看下面的例子：

hello world //这是一个短语

hello, world //这不是一个短语

同一频率的词组，按照字典序来排列。

第4步：把动词形态都统一之后再计数。想找到常用的单词和短语，但是发现英语动词经常有时态和语态的变化，导致同一个词，同一个短语却被认为是不同的。怎么解决这个问题呢？假设我们有这样一个文本文件，这个文件的每一行都是这样构成：动词原型动词变形1 动词变形2... ，词之间用空格分开。

e.g. 动词 TAKE 有下面的各种变形：take takes took taken taking我们希望在实现上面的各种功能的时候，有一个选项，就是把动词的各种变形都归为它的原型来统计功能支持动词形态的归一化。

1 import java.io.BufferedReader;  2 import java.io.File;  3 import java.io.FileNotFoundException;  4 import java.io.FileReader;  5 import java.io.IOException;  6 import java.util.ArrayList;  7 import java.util.Collections;  8 import java.util.Comparator;  9 import java.util.HashMap; 10 import java.util.List; 11 import java.util.Map; 12 import java.util.Scanner; 13 public class TongJiDanCi { 14     public static void main(String[] args)throws IOException//扔掉很重要 15     { 16          File file = new File("D:/c1.txt"); 17          System.out.println("0.统计英文字母个数及其百分比    1.统计英文单词个数"); 18          Scanner sc = new Scanner(System.in); 19          int value=sc.nextInt(); 20          while(true) { 21          switch(value) { 22                   case 0:txtString(file); 23                   case 1:txtString2(file); 24                   default:break; 25          } 26          } 27     } 28      29     /* 30      * 统计字母 31      */ 32     public static void txtString(File file) throws IOException{ 33         try { 34             //IO操作读取文件内容 35             FileReader fr = new FileReader(file); 36             @SuppressWarnings("resource") 37             BufferedReader br = new BufferedReader(fr);//构造一个BufferedReader类来读取文件         38             HashMap
     
       hm = new HashMap
      
       ();//构建了一个新的HashMap对象，强制指定这个HashMap必须是以String为key, 以Integer为值。  39             String line =null; 40             Integer count = 0;//每个字母的个数 41             Integer total = 0;//统计字母总数，作百分比用 42             while ((line=br.readLine())!=null) { 43                 char[] ch = line.toCharArray();//将字符串对象中的字符转换为一个字符数组。 44                 total = total + ch.length; 45                 for (int i = 0; i < ch.length; i++) { 46                     ch[i] = Character.toLowerCase(ch[i]);//将大写字符转换为小写，小写字母不变 47                     count = hm.get(ch[i]+"");//ch[i]+""的作用是加一个空格后，括号内转化为字符串 48                     if (count == null) { 49                         count =1;//只出现一次 50                     }else { 51                         count++; 52                     } 53                     hm.put(ch[i]+"", count); 54                 } 55             } 56             for (String str : hm.keySet()) {
   //设变量str获取键 57                 System.out.println(str+"个数:"+hm.get(str)+"        "+hm.get(str)*100.0/total+"%"); 58             } 59             System.out.println("总字母个数："+total); 60              61             //排序输出 62              List
       
        
         > list_Data = new ArrayList
         
          
           >(hm.entrySet()); 63 Collections.sort(list_Data, new Comparator
           
            
             >(){ 64 public int compare(Map.Entry
             
               o1, Map.Entry
              
                o2) 65 { 66 //o1 to o2升序 o2 to o1降序 67 return o2.getValue().compareTo(o1.getValue()); 68 } 69 }); 70 System.out.println("排序输出："); 71 System.out.println(hm); 72 73 74 } catch (FileNotFoundException e) { 75 e.printStackTrace(); 76 } 77 } 78 79 80 /* 81 * 统计单词 82 */ 83 public static void txtString2(File file) throws IOException{ 84 FileReader fr = new FileReader(file); 85 BufferedReader br = new BufferedReader(fr);//构造一个BufferedReader类来读取文件 86 StringBuffer sb = new StringBuffer(); 87 String line =null; 88 while ((line=br.readLine())!=null){ 89 sb.append(line);//将读取出的字符追加到stringbuffer中 90 } 91 fr.close(); 92 // 关闭读入流 93 String str = sb.toString().toLowerCase(); // 将stringBuffer转为字符并转换为小写 94 String[] words = str.split("[^(a-zA-Z)]+"); // 非单词的字符来分割，得到所有单词 95 Map
               
                 map = new HashMap
                
                 () ; 96 for(String word :words){ 97 if(map.get(word)==null){ // 若不存在说明是第一次，则加入到map,出现次数为1 98 map.put(word,1); 99 }else{100 map.put(word,map.get(word)+1); // 若存在，次数累加1101 }102 }103 // 排序104 List
                 
                  
                   > list = new ArrayList
                   
                    
                     >(map.entrySet());105 Comparator
                     
                      
                       > comparator = new Comparator
                       
                        
                         >() {106 public int compare(Map.Entry
                         
                           left, Map.Entry
                          
                            right) {107 int i=left.getValue()-right.getValue();108 if(i==0) {109 return (right.getKey().compareTo(left.getKey()));110 }111 return (left.getValue().compareTo(right.getValue()));112 }113 };114 115 // 集合默认升序116 Collections.sort(list,comparator);117 int n=list.size();118 System.out.println("一共有"+n+"种单词");119 System.out.println("请输入你要排序前几个单词：");120 Scanner scanner=new Scanner(System.in);121 n=scanner.nextInt();122 for(int i=0;i

在之前的基础上做一些细化，可以统计前多少名，但其他几步难以实现。

转载于:https://www.cnblogs.com/kt-xb/p/11069660.html

你可能感兴趣的文章

万向区块链实验室董事长肖风：区块链经济才是真正的共享经济