個人項目：論文查重_ZenDei技術網路在線

這個作業屬於哪個課程軟體工程2024 這個作業要求在哪裡個人項目這個作業的目標瞭解軟體項目開發的整體流程，實現自己的個人項目，學習單元測試、性能優化和 git 操作，學會使用 PSP 表格 Github地址：點擊此處，進入我的倉庫一、項目需求題目：論文查重設計一個論文查重演算法，給出 ...

這個作業屬於哪個課程	軟體工程2024
這個作業要求在哪裡	個人項目
這個作業的目標	瞭解軟體項目開發的整體流程，實現自己的個人項目，學習單元測試、性能優化和 git 操作，學會使用 PSP 表格

Github地址 ： 點擊此處，進入我的倉庫

一、項目需求

題目：論文查重

設計一個論文查重演算法，給出一個原文文件和一個在這份原文上經過了增刪改的抄襲版論文的文件，在答案文件中輸出其重覆率。

原文示例：今天是星期天，天氣晴，今天晚上我要去看電影。
抄襲版示例：今天是周天，天氣晴朗，我晚上要去看電影。

要求輸入輸出採用文件輸入輸出，規範如下：

從命令行參數給出：論文原文的文件的絕對路徑。
從命令行參數給出：抄襲版論文的文件的絕對路徑。
從命令行參數給出：輸出的答案文件的絕對路徑。

提供的樣例：orig.txt是原文，其他orig_add.txt等均為抄襲版論文。樣例下載地址

答案文件中輸出的答案為浮點型，精確到小數點後兩位

二、設計和實現

1、整體流程

基本流程

2、類和函數

類	方法	描述
Main	main()	主程式入口
TxtUtils	readFile(String filePath) writeFile(double fileElem, String filePath)	從目標文件路徑中讀取文件內容將結果寫入指定文件
HashUtils	getHash(String str) getSimHash(String str)	傳入 String ，計算出它的 hash 值，並以字元串形式輸出傳入 String ，計算出它的 simHash 值
HammingUtils	calculateHammingDistance(String simHash1, String simHash2) calculateSimilarity(String simHash1, String simHash2)	計算兩個 SimHash 值的海明距離輸入兩個 simHash 值，輸出相似度
ExceptionUtils	ExceptionUtils(String message)	處理文本過短異常

3、關鍵演算法

simHash演算法和海明距離實現論文查重

三、性能改進

性能分析圖：
Override性能分析圖

Memory占用圖：

byte類、String類和HashMap類占用較，byte類、String類主要來自於simHash值和海明距離的計算，HashMap類主要來自於使用分詞器分詞需要用到Map進行詞頻映射，可從此處改進。

四、單元測試

1. 讀寫 txt 文件的模塊測試

思路：測試讀取成功、讀取失敗、寫入成功、寫入失敗的情況

代碼：

public class TxtUtilsTest {
    @Test
    public void readTest() {
        // 路徑存在 讀取成功
        String str = TxtUtils.readFile("D:/test/orig.txt");
        String[] strings = str.split(" ");
        for (String string : strings) {
            System.out.println(string);
        }
    }
    @Test
    public void readTestErr() {
        // 路徑不存在 讀取失敗
        String str = TxtUtils.readFile("D:/test/orig111.txt");
        String[] strings = str.split(" ");
        for (String string : strings) {
            System.out.println(string);
        }
    }
    @Test
    public void writeTest() {
        // 路徑存在 寫入成功
        double[] elem = {0.12, 0.23, 0.34, 0.45, 0.56,0.99,0.88};
        for (double v : elem) {
            TxtUtils.writeFile(v, "D:/test/answer.txt");
        }
    }
    @Test
    public void writeTestErr() {
        //路徑錯誤 寫入失敗
        double[] elem = {0.12, 0.23, 0.34, 0.45, 0.56,0.99,0.88};
        for (double v : elem) {
            TxtUtils.writeFile(v, "QQ:/test//answer.txt");
        }
    }
}

測試結果：

測試結果

代碼覆蓋率：

代碼覆蓋率

2. hash 模塊測試

代碼：

public class HashUtilsTest {
    @Test
    public void getHashTest() {
        // 短文本
        String[] strings = {"畫畫" , "多大" , "GG" , "火" , "阿凡達ya" , "版"};
        for (String string : strings) {
            String strHash = HashUtils.getHash(string);
            if (strHash != null) {
                System.out.println(strHash.length());
            }
            System.out.println(strHash);
        }
    }
    @Test
    public void getSimHashTest0() {
        // 短文本
        String str = "好";
        System.out.println(HashUtils.getSimHash(str));
    }
    @Test
    public void getSimHashTest() {
        // 長文本
        String str0 = TxtUtils.readFile("D:/test/orig.txt");
        String str1 = TxtUtils.readFile("D:/test/orig_0.8_add.txt");
        System.out.println(HashUtils.getSimHash(str0));
        System.out.println(HashUtils.getSimHash(str1));
    }
}

測試結果：

測試結果

代碼覆蓋率：

代碼覆蓋率

3. 計算海明距離模塊測試

代碼：

public class HammingUtilsTest {
    @Test
    public void hammingDistanceTest0() {
        String str0 = "10101100";
        String str1 = "11001111";
        int distance = HammingUtils.calculateHammingDistance(str0,str1);
        double similarity = HammingUtils.calculateSimilarity(str0,str1);
        System.out.println("海明距離為：" + distance);
        System.out.println("相似度為：" + similarity);
    }
    @Test
    public void hammingDistanceTest1() {
        // 長度不等
        String str0 = "10101100";
        String str1 = "110011";
        int distance = HammingUtils.calculateHammingDistance(str0,str1);
//        double similarity = HammingUtils.calculateSimilarity(str0,str1);
        System.out.println("海明距離為：" + distance);
//        System.out.println("相似度為：" + similarity );
    }
    @Test
    public void hammingDistanceTest2() {
        String str0 = TxtUtils.readFile("D:/test/orig.txt");
        String str1 = TxtUtils.readFile("D:/test/orig_0.8_add.txt");
        int distance = HammingUtils.calculateHammingDistance(Objects.requireNonNull(HashUtils.getSimHash(str0)), Objects.requireNonNull(HashUtils.getSimHash(str1)));
        double similarity = HammingUtils.calculateSimilarity(HashUtils.getSimHash(str0),HashUtils.getSimHash(str1));
        System.out.println("海明距離為：" + distance);
        System.out.println("相似度為：" + similarity);
    }

    @Test
    public void hammingDistanceTest3() {
        String str0 = TxtUtils.readFile("D:/test/orig.txt");
        String str1 = TxtUtils.readFile("D:/test/orig_0.8_del.txt");
        int distance = HammingUtils.calculateHammingDistance(Objects.requireNonNull(HashUtils.getSimHash(str0)), Objects.requireNonNull(HashUtils.getSimHash(str1)));
        double similarity = HammingUtils.calculateSimilarity(HashUtils.getSimHash(str0),HashUtils.getSimHash(str1));
        System.out.println("海明距離為：" + distance);
        System.out.println("相似度為：" + similarity);
    }

    @Test
    public void hammingDistanceTest4() {
        String str0 = TxtUtils.readFile("D:/test/orig.txt");
        String str1 = TxtUtils.readFile("D:/test/orig_0.8_dis_1.txt");
        int distance = HammingUtils.calculateHammingDistance(Objects.requireNonNull(HashUtils.getSimHash(str0)), Objects.requireNonNull(HashUtils.getSimHash(str1)));
        double similarity = HammingUtils.calculateSimilarity(HashUtils.getSimHash(str0),HashUtils.getSimHash(str1));
        System.out.println("海明距離為：" + distance);
        System.out.println("相似度為：" + similarity);
    }
}

測試結果：

測試結果

代碼覆蓋率：

代碼覆蓋率

4.主測試 MainTest

代碼：

public class MainTest {
    @Test
    public void mainTestAll() {
        String[] args = new String[6];
        args[0] = "D:/test/orig.txt";
        args[1] = "D:/test/orig_0.8_add.txt";
        args[2] = "D:/test/orig_0.8_del.txt";
        args[3] = "D:/test/orig_0.8_dis_1.txt";
        args[4] = "D:/test/orig_0.8_dis_10.txt";
        args[5] = "D:/test/orig_0.8_dis_15.txt";
        String answerPath = "D:/test/answerAll.txt";
        for (int i=1; i< args.length;i++){
            double answer = HammingUtils.calculateSimilarity(HashUtils.getSimHash(TxtUtils.readFile(args[0])),HashUtils.getSimHash(TxtUtils.readFile(args[i])));
            TxtUtils.writeFile(answer, answerPath);
        }
    }

    @Test
    public void mainTeatSame() {
        String str = "D:/test/orig.txt";
        String answerPath = "D:/test/answerSame.txt";
        double answer = HammingUtils.calculateSimilarity(HashUtils.getSimHash(TxtUtils.readFile(str)),HashUtils.getSimHash(TxtUtils.readFile(str)));
        TxtUtils.writeFile(answer,answerPath);
    }
}

測試結果：

測試結果

代碼覆蓋率：

代碼覆蓋率

結果文件：
總文件
文件1
文件2

五、異常處理

文本長度太短時，HanLp無法取得關鍵字，需要拋出異常。

 // 文本長度太短  HanLp無法取關鍵字
        try{
            if(str.length() < 200) throw new ExceptionUtils("文本過短！");
        }catch (ExceptionUtils e){
            e.printStackTrace();
            return null;
        }

public class ExceptionUtils extends RuntimeException {
        // 構造函數：僅帶消息參數
        public ExceptionUtils(String message) {
            super(message);
        }
}

測試：

public class ExceptionUtilsTest {
    @Test
    public void exceptionTest(){
        //str.length()<200
        System.out.println(HashUtils.getSimHash("世界這麼大"));
    }
    @Test
    public void exceptionTest0(){
        //長文本
        String str = TxtUtils.readFile("D:/test/orig.txt");
        System.out.println(HashUtils.getSimHash(str));
    }
}

判斷命令行輸入參數的數量

if (args.length != 3) {
            System.out.println("請提供正確的參數：[原文文件] [抄襲版論文的文件] [答案文件]");
            return;
        }

六、附錄

PSP表格

PSP2.1	Personal Software Process Stages	預估耗時（分鐘）	實際耗時（分鐘）
Planning	計劃	60	60
· Estimate	· 估計這個任務需要多少時間	60	60
Development	開發	1130	1350
· Analysis	· 需求分析 (包括學習新技術)	300	400
· Design Spec	· 生成設計文檔	30	40
· Design Review	· 設計覆審	30	40
· Coding Standard	· 代碼規範 (為目前的開發制定合適的規範)	40	30
· Design	· 具體設計	90	100
· Coding	· 具體編碼	360	390
· Code Review	· 代碼覆審	40	50
· Test	· 測試（自我測試，修改代碼，提交修改）	240	300
Reporting	報告	130	110
· Test Repor	· 測試報告	60	60
· Size Measurement	· 計算工作量	40	30
· Postmortem & Process Improvement Plan	· 事後總結, 並提出過程改進計劃	30	20
	· 合計	1320	1520