Java實現Fast DFS、伺服器、OSS上傳

来源:https://www.cnblogs.com/chenliugou/p/18121894
-Advertisement-
Play Games

引言 眾所周知，數據流分析是實現污點分析的一種常用技術 數據流分析分為過程內的數據流分析與過程間的數據流分析。前者是對一個方法體內的數據流分析，主要是基於CFG分析，不涉及方法調用；後者是基於不同方法間的數據流分析，主要是基於ICFG+CG分析，會涉及方法調用。 一、過程內數據流分析 1. CFG的 ...


支持Fast DFS、伺服器、OSS等上傳方式

介紹

在實際的業務中，可以根據客戶的需求設置不同的文件上傳需求，支持普通伺服器上傳+分散式上傳（Fast DFS）+雲服務上傳OSS（OSS）

軟體架構

為了方便演示使用，本項目使用的是前後端不分離的架構

前端：Jquery.uploadFile

後端：SpringBoot

前期準備：FastDFS、OSS（華為）、伺服器

實現邏輯

通過 application 配置對上傳文件進行一個自定義配置，從而部署在不同客戶環境可以自定義選擇方式。

優點：

  1. 一鍵切換；
  2. 支持當前主流方式；

缺點：

  1. 遷移數據難度增加：因為表示FileID在對象存儲和伺服器上傳都是生成的UUID，而FastDFS是返回存取ID，當需要遷移的時候，通過腳本可以快速將FastDFS的數據遷移上雲，因為存儲ID可以共用。但是對象存儲和伺服器上傳的UUID無法被FastDFS使用，增加遷移成本

核心代碼

package com.example.file.util;

import com.example.file.common.ResultBean;
import com.github.tobato.fastdfs.domain.StorePath;
import com.github.tobato.fastdfs.proto.storage.DownloadByteArray;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.DeleteObjectRequest;
import com.obs.services.model.GetObjectRequest;
import com.obs.services.model.ObsObject;
import com.obs.services.model.PutObjectResult;
import io.micrometer.common.util.StringUtils;
import jakarta.servlet.http.HttpServletResponse;
import lombok.extern.slf4j.Slf4j;
import org.springframework.mock.web.MockMultipartFile;
import org.springframework.web.multipart.MultipartFile;

import java.io.*;
import java.util.Objects;
import java.util.UUID;

@Slf4j
public class FileUtil {

    /**
     *
     * @param file 文件
     * @param uploadFlag 標識
     * @param uploadPath 上傳路徑
     * @param endPoint 功能變數名稱
     * @param ak    ak
     * @param sk sk
     * @param bucketName 桶名字
     * @return fileId 用於下載
     */
    public static ResultBean uploadFile(MultipartFile file, String uploadFlag, String uploadPath,
                                        FastFileStorageClient fastFileStorageClient,
                                        String endPoint, String ak, String sk,
                                        String bucketName) {

        if (StringUtils.isBlank(uploadFlag)){
            ResultBean.error("uploadFlag is null");
        }
        switch (uploadFlag){
            case "fastDFS":
                return uploadFileByFastDFS(file,fastFileStorageClient);
            case "huaweiOOS":
                return uploadFileByHuaweiObject(file, endPoint, ak, ak, bucketName);
            case "server":
            default:
                return uploadFileByOrigin(file,uploadPath);
        }}

    /**
     * 上傳文件fastDFS
     * @param file 文件名
     * @return
     */
    private static ResultBean uploadFileByFastDFS(MultipartFile file,FastFileStorageClient fastFileStorageClient){
        Long size=file.getSize();
        String fileName=file.getOriginalFilename();
        String extName=fileName.substring(fileName.lastIndexOf(".")+1);
        InputStream inputStream=null;
        try {
            inputStream=file.getInputStream();
            //1-上傳的文件流 2-文件的大小 3-文件的尾碼 4-可以不管他
            StorePath storePath=fastFileStorageClient.uploadFile(inputStream,size,extName,null);
            log.info("[uploadFileByFastDFS][FullPath]"+storePath.getFullPath());
            return ResultBean.success(storePath.getPath());
        }catch (Exception e){
            log.info("[ERROR][uploadFileByFastDFS]"+e.getMessage());
            return ResultBean.error(e.getMessage());
        }finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    /**
     * 對象存儲上傳
     * @param file 文件名
     * @return
     */
    private static ResultBean uploadFileByHuaweiObject(MultipartFile file, String huaweiEndPoint,String huaweiobsAk,String huaweiobsSk,
                                                   String bucketName){
        String fileName = file.getOriginalFilename();
        fileName = renameToUUID(fileName);
        InputStream inputStream=null;
        try {
            inputStream=file.getInputStream();
            // 創建ObsClient實例
            ObsClient obsClient = new ObsClient(huaweiobsAk, huaweiobsSk, huaweiEndPoint);
            PutObjectResult result = obsClient.putObject(bucketName, fileName, inputStream);
            obsClient.close();
            return ResultBean.success(fileName);
        }catch (ObsException e){
            log.info("[ERROR][uploadFileByHuaweiObject]"+e.getErrorMessage());
            return ResultBean.error(e.getErrorMessage());
        }catch (Exception e){
            log.info("[ERROR][uploadFileByHuaweiObject]"+e.getMessage());
            return ResultBean.error(e.getMessage());
        }finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    /**
     * 上傳文件原本方法
     * @param file 文件名
     * @return
     */
    private static ResultBean uploadFileByOrigin(MultipartFile file,String uploadPath){
        String fileName = file.getOriginalFilename();
        fileName = renameToUUID(fileName);
        File targetFile = new File(uploadPath);
        if (!targetFile.exists()) {
            targetFile.mkdirs();
        }
        FileOutputStream out = null;
        try {
            out = new FileOutputStream(uploadPath + fileName);
            out.write(file.getBytes());
        } catch (IOException e) {
            log.info("[ERROR][uploadFileByOrigin]"+e.getMessage());
            return ResultBean.error(e.getMessage());
        }finally {
            try {
                out.flush();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                out.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return ResultBean.success(fileName);
    }
    /**
     * 下載
     * @return
     */
    public static byte[] downloadFile(String fileId,String uploadFlag,String uploadPath
            ,FastFileStorageClient fastFileStorageClient, String group,
                                      String endPoint,String ak,String sk,
                                      String bucketName) {
        byte[] result=null;
        switch (uploadFlag){
            case "fastDFS":
                result =downloadFileByFastDFS(fileId,fastFileStorageClient,group);
                break;
            case "huaweiOOS":
                result =downloadFileByHuaweiObject(fileId, endPoint, ak, sk, bucketName);
                break;
            case "server":
            default:
                String path2 = uploadPath + fileId;
                path2 = path2.replace("//", "/");
                result=downloadFileByOrigin(path2);
                break;
        }
        return result;

    }

    /**
     * 下載文件fastDFS
     * @param fileId 文件名
     * @return
     */
    private static byte[] downloadFileByFastDFS(String fileId,FastFileStorageClient fastFileStorageClient,
                                                String group){
        DownloadByteArray callback=new DownloadByteArray();
        byte[] group1s=null;
        try {
            group1s = fastFileStorageClient.downloadFile(group, fileId, callback);
        }catch (Exception e){
            log.info("[ERROR][downloadFileByFastDFS]"+e.getMessage());

        }
        return group1s;
    }

    /**
     * 下載文件對象存儲
     * @param fileId 文件名
     * @return
     */
    private static byte[] downloadFileByHuaweiObject(String fileId, String huaweiEndPoint,String huaweiobsAk,String huaweiobsSk,
                                                     String bucketName){
        byte[] bytes =null;
        try {
            // 創建ObsClient實例
            ObsClient obsClient = new ObsClient(huaweiobsAk, huaweiobsSk, huaweiEndPoint);
            // 構造GetObjectRequest請求
            GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, fileId);
            // 執行下載操作
            ObsObject obsObject = obsClient.getObject(getObjectRequest);
            bytes = inputStreamToByteArray(obsObject.getObjectContent());
            // 關閉OBS客戶端
            obsClient.close();
            return bytes;
        }catch (ObsException e){
            log.info("[ERROR][downloadFileByHuaweiObject]"+e.getErrorMessage());
        }catch (Exception e) {
            log.info("[ERROR][downloadFileByHuaweiObject]"+e.getMessage());
        }
        return bytes;
    }

    /**
     *
     * @param input
     * @return
     * @throws IOException
     */
    private static byte[] inputStreamToByteArray(InputStream input) throws IOException {
        ByteArrayOutputStream output = new ByteArrayOutputStream();
        byte[] buffer = new byte[4096];
        int n = 0;
        while (-1 != (n = input.read(buffer))) {
            output.write(buffer, 0, n);
        }
        return output.toByteArray();
    }

    /**
     * 下載文件
     * @param fileId 文件名
     * @return
     */
    private static byte[] downloadFileByOrigin(String fileId){
        File file  =new File(fileId);
        InputStream inputStream=null;
        byte[] buff = new byte[1024];
        byte[] result=null;
        BufferedInputStream bis = null;
        ByteArrayOutputStream os = null;
        try {
            os=new ByteArrayOutputStream();
            bis = new BufferedInputStream(new FileInputStream(file));
            int i = bis.read(buff);
            while (i != -1) {
                os.write(buff, 0, buff.length);
                i = bis.read(buff);
            }
            result=os.toByteArray();
            os.flush();
        } catch (Exception e) {
            log.info("[ERROR][downloadFile]"+e.getMessage());
        }finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return result;
    }

    /**
     * 刪除文件
     * @param fileId 文件ID
     * @return 刪除失敗返回-1，否則返回0
     */
    public static boolean deleteFile(String fileId,String fastDFSFlag,FastFileStorageClient fastFileStorageClient,
                                     String group,String uploadPath) {
        boolean result=false;
        if (StringUtils.isNotBlank(fastDFSFlag)&&
                fastDFSFlag.trim().equalsIgnoreCase("true")){
            result =deleteFileByFastDFS(fileId,fastFileStorageClient,group);
        }else {
            String path2 = uploadPath + fileId;
            path2 = path2.replace("//", "/");
            result=deleteByOrigin(path2);
        }
        return result;
    }
    private static boolean deleteByOrigin(String fileName) {
        File file = new File(fileName);
        // 如果文件路徑所對應的文件存在，並且是一個文件，則直接刪除
        if (file.exists() && file.isFile()) {
            if (file.delete()) {
                return true;
            } else {
                return false;
            }
        } else {
            return false;
        }
    }

    private static boolean deleteFileByFastDFS(String fileId,FastFileStorageClient fastFileStorageClient,
                                               String group) {
        try {
            String groupFieId=group+"/"+fileId;
            StorePath storePath = StorePath.praseFromUrl(groupFieId);
            fastFileStorageClient.deleteFile(storePath.getGroup(), storePath.getPath());
        } catch (Exception e) {
            log.info("[ERROR][deleteFileByFastDFS]"+e.getMessage());
            return false;
        }
        return true;
    }

    /**
     * 生成fileId
     * @param fileName
     * @return
     */
    private static String renameToUUID(String fileName) {
        return UUID.randomUUID() + "." + fileName.substring(fileName.lastIndexOf(".") + 1);
    }

    /**
     * 刪除文件對象存儲
     * @param fileId 文件名
     * @return
     */
    private static boolean deleteFileByHuaweiObject(String fileId, String huaweiEndPoint,String huaweiobsAk,String huaweiobsSk,
                                                    String bucketName){
        try {
            // 創建ObsClient實例
            ObsClient obsClient = new ObsClient(huaweiobsAk, huaweiobsSk, huaweiEndPoint);
            // 構造GetObjectRequest請求
            DeleteObjectRequest getObjectRequest = new DeleteObjectRequest(bucketName, fileId);

            // 執行刪除操作
            obsClient.deleteObject(getObjectRequest);
            // 關閉OBS客戶端
            obsClient.close();
        }catch (ObsException e){
            log.info("[ERROR][deleteFileByHuaweiObject]"+e.getErrorMessage());
        }catch (Exception e) {
            log.info("[ERROR][downloadFileByHuaweiObject]"+e.getMessage());
        }
        return true;
    }

    /**
     * 文件數據輸出(image)
     * @param fileId
     * @param bytes
     * @param res
     */
    public static void fileDataOut(String fileId, byte[] bytes, HttpServletResponse res){

        String[] prefixArray = fileId.split("\\.");
        String prefix=prefixArray[1];
        File file  =new File(fileId);

        res.reset();
        res.setCharacterEncoding("utf-8");
//        res.setHeader("content-type", "");
        res.addHeader("Content-Length", "" + bytes.length);
        if(prefix.equals("svg"))
            prefix ="svg+xml";
        res.setContentType("image/"+prefix);
        res.setHeader("Accept-Ranges","bytes");
        OutputStream os = null;

        try {
//            os = res.getOutputStream();
//            os.write(bytes);
//            os.flush();
            res.getOutputStream().write(bytes);
        } catch (IOException e) {
            System.out.println("not find img..");
        } finally {
            if (os != null) {
                try {
                    os.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

}

參考資料

假設個人實戰使用可以採用docker快速安裝，但是未安裝過FastDFS建議普通安裝部署，瞭解一下tracker和storage的使用，以及部署搭建集群。

FastDFS普通安裝部署：https://www.cnblogs.com/chenliugou/p/15322389.html

FasdDFS docker安裝部署：https://blog.csdn.net/weixin_44621343/article/details/117825755?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0-117825755-blog-127896984.235v43pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.1&utm_relevant_index=3

OpenFeign和FastDFS的類衝突：https://www.cnblogs.com/chenliugou/p/18113183

Gitee地址：https://gitee.com/chen-liugou/file/new/master?readme=true


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 手寫bind
    首先寫一個bind的簡單示例: 'use strict' function fn() { console.log('this::', this) console.log('arguments::', arguments) } // fn() // 這裡調用時this 在嚴格模式下是undefined ...
  • React 學習之 Hello World
    React 學習之 Hello World React 簡介 React是一個用於構建用戶界面的JavaScript庫，由Facebook開發並維護。React通過聲明式的方式來構建UI，使得代碼更易於理解和測試。React的核心概念包括組件（Component）和虛擬DOM（Virtual DOM ...
  • nvm和npm的安裝與使用
    nvm nvm（Node Version Manager）是一個Node.js的版本管理器。 安裝nvm windows安裝nvm 1. 下載nvm 下載地址：nvm-windows，下載 nvm-noinstall 或者 nvm-setup.exe 如果使用 nvm-noinstall 可以運行 ...
  • Kafka原理剖析之「位點提交」
    多租戶的概念是我在畢業後不久進第一家公司接觸到的，當時所在部門的業務是計劃建設一套基於自研的、基於開放 API 的、基於 PaaS 的、面向企業（ToB）的多租戶架構平臺，將我們的服務可以成規模地、穩定高效地交付給客戶使用。 ...
  • 新零售SaaS架構：客戶管理系統架構設計（萬字圖文總結）
    什麼是客戶管理系統？ 客戶管理系統，也稱為CRM（Customer Relationship Management），主要目標是建立、發展和維護好客戶關係。 CRM系統圍繞客戶全生命周期的管理，吸引和留存客戶，實現縮短銷售周期、降低銷售成本、增加銷售收入的目的，從而提高企業的盈利能力和競爭力。 CR ...
  • 深入理解PHP+Redis實現布隆過濾器（億級大數據處理和黑客攻防必備）
    布隆過濾器 極簡概括 英文名稱Bloom Filter，用於判斷一個元素是否在一個大數據集合中，如果檢測到存在則有可能存在，如果不存在則一定不存在。 Redis官網對於布隆過濾器的說明：https://redis.io/docs/data-types/probabilistic/bloom-filt ...
  • Spring學習總結 + 【手寫Spring底層機制核心】
    Spring學習總結 Spring基本介紹 Spring 學習的核心內容 1.IOC: 控制反轉, 可以管理java 對象 2.AOP : 切麵編程 3.JDBCTemplate : 是spring 提供一套訪問資料庫的技術, 應用性強，相對好理解 4.聲明式事務: 基於ioc/aop 實現事務管理 ...
  • Java面向對象01——類與對象
    大家好，我是白夜，今天和大家聊聊類與對象 一、初識面向對象（瞭解） 1.1、面向過程和麵向對象 面向過程編程 C 語言就是面向過程編程的，關註的是過程，分析出求解問題的步驟，通過函數調用逐步解決問題。 面向對象編程 JAVA 是基於面向對象的，關註的是對象，將一件事情拆分成不同的對象，靠對象之間的交 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類