5.2 文件處理策略 在開發fastDFS和minio實現類之前,需要提前安裝部署好fastDFS和minio。搭建教程可參考前面的章節。 第2-1-2章 傳統方式安裝FastDFS-附FastDFS常用命令 第2-1-3章 docker-compose安裝FastDFS,實現文件存儲服務 第2-1 ...
目錄
5.2 文件處理策略
在開發fastDFS和minio實現類之前,需要提前安裝部署好fastDFS和minio。搭建教程可參考前面的章節。
第2-1-2章 傳統方式安裝FastDFS-附FastDFS常用命令
第2-1-3章 docker-compose安裝FastDFS,實現文件存儲服務
第2-1-5章 docker安裝MinIO實現文件存儲服務-springboot整合minio-minio全網最全的資料
全套代碼及資料全部完整提供,點此處下載
由於我們當前的文件服務需要給客戶端提供統一的服務介面,這就需要文件服務屏蔽底層的具體文件存儲方式,所以對文件處理策略進行如下類和介面的設計:
5.2.1 FileStrategy
FileStrategy是文件處理策略頂層介面,是對文件處理的頂層抽象,具體代碼如下:
package com.itheima.pinda.file.strategy;
import com.itheima.pinda.file.domain.FileDeleteDO;
import com.itheima.pinda.file.entity.File;
import org.springframework.web.multipart.MultipartFile;
import java.util.List;
/**
* 文件策略介面
*/
public interface FileStrategy {
/**
* 文件上傳
*
* @param file 文件
* @return 文件對象
*/
File upload(MultipartFile file);
/**
* 刪除文件
*
* @param list 列表
*/
boolean delete(List<FileDeleteDO> list);
}
5.2.2 AbstractFileStrategy
AbstractFileStrategy是抽象文件策略處理類,實現了FileStrategy介面。
AbstractFileStrategy實現主要的文件上傳、刪除的處理流程,例如異常情況的判斷,文件對象的封裝等,但是真正上傳的處理過程需要其子類來完成,因為不同的存儲方案處理方式是不同的。
package com.itheima.pinda.file.strategy.impl;
import com.itheima.pinda.exception.BizException;
import com.itheima.pinda.file.domain.FileDeleteDO;
import com.itheima.pinda.file.entity.File;
import com.itheima.pinda.file.enumeration.IconType;
import com.itheima.pinda.file.properties.FileServerProperties;
import com.itheima.pinda.file.strategy.FileStrategy;
import com.itheima.pinda.file.utils.FileDataTypeUtil;
import com.itheima.pinda.utils.DateUtils;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.io.FilenameUtils;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.multipart.MultipartFile;
import java.time.LocalDateTime;
import java.util.List;
import static com.itheima.pinda.exception.code.ExceptionCode.BASE_VALID_PARAM;
/**
* 文件抽象策略處理類
*/
@Slf4j
public abstract class AbstractFileStrategy implements FileStrategy {
private static final String FILE_SPLIT = ".";
@Autowired
protected FileServerProperties fileProperties;
protected FileServerProperties.Properties properties;
/**
* 上傳文件
*
* @param multipartFile
* @return
*/
@Override
public File upload(MultipartFile multipartFile) {
try {
if (!multipartFile.getOriginalFilename().contains(FILE_SPLIT)) {
throw BizException.wrap(BASE_VALID_PARAM.build("缺少尾碼名"));
}
File file = File.builder()
.isDelete(false).
submittedFileName(multipartFile.getOriginalFilename())
.contextType(multipartFile.getContentType())
.dataType(FileDataTypeUtil.getDataType(multipartFile.getContentType()))
.size(multipartFile.getSize())
.ext(FilenameUtils.getExtension(multipartFile.getOriginalFilename()))
.build();
file.setIcon(IconType.getIcon(file.getExt()).getIcon());
setDate(file);
uploadFile(file, multipartFile);
return file;
} catch (Exception e) {
log.error("e={}", e);
throw BizException.wrap(BASE_VALID_PARAM.build("文件上傳失敗"));
}
}
/**
* 獲取下載地址首碼
*/
protected String getUriPrefix() {
if (StringUtils.isNotEmpty(properties.getUriPrefix())) {
return properties.getUriPrefix();
} else {
return properties.getEndpoint();
}
}
/**
* 具體類型執行上傳操作
*
* @param file
* @param multipartFile
* @throws Exception
*/
protected abstract void uploadFile(File file, MultipartFile multipartFile) throws Exception;
private void setDate(File file) {
LocalDateTime now = LocalDateTime.now();
file.setCreateMonth(DateUtils.formatAsYearMonthEn(now))
.setCreateWeek(DateUtils.formatAsYearWeekEn(now))
.setCreateDay(DateUtils.formatAsDateEn(now));
}
@Override
public boolean delete(List<FileDeleteDO> list) {
if (list.isEmpty()) {
return true;
}
boolean flag = false;
for (FileDeleteDO file : list) {
try {
delete(file);
flag = true;
} catch (Exception e) {
log.error("刪除文件失敗", e);
}
}
return flag;
}
/**
* 具體執行刪除方法, 無需處理異常
*/
protected abstract void delete(FileDeleteDO file);
}
5.2.3 LocalServiceImpl
LocalServiceImpl是AbstractFileStrategy的子類,負責處理存儲策略為本地時的文件上傳和刪除操作。為了使程式能夠動態選擇具體的策略處理類,可以提供一個配置類,在配置類中定義LocalServiceImpl,具體代碼如下:
package com.itheima.pinda.file.storage;
import cn.hutool.core.util.StrUtil;
import com.itheima.pinda.file.domain.FileDeleteDO;
import com.itheima.pinda.file.entity.File;
import com.itheima.pinda.file.properties.FileServerProperties;
import com.itheima.pinda.file.strategy.impl.AbstractFileStrategy;
import com.itheima.pinda.utils.StrPool;
import lombok.extern.slf4j.Slf4j;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import java.nio.file.Paths;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;
import java.util.UUID;
import static com.itheima.pinda.utils.DateUtils.DEFAULT_MONTH_FORMAT_SLASH;
/**
* 本地上傳配置
*/
@EnableConfigurationProperties(FileServerProperties.class)
@Configuration
@ConditionalOnProperty(name = "pinda.file.type", havingValue = "LOCAL")
@Slf4j
public class LocalAutoConfigure {
/**
* 本地文件策略處理類
*/
@Service
public class LocalServiceImpl extends AbstractFileStrategy {
private void buildClient() {
properties = fileProperties.getLocal();
}
/**
* 上傳文件
* @param file
* @param multipartFile
* @throws Exception
*/
@Override
protected void uploadFile(File file, MultipartFile multipartFile) throws Exception {
buildClient();
//生成文件名
String fileName = UUID.randomUUID().toString() + StrPool.DOT + file.getExt();
//日期文件夾,例如:2020\04
String relativePath = Paths.get(LocalDate.now().format(DateTimeFormatter.ofPattern(DEFAULT_MONTH_FORMAT_SLASH))).toString();
// web伺服器存放的絕對路徑,例如:D:\\uploadFiles\\oss-file-service\\2020\\04
String absolutePath = Paths.get(properties.getEndpoint(), properties.getBucketName(), relativePath).toString();
//目標輸出文件
java.io.File outFile = new java.io.File(Paths.get(absolutePath, fileName).toString());
//向目標文件寫入數據
org.apache.commons.io.FileUtils.writeByteArrayToFile(outFile, multipartFile.getBytes());
String url = new StringBuilder(getUriPrefix())
.append(StrPool.SLASH)
.append(properties.getBucketName())
.append(StrPool.SLASH)
.append(relativePath)
.append(StrPool.SLASH)
.append(fileName)
.toString();
//替換掉windows環境的\路徑
url = StrUtil.replace(url, "\\\\", StrPool.SLASH);
url = StrUtil.replace(url, "\\", StrPool.SLASH);
file.setUrl(url);
file.setFilename(fileName);
file.setRelativePath(relativePath);
}
/**
* 文件刪除
* @param file
*/
@Override
protected void delete(FileDeleteDO file) {
java.io.File ioFile =
new java.io.File(Paths.get(properties.getEndpoint(),
properties.getBucketName(),
file.getRelativePath(),
file.getFileName()).toString());
org.apache.commons.io.FileUtils.deleteQuietly(ioFile);
}
}
}
通過上面的代碼可以看到,在進行文件上傳和文件刪除時都會使用到配置文件中的配置項,關於本地文件處理策略的配置如下:
pinda:
mysql:
database: pd_files
nginx:
ip: ${spring.cloud.client.ip-address} #正式環境要將該ip設置成nginx對應的公網ip
port: 10000 #正式環境需要將該ip設置成nginx對應的公網埠
file:
type: LOCAL
local:
uriPrefix: http://${pinda.nginx.ip}:${pinda.nginx.port}
bucket-name: oss-file-service
endpoint: D:\soft\nginx-1.23.0\uploadFiles
5.2.4 FastDfsServiceImpl
FastDfsServiceImpl是AbstractFileStrategy的子類,負責處理存儲策略為FastDFS時的文件上傳和刪除操作。為了使程式能夠動態選擇具體的策略處理類,可以提供一個配置類,在配置類中定義FastDfsServiceImpl,具體代碼如下:
package com.itheima.pinda.file.storage;
import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import com.itheima.pinda.file.domain.FileDeleteDO;
import com.itheima.pinda.file.entity.File;
import com.itheima.pinda.file.properties.FileServerProperties;
import com.itheima.pinda.file.strategy.impl.AbstractFileStrategy;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
/**
* FastDFS配置
*/
@EnableConfigurationProperties(FileServerProperties.class)
@Configuration
@Slf4j
@ConditionalOnProperty(name = "pinda.file.type", havingValue = "FAST_DFS")
public class FastDfsAutoConfigure {
/**
* FastDFS文件策略處理類
*/
@Service
public class FastDfsServiceImpl extends AbstractFileStrategy {
@Autowired
private FastFileStorageClient storageClient; //操作FastDFS的客戶端
/**
* 上傳文件
* @param file
* @param multipartFile
* @throws Exception
*/
@Override
protected void uploadFile(File file, MultipartFile multipartFile)
throws Exception {
//調用FastDFS客戶端將文件上傳到FastDFS
StorePath storePath =
storageClient.uploadFile(multipartFile.getInputStream(),
multipartFile.getSize(),
file.getExt(),
null);
file.setUrl(fileProperties.getUriPrefix() +
storePath.getFullPath());
file.setGroup(storePath.getGroup());
file.setPath(storePath.getPath());
}
/**
* 文件刪除
* @param file
*/
@Override
protected void delete(FileDeleteDO file) {
//調用FastDFS客戶端刪除文件
storageClient.deleteFile(file.getGroup(), file.getPath());
}
}
}
通過上面代碼可以看到要使用FastDFS提供的客戶端FastFileStorageClient來實現文件的上傳和刪除,這就需要在文件服務對應的配置文件中進行如下配置:
pinda:
mysql:
database: pd_files
nginx:
ip: ${spring.cloud.client.ip-address} #正式環境要將該ip設置成nginx對應的公網ip
port: 10000 #正式環境需要將該ip設置成nginx對應的公網埠
file:
type: FAST_DFS
uriPrefix: http://172.17.0.115:8188/ #存儲類型為FAST_DFS時使用
#FAST_DFS配置
fdfs:
soTimeout: 1500
connectTimeout: 600
thumb-image:
width: 150
height: 150
tracker-list:
- 172.17.0.115:22122
pool:
#從池中借出的對象的最大數目
max-total: 153
max-wait-millis: 102
jmx-name-base: 1
jmx-name-prefix: 1
5.2.5 AliServiceImpl
AliServiceImpl是AbstractFileStrategy的子類,負責處理存儲策略為阿裡雲OSS時的文件上傳和刪除操作。為了使程式能夠動態選擇具體的策略處理類,可以提供一個配置類,在配置類中定義AliServiceImpl,可以參照阿裡雲OSS官方提供的示例代碼(https://help.aliyun.com/document_detail/32011.html?spm=a2c4g.11186623.6.769.652763282djHGw)進行文件的上傳和刪除。
具體代碼如下:
package com.itheima.pinda.file.storage;
import cn.hutool.core.util.StrUtil;
import com.alibaba.fastjson.JSONObject;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.model.*;
import com.itheima.pinda.file.domain.FileDeleteDO;
import com.itheima.pinda.file.entity.File;
import com.itheima.pinda.file.properties.FileServerProperties;
import com.itheima.pinda.file.strategy.impl.AbstractFileStrategy;
import com.itheima.pinda.utils.StrPool;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import java.nio.file.Paths;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;
import java.util.UUID;
import static com.itheima.pinda.utils.DateUtils.DEFAULT_MONTH_FORMAT_SLASH;
/**
* 阿裡雲OSS配置
*/
@EnableConfigurationProperties(FileServerProperties.class)
@Configuration
@Slf4j
@ConditionalOnProperty(name = "pinda.file.type", havingValue = "ALI")
public class AliOssAutoConfigure {
/**
* 阿裡雲OSS文件策略處理類
*/
@Service
public class AliServiceImpl extends AbstractFileStrategy {
/**
* 構建阿裡雲OSS客戶端
* @return
*/
private OSS buildClient() {
properties = fileProperties.getAli();
return new OSSClientBuilder().
build(properties.getEndpoint(),
properties.getAccessKeyId(),
properties.getAccessKeySecret());
}
protected String getUriPrefix() {
if (StringUtils.isNotEmpty(properties.getUriPrefix())) {
return properties.getUriPrefix();
} else {
String prefix = properties.
getEndpoint().
contains("https://") ? "https://" : "http://";
return prefix + properties.getBucketName() + "." +
properties.getEndpoint().replaceFirst(prefix, "");
}
}
/**
* 上傳文件
* @param file
* @param multipartFile
* @throws Exception
*/
@Override
protected void uploadFile(File file, MultipartFile multipartFile)
throws Exception {
OSS client = buildClient();
//獲得OSS空間名稱
String bucketName = properties.getBucketName();
if (!client.doesBucketExist(bucketName)) {
//創建存儲空間
client.createBucket(bucketName);
}
//生成文件名
String fileName = UUID.randomUUID().toString() +
StrPool.DOT +
file.getExt();
//日期文件夾,例如:2020\04
String relativePath =
Paths.get(LocalDate.now().
format(DateTimeFormatter.
ofPattern(DEFAULT_MONTH_FORMAT_SLASH))).
toString();
// web伺服器存放的相對路徑
String relativeFileName = relativePath + StrPool.SLASH + fileName;
relativeFileName = StrUtil.replace(relativeFileName, "\\\\",
StrPool.SLASH);
relativeFileName = StrUtil.replace(relativeFileName, "\\",
StrPool.SLASH);
//對象元數據
ObjectMetadata metadata = new ObjectMetadata();
metadata.setContentDisposition("attachment;fileName=" +
file.getSubmittedFileName());
metadata.setContentType(file.getContextType());
//上傳請求對象
PutObjectRequest request =
new PutObjectRequest(bucketName, relativeFileName,
multipartFile.getInputStream(),
metadata);
//上傳文件到阿裡雲OSS空間
PutObjectResult result = client.putObject(request);
log.info("result={}", JSONObject.toJSONString(result));
String url = getUriPrefix() + StrPool.SLASH + relativeFileName;
url = StrUtil.replace(url, "\\\\", StrPool.SLASH);
url = StrUtil.replace(url, "\\", StrPool.SLASH);
// 寫入文件表
file.setUrl(url);
file.setFilename(fileName);
file.setRelativePath(relativePath);
file.setGroup(result.getETag());
file.setPath(result.getRequestId());
//關閉阿裡雲OSS客戶端
client.shutdown();
}
/**
* 文件刪除
* @param file
*/
@Override
protected void delete(FileDeleteDO file) {
OSS client = buildClient();
//獲得OSS空間名稱
String bucketName = properties.getBucketName();
// 刪除文件
client.deleteObject(bucketName, file.getRelativePath() +
StrPool.SLASH + file.getFileName());
//關閉阿裡雲OSS客戶端
client.shutdown();
}
}
}
通過上面代碼可以看到要使用阿裡雲OSS提供的客戶端OSS來實現文件的上傳和刪除,這就需要在文件服務對應的配置文件中進行如下配置:
pinda:
mysql:
database: pd_files
nginx:
ip: ${spring.cloud.client.ip-address} #正式環境要將該ip設置成nginx對應的公網ip
port: 10000 #正式環境需要將該ip設置成nginx對應的公網埠
file:
type: ALI
ali:
# 請填寫自己的阿裡雲存儲配置
bucket-name: bladex-loan
endpoint: http://oss-cn-qingdao.aliyuncs.com
access-key-id: LTAI4FhtimFAiz6iLGJSiJui
access-key-secret: SsU15qaPwpF1x5xMqwc0XzGuY92fnc
5.2.6 MinioServiceImpl
MinioServiceImpl是AbstractFileStrategy的子類,負責處理存儲策略為Minio時的文件上傳和刪除操作。為了使程式能夠動態選擇具體的策略處理類,可以提供一個配置類,在配置類中定義MinioServiceImpl,具體代碼如下:
package com.itheima.pinda.file.storage;
import cn.hutool.core.collection.CollUtil;
import cn.hutool.core.util.StrUtil;
import cn.hutool.json.JSONUtil;
import com.itheima.pinda.base.R;
import com.itheima.pinda.file.domain.FileDeleteDO;
import com.itheima.pinda.file.dto.BucketPolicyConfigDTO;
import com.itheima.pinda.file.dto.chunk.FileChunksMergeDTO;
import com.itheima.pinda.file.entity.File;
import com.itheima.pinda.file.properties.FileServerProperties;
import com.itheima.pinda.file.strategy.impl.AbstractFileChunkStrategy;
import com.itheima.pinda.file.strategy.impl.AbstractFileStrategy;
import com.itheima.pinda.utils.DateUtils;
import com.itheima.pinda.utils.StrPool;
import io.minio.BucketExistsArgs;
import io.minio.ComposeObjectArgs;
import io.minio.ComposeSource;
import io.minio.GetObjectArgs;
import io.minio.GetPresignedObjectUrlArgs;
import io.minio.ListObjectsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.ObjectWriteArgs;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.Result;
import io.minio.SetBucketPolicyArgs;
import io.minio.StatObjectArgs;
import io.minio.StatObjectResponse;
import io.minio.http.Method;
import io.minio.messages.Item;
import lombok.extern.slf4j.Slf4j;
import org.jetbrains.annotations.Nullable;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.SequenceInputStream;
import java.nio.ByteBuffer;
import java.nio.file.Paths;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.Vector;
import java.util.concurrent.TimeUnit;
/**
* @Author: 郭浩偉 qq:912161367
* @Date: 2022/11/6 0006 19:44
* @Description: minio
*/
@Configuration
@Slf4j
@EnableConfigurationProperties(FileServerProperties.class)
@ConditionalOnProperty(name = "pinda.file.type", havingValue = "MINIO")
public class MinioAutoConfigure {
private MinioClient minioClient;
private String bucketName;
private String endpoint;
private static final int DEFAULT_EXPIRY_TIME = 7 * 24 * 3600;
/**
* 構建minioClient
*
* @return
*/
private void buildClient(FileServerProperties fileProperties) {
//載入配置文件相關信息
FileServerProperties.Properties properties = fileProperties.getMinio();
endpoint = properties.getEndpoint();
String accessKey = properties.getAccessKey();
String secretKey = properties.getSecretKey();
this.bucketName = properties.getBucketName();
//創建一個MinIO的Java客戶端
minioClient = MinioClient.builder()
.endpoint(endpoint)
.credentials(accessKey, secretKey)
.build();
}
/**
* 本地文件策略處理類
*/
@Service
public class MinioServiceImpl extends AbstractFileStrategy {
/**
* 文件上傳抽象方法,需要由當前類的子類來實現
*
* @param file
* @param multipartFile
* @return
*/
@Override
public void uploadFile(File file, MultipartFile multipartFile) throws Exception {
MinioAutoConfigure.this.buildClient(fileProperties);
//生成文件名 此處並未用原始文件名multipartFile.getOriginalFilename(),因為同名文件會覆蓋
String fileName = UUID.randomUUID() + StrPool.DOT + file.getExt();
String objectName = doReName(fileName, file);
MinioAutoConfigure.this.putObject(bucketName, multipartFile, objectName);
log.info("文件上傳成功!");
}
/**
* 文件刪除抽象方法,需要當前類的子類來實現
*
* @param fileDeleteDO
*/
@Override
public void delete(FileDeleteDO fileDeleteDO) throws Exception {
MinioAutoConfigure.this.buildClient(fileProperties);
// 設置存儲對象名稱
String objectName = Paths.get(fileDeleteDO.getRelativePath(), fileDeleteDO.getFileName()).toString();
// 替換掉windows環境的\路徑
objectName = StrUtil.replace(objectName, "\\\\", StrPool.SLASH);
objectName = StrUtil.replace(objectName, "\\", StrPool.SLASH);
// 執行刪除操作
if (bucketExists(bucketName)) {
minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
}
}
}
通過上面的代碼可以看到,在進行文件上傳和文件刪除時都會使用到配置文件中的配置項,關於Minio文件處理策略的配置如下:
pinda:
mysql:
database: pd_files
nginx:
ip: ${spring.cloud.client.ip-address} #正式環境要將該ip設置成nginx對應的公網ip
port: 10000 #正式環境需要將該ip設置成nginx對應的公網埠
file:
type: MINIO
minio:
endpoint: http://192.168.86.101:9000 #MinIO服務所在地址
bucketName: file #存儲桶名稱
accessKey: admin #訪問的key
secretKey: admin123456 #訪問的秘鑰