SpringBoot+Mybatis-plus整合easyExcel批量導入Excel到資料庫+導出Excel

来源:https://www.cnblogs.com/wang1221/archive/2023/01/11/17043534.html
-Advertisement-
Play Games

一、前言 今天小編帶大家一起整合一下easyExcel,之所以用這個,是因為easyExcel性能比較好,不會報OOM! 市面上常見的導入導出Excel分為三種: hutool easyExcel poi hutool和easyExcel都是對poi的封裝,使用起來更加方便! 如果想使用poi和hu ...


一、前言

今天小編帶大家一起整合一下easyExcel,之所以用這個,是因為easyExcel性能比較好,不會報OOM

市面上常見的導入導出Excel分為三種:

  • hutool
  • easyExcel
  • poi

hutooleasyExcel都是對poi的封裝,使用起來更加方便!
如果想使用poihutool導出的可以看一下小編的之前寫的文章:

使用POI+hutool導入Excel
使用POI把查詢到的數據表數據導出到Excel中,一個表一個sheet

導出的話看一下這篇,下麵主要以導入來展開介紹!
EasyExcel導出Excel表格到瀏覽器,並通過Postman測試導出Excel

二、導入依賴

小編這裡是3.0.X版本的,版本不同可能導致部分有出入,如果大家版本是3.1.X,可以去官方文檔看看有不一樣的!

官方文檔

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.0.5</version>
</dependency>

三、實體類

這裡可以自帶的轉換器:

  • @DateTimeFormat("yyyy年MM月dd日HH時mm分ss秒")
  • LocalDateTimeStringConverter

或者自定義轉化器:
實現:implements Converter<T>

具體文檔:官方文檔

@ExcelProperty參數註意:

這裡不建議 index 和 name 同時用,要麼一個對象只用index,要麼一個對象只用name去匹配

用名字去匹配,這裡需要註意,如果名字重覆,會導致只有一個欄位讀取到數據

/**
 * @author wangzhenjun
 * @date 2022/12/2 15:52
 */
@Data
public class Test {

    @TableId
    private Integer id;
    @ExcelProperty(index = 0)
    private String name;
    @ExcelProperty(index = 1)
    private Integer age;
    @ExcelProperty(index = 2,converter = LocalDateTimeStringConverter.class)
    private LocalDateTime time;
}

四、編寫監聽器

註意點:
這個監聽器一定不要是單例的,被spring管理預設為單例,如果要使用@Component,一定要加上:
@Scope("prototype"),這樣在創建完後spring不會進行管理,每次都會是新bean!
不加@Component在導入時要進行new ImportDataListener
小編這裡不想new了直接這樣寫!!如果不想這樣,可以使用構造器set進行使用!
BATCH_COUNT :數據閾值,超過了就會清理list,在之前可以進行保存到資料庫中,方便記憶體回收,防治OOM
這裡保存到資料庫中一般使用批量保存,不要解析到一行就去保存資料庫中,這樣數據量大會給資料庫增加IO,導致掛掉!這裡小編使用ServiceImplsaveBatch()方法,也可以自己寫一下,像小編這樣寫,會出現迴圈依賴,加上@Lazy就行!

/**
 * @author wangzhenjun
 * @date 2022/12/2 15:38
 */
@Slf4j
@Component
// 每次bean都是新的,不要單例
@Scope("prototype")
public class ImportDataListener implements ReadListener<Test> {

    @Autowired
    @Lazy
    private TestService testService;
    
    /**
     * 每隔5條存儲資料庫,實際使用中可以100條,然後清理list ,方便記憶體回收
     */
    private static final int BATCH_COUNT = 100;
    /**
     * 緩存的數據
     */
    private List<Test> importExcelDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);


    /**
     * 這個每一條數據解析都會來調用
     *
     * @param data    one row value. Is is same as {@link AnalysisContext#readRowHolder()}
     * @param context
     */
    @Override
    public void invoke(Test data, AnalysisContext context) {
        log.info("解析到一條數據:{}", JSON.toJSONString(data));
        importExcelDataList.add(data);
        // 達到BATCH_COUNT了,需要去存儲一次資料庫,防止數據幾萬條數據在記憶體,容易OOM
        if (importExcelDataList.size() >= BATCH_COUNT) {
            saveData();
            // 存儲完成清理 list
            importExcelDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
        }
    }

    /**
     * 所有數據解析完成了 都會來調用
     *
     * @param context
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 這裡也要保存數據,確保最後遺留的數據也存儲到資料庫
        saveData();
        log.info("所有數據解析完成!");
    }

    /**
     * 加上存儲資料庫
     */
    private void saveData() {
        log.info("{}條數據,開始存儲資料庫!", importExcelDataList.size());
        testService.saveBatch(importExcelDataList);
        log.info("存儲資料庫成功!");
    }
}

五、Controller

/**
 * @author wangzhenjun
 * @date 2022/10/26 16:51
 */
@Slf4j
@RestController
@RequestMapping("/test")
public class TestController {

    @Autowired
    private TestService testService;

    @PostMapping("/import")
    public Result importExcel(@RequestBody MultipartFile multipartFile){
        testService.importExcel(multipartFile);
        return Result.success("ok");
    }
}

六、Service

/**
 * @author wangzhenjun
 * @date 2022/10/26 16:55
 */
public interface TestService extends IService<Test> {
    void importExcel(MultipartFile multipartFile);
}

七、ServiceImpl

/**
 * @author wangzhenjun
 * @date 2022/10/26 16:56
 */
@Service
public class TestServiceImpl extends ServiceImpl<TestDbMapper, Test> implements TestService{

    @Autowired
    private ImportDataListener importDataListener;

    @SneakyThrows
    @Override
    public void importExcel(MultipartFile multipartFile) {
        InputStream inputStream = multipartFile.getInputStream();
        // 這裡 需要指定讀用哪個class去讀,然後讀取第一個sheet 文件流會自動關閉
        EasyExcel.read(inputStream, Test.class, importDataListener).sheet().doRead();
    }
}

八、Mapper

/**
 * @author wangzhenjun
 * @date 2022/10/26 17:07
 */
public interface TestDbMapper extends BaseMapper<Test> {
}

九、測試

準備Excel數據:
在這裡插入圖片描述
postman上傳:

在這裡插入圖片描述
控制台列印:
在這裡插入圖片描述
資料庫查看:
在這裡插入圖片描述
完美搞定!!

十、總結

這樣就完成了easyExcel批量導入Excel到資料庫,還是有很多要註意的點:

  • 自定義轉換器
  • 監聽器不要單例
  • 保存資料庫採用批量
  • 版本差距

如果對你有幫助,還請不要吝嗇您的發財小手,你的一鍵三連是我寫作的動力,謝謝大家哈!!


可以看下小編的微信公眾號,文章首發看,歡迎關註,一起交流哈!!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 電銷是什麼?就是坐席拿著電話給客戶打電話嗎?no no no,讓我們一起走進京音平臺之電銷系統。 京音平臺2020年初開始建設,過去的兩年多的時間里,經歷了跌宕起伏,有經驗、有教訓,整體來說平臺經歷了人工、自動化階段,目前處於初步智能化階段,希望可以將過去的一些心路歷程分享給大家,共同交流、共同進... ...
  • 1. 直接創建 C++ 使用 new 創建二維數組最直接的方法就是 new T[M][N]。返回的指針類型是 T (*)[N],它是指向數組的指針,可以直接使用數組下標形式訪問元素。釋放記憶體直接使用delete[]。示例代碼: #include <iostream> class A { public ...
  • 前言 考研結束半個月了,自己也簡單休整了一波,估了一下分,應該能進覆試,但還是感覺不夠托底。不管怎樣,要把代碼能力和八股撿起來了,正好看到卡哥有這個演算法訓練營,遂果斷參加,為機試和日後求職打下一個基礎。 我之前斷斷續續地刷過一些LeetCode,但是不成體系,數量也少得可憐,才區區50+,在尋找暑期 ...
  • 題目傳送門 題意簡述 看到題目顯而易見是求逆序對個數。 思路分析 看到數據範圍 $x_i,y_i \le 2^{31}-1$,$k \le 10^5$。數據值域大但是個數少,且與數據之間的大小關係有關,因此考慮離散化。 離散化簡單介紹 離散化實際就是一種映射,當數據值域過大而個數有限時,可以嘗試離散 ...
  • Image模塊是PIL最基本的模塊,其中導出了Image類,一個Image類實例對象就對應了一副圖像。同時,Image模塊還提供了很多有用的函數。本文只是初步學習了一些用法與實際操作。 ...
  • 在 YARN 中,Application 是指應用程式,它可能啟動多個運行實例,每個運行實例由 —個 ApplicationMaster 與一組該 ApplicationMaster 啟動的任務組成,它擁有名稱、隊列、優先順序等屬性,是一個比較寬泛的概念,可以是一個 MepReduce 作業、一個 D... ...
  • 2023-01-10 一、MyBatis自動映射與自定義映射 1、自動映射: 在映射文件中使用的是“resultType”。指的是自動將資料庫中表的欄位與類中的屬性進行關聯映射。 2、自定義映射: (1)在映射文件中使用的是“resultMap”。一般是自動映射解決不了的問題,就使用自定義映射。 有 ...
  • 圖文並茂的內容往往讓人看起來更加舒服,如果只是文字內容的累加,往往會使讀者產生視覺疲勞。搭配精美的文章配圖則會使文章內容更加豐富,增加文章可讀性的同時,也能提升用戶體驗。但由於PDF文檔安全性較高,不易對其進行修改編輯,那我們要如何在PDF中插入、替換或刪除圖像呢?別擔心,今天為大家介紹一種高效便捷... ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...