本文主要講述通過MyBatis、JDBC等做大數據量數據插入的案例和結果。 ## 30萬條數據插入插入資料庫驗證 - 實體類、mapper和配置文件定義 - - User實體 - mapper介面 - mapper.xml文件 - jdbc.properties - sqlMapConfig.xml ...
本文主要講述通過MyBatis、JDBC等做大數據量數據插入的案例和結果。
30萬條數據插入插入資料庫驗證
-
實體類、mapper和配置文件定義
-
- User實體
- mapper介面
- mapper.xml文件
- jdbc.properties
- sqlMapConfig.xml
-
不分批次直接梭哈
-
迴圈逐條插入
-
MyBatis實現插入30萬條數據
-
JDBC實現插入30萬條數據
-
總結
驗證的資料庫表結構如下：
CREATE TABLE `t_user` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶id',
`username` varchar(64) DEFAULT NULL COMMENT '用戶名稱',
`age` int(4) DEFAULT NULL COMMENT '年齡',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用戶信息表';
話不多說，開整！
推薦一個開源免費的 Spring Boot 實戰項目：
實體類、mapper和配置文件定義
User實體
/**
* <p>用戶實體</p>
*
* @Author zjq
*/
@Data
public class User {
private int id;
private String username;
private int age;
}
mapper介面
public interface UserMapper {
/**
* 批量插入用戶
* @param userList
*/
void batchInsertUser(@Param("list") List<User> userList);
}
mapper.xml文件
<!-- 批量插入用戶信息 -->
<insert id="batchInsertUser" parameterType="java.util.List">
insert into t_user(username,age) values
<foreach collection="list" item="item" index="index" separator=",">
(
#{item.username},
#{item.age}
)
</foreach>
</insert>
jdbc.properties
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/test
jdbc.username=root
jdbc.password=root
sqlMapConfig.xml
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
<!--通過properties標簽載入外部properties文件-->
<properties resource="jdbc.properties"></properties>
<!--自定義別名-->
<typeAliases>
<typeAlias type="com.zjq.domain.User" alias="user"></typeAlias>
</typeAliases>
<!--數據源環境-->
<environments default="developement">
<environment id="developement">
<transactionManager type="JDBC"></transactionManager>
<dataSource type="POOLED">
<property name="driver" value="${jdbc.driver}"/>
<property name="url" value="${jdbc.url}"/>
<property name="username" value="${jdbc.username}"/>
<property name="password" value="${jdbc.password}"/>
</dataSource>
</environment>
</environments>
<!--載入映射文件-->
<mappers>
<mapper resource="com/zjq/mapper/UserMapper.xml"></mapper>
</mappers>
</configuration>
不分批次直接梭哈
MyBatis直接一次性批量插入30萬條，代碼如下：
@Test
public void testBatchInsertUser() throws IOException {
InputStream resourceAsStream =
Resources.getResourceAsStream("sqlMapConfig.xml");
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);
SqlSession session = sqlSessionFactory.openSession();
System.out.println("===== 開始插入數據 =====");
long startTime = System.currentTimeMillis();
try {
List<User> userList = new ArrayList<>();
for (int i = 1; i <= 300000; i++) {
User user = new User();
user.setId(i);
user.setUsername("共飲一杯無 " + i);
user.setAge((int) (Math.random() * 100));
userList.add(user);
}
session.insert("batchInsertUser", userList); // 最後插入剩餘的數據
session.commit();
long spendTime = System.currentTimeMillis()-startTime;
System.out.println("成功插入 30 萬條數據,耗時："+spendTime+"毫秒");
} finally {
session.close();
}
}
可以看到控制台輸出：
Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (27759038 >yun 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.
超出最大數據包限制了，可以通過調整max_allowed_packet限制來提高可以傳輸的內容，不過由於30萬條數據超出太多，這個不可取，梭哈看來是不行了
