[記錄]千萬數據存入mysql_MySQL

來源：懂視網責編：小采時間：2020-11-09 18:40:39

[記錄]千萬數據存入mysql_MySQL

[記錄]千萬數據存入mysql_MySQL:bitsCN.com [記錄]千萬數據存入mysql 存入1千萬條數據，用hibernate存數據的定義都很簡單:Sql代碼 create table testEntity2 ( id varchar(255) not null, description varchar(255), name varchar(255), prim

推薦度：

點擊下載本文 文檔為doc格式

導讀[記錄]千萬數據存入mysql_MySQL:bitsCN.com [記錄]千萬數據存入mysql 存入1千萬條數據，用hibernate存數據的定義都很簡單:Sql代碼 create table testEntity2 ( id varchar(255) not null, description varchar(255), name varchar(255), prim

bitsCN.com

[記錄]千萬數據存入mysql

存入1千萬條數據，用hibernate存

數據的定義都很簡單:

Sql代碼 create table testEntity2 ( id varchar(255) not null, description varchar(255), name varchar(255), primary key (id) )

主鍵生成策略UUID

防止數據過大

設置 50

同時代碼里也是50次 flush一下 clear一下在eclipse的環境中內存占用在500M左右

每10w條打印一次如果不使用batch_size 也不flush和clear 內存會在2G左右

并且也會發生內存溢出的錯誤:（但前面幾次的速度非常可觀到第280萬條的時候堆溢出)

但這些只是存在session的緩存里沒有真正uncommit到數據庫所以到底有多快...不好說...

正在插入

1:1 2:2 3:2 4:3 5:3 6:5 7:5 8:7 9:7 10:7 11:8 12:8 13:8 14:11 15:11 16:11 17:12 18:15 19:15 20:15 21:16 22:16 23:17 24:17 25:24 26:28 27:35 28:49 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded at org.hibernate.engine.internal.StatefulPersistenceContext.addEntry(StatefulPersistenceContext.java:539) at org.hibernate.event.internal.AbstractSaveEventListener.performSaveOrReplicate(AbstractSaveEventListener.java:249) at org.hibernate.event.internal.AbstractSaveEventListener.performSave(AbstractSaveEventListener.java:192) at org.hibernate.event.internal.AbstractSaveEventListener.saveWithGeneratedId(AbstractSaveEventListener.java:135) at org.hibernate.event.internal.DefaultSaveOrUpdateEventListener.saveWithGeneratedOrRequestedId(DefaultSaveOrUpdateEventListener.java:206) at org.hibernate.event.internal.DefaultSaveEventListener.saveWithGeneratedOrRequestedId(DefaultSaveEventListener.java:55) at org.hibernate.event.internal.DefaultSaveOrUpdateEventListener.entityIsTransient(DefaultSaveOrUpdateEventListener.java:191) at org.hibernate.event.internal.DefaultSaveEventListener.performSaveOrUpdate(DefaultSaveEventListener.java:49) at org.hibernate.event.internal.DefaultSaveOrUpdateEventListener.onSaveOrUpdate(DefaultSaveOrUpdateEventListener.java:90) at org.hibernate.internal.SessionImpl.fireSave(SessionImpl.java:764) at org.hibernate.internal.SessionImpl.save(SessionImpl.java:756) at org.hibernate.internal.SessionImpl.save(SessionImpl.java:752) at org.cc.data.test.DataGenerator.main(DataGenerator.java:25)

然后分別做一下測試先把batch_size設置為10 每10次 flush和clear：

正在插入

1:37

2:72

3:108

4:144

.......

50和100的測試和這個結果也大同小異就不測試了

其他的以后再寫了..

bitsCN.com

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com