Python pandas ERROR 2006 (HY000): MySQL server has gone away

来源:https://www.cnblogs.com/dzqk/archive/2018/01/09/8237030.html

-Advertisement-

ERROR 2006 (HY000): MySQL server has gone away ...

之前在做python pandas大數據分析的時候，在將分析後的數據存入mysql的時候報ERROR 2006 (HY000): MySQL server has gone away

原因分析：在對百萬數據進行分析的時候，由於分析邏輯有點複雜，導致消耗的時候有點多，觸發了mysql connect_timeout機制，當分析結束後想把結果存入mysql的時候，連接早已經斷開了。

解決方案：針對一些複雜的數據分析，將數據分片處理，併在每次執行mysql插入的時候判斷連接是否斷開（connection.ping(True))，若斷開則重新建立連接。關於分片可以採用python dask進行併發計算

您的分享是我們最大的動力!

-Advertisement-

更多相關文章

【CentOS】阿裡雲ECS申請CA證書配置SSL

本文記錄阿裡雲ECS申請CA證書流程先到阿裡雲控制台找到CA證書服務，這裡兩台ECS都已經申請簽發了證書，如果是還沒申請的就在“狀態”中點擊補全；進去後填寫完個人信息後，這裡選擇免費證書；提交申請後就可以等待審核了，在審核過程中可以點擊“進度”進行查看，在“進度”裡面可以先按操作進行配置，在裡面 ...
logstash安裝配置

系統：CentOS7.2 官網地址：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html#installing-logstash 1. 在/etc/yum.repos.d/下新建logstash.repo ...
創建私有CA伺服器

什麼是證書？它是用來證明某某東西確實是某某東西的東西。通俗地說，證書就好比公章。通過公章，可以證明相關文件確實是對應的公司發出的。理論上，人人都可以找個證書工具，自己做一個證書。什麼是CA？ CA全稱Certificate Authority，也叫“證書授權中心”。它是負責管理和簽發證書的第三 ...
再見亂碼：5分鐘讀懂MySQL字元集設置

在MySQL的使用過程中，瞭解字元集、字元序的概念，以及不同設置對數據存儲、比較的影響非常重要。不少同學在日常工作中遇到的“亂碼”問題，很有可能就是因為對字元集與字元序的理解不到位、設置錯誤造成的。本文由淺入深，分別介紹瞭如下內容： 1. 字元集、字元序的基本概念及聯繫 2. MySQL支持的字元... ...
資料庫特訓系列1——基礎拾遺

緣由每天學習一段時間發現，瑣瑣碎碎的學習，對日常的工作幫助很大，避免了之前踩過的各種坑；但，對於這些坑是如何形成的，深挖一會兒就不行了。思考之下，發現，平時的所學如同學習如何填坑；系統性的學習，才是，從斷面看這個坑，時間跨度上看這個坑的形成和填上，也可以說，是升級我們的鏟子；那句話怎麼說來 ...
Sql Service的藝術（一）視圖的增刪查改

視圖是從一個或者多個表中查詢數據的另一種方式。利用視圖可以集中、簡化定製資料庫，同時還能保障安全。視圖其結構和數據是建立在對應的查詢基礎上的。和表一樣，視圖也是包括幾個被定義的數據列和多個數據行，但本質而言，這些數據列和數據行來源於他所引用的表。所以試圖不是真是存在的基礎表，而是一張虛表。我們也可 ...
雲伺服器遠程mysql 無法連接

問題：mysql不管是用免安裝版的，還是用直接安裝的，還是用phpStudy直接發佈的mysql服務。都只能用localhost登錄，不能用伺服器的ip進行遠程訪問遇到這個問題。按照網上大家介紹的方法去解決，但是一直不行。後來發現自己的阿裡雲伺服器安全組規則中沒有添加埠號為3306的項，加上之後 ...
Oracle經典練習題（附答案）

Oracle基礎練習題，採用Oracle資料庫自帶的表，適合初學者，其中包括了一些簡單的查詢，已經具有Oracle自身特點的單行函數的應用本文使用的實例表結構與表的數據如下： emp員工表結構如下： dept部門表：提示：工資 = 薪金 + 佣金 emp表的現有數據如下： dept表的現有數據如 ...

一周排行

-Advertisement-

移動開發（一）：使用.NET MAUI開發第一個安卓APP

移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
wpf ToggleButton選中效果和一個登錄界面

前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
彈幕樹洞項目功能新增篇

項目地址項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
第27篇 sqlserver2022詳細安裝步驟

話不多說，直接開乾一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server；二. ...
.NET 開源高性能 MQTT 類庫

前言隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。本文將全面介紹 MQTTnet 的核心功能 ...
Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出

Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期

目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章簡介動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。本文使用的爬取步驟如下：使用 Selenium 獲取渲染後的 HTML 文檔使用 HtmlAgility ...
[使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)

1.前言什麼是熱更新游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作

本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。首先我們先去互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號註冊完成賬號後，它會送 ...
第28篇如何.net中實現高效可靠數據同步api

通過以下方式可以高效，並保證數據同步的可靠性 1.API設計使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...

所有分類