Python 逐行分割大txt文件

来源:http://www.cnblogs.com/freeliver54/archive/2017/10/10/7643932.html
-Advertisement-
Play Games

# -*- coding: -*- import io LIMIT = 150000 file_count = 0 url_list = [] with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as... ...


# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []

with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
    for line in f:
        url_list.append(line)
        if len(url_list) < LIMIT:
            continue
        file_name = str(file_count)+".sql"
        with io.open(file_name,'w',encoding='utf-16') as file:
            for url in url_list[:-1]:
                file.write(url)
            file.write(url_list[-1].strip())
            url_list=[]
            file_count+=1
if url_list:
    file_name = str(file_count) + ".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
        for url in url_list:
            file.write(url)
print('done')

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 基本結構 規則 1、try語句至少要有一個對應的catch或finally,不允許單獨一個try語句 2、如果到了調用棧頂部,仍然沒有找到匹配的catch語句,就會發生未處理異常 3、找到匹配的catch塊後,會先執行內層的所有finally語句,就是從拋出異常的try語句開始,到匹配異常的catc ...
  • (原文)CNTK v2.2.0提供C#API來建立、訓練和評估CNTK模型。 本節概要介紹了CNTK C#API。 在CNTK github respository中可以找到C#訓練示例。 使用C#/ .NET管理API構建深層神經網路 CNTK C#API 通過CNTKLib命名空間提供基本操作。 ...
  • 預設情況下,每一個MVC請求的HTTP Header中都會包含著當前伺服器的一些信息,出於安全還是性能還是處女座的強迫症等等,都想把這些信息移除掉,增加一些應用程式的神秘感,如下,預設情況下Chrome中截獲的HTTP Header信息: Cache-Control:private, s-maxag... ...
  • AI聖經 深度學習領域奠基性的經典暢銷書!長期位居美國亞馬遜AI和機器學習類圖書榜首!所有數據科學家和機器學習從業者的必讀圖書!特斯拉CEO埃隆·馬斯克等國內外眾多專家推薦! 深度學習是機器學習的一個分支,它能夠使電腦通過層次概念來學習經驗和理解世界。因為電腦能夠從經驗中獲取知識,所以不需要人類 ...
  • 作業1: 需求:輸出一個由 * 符號所組成的矩形,要求每行有50個 * ,一共需要有60行。使用雙重for迴圈完成。 作業2: 需求:輸出一個由 * 符號所組成的三角形,要求第一行一個 * ,第二行 兩個 * 第三行 三個 * 依次類推,最後一行10個 *。使用雙重for迴圈完成。 作業3: 需求: ...
  • A Magic Lamp Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 4694 Accepted Submission(s): 1947 Pr ...
  • cookie與session都是保存會話數據的技術 cookie存放在用戶端的磁碟中,瀏覽器一般只允許存放300個cookie,且每一個站點最多存放20個cookie,每個cookie的大小限製為4kb;當用戶需要記住自己的用戶名與密碼的時候,事件發生在用戶本地瀏覽器,所以使用cookie技術。co ...
  • Check Corners Time Limit: 2000/10000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 3247 Accepted Submission(s): 1173 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...