【k哥爬蟲普法】程式員183併發爬取官方網站,直接獲刑3年?

来源:https://www.cnblogs.com/ikdl/archive/2022/08/12/16580091.html
-Advertisement-
Play Games

我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...


我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。

案情介紹

深圳市快鴿互聯網科技有限公司 2014 年成立,早期做互聯網金融,2017 年轉型做互聯網科技公司,主營業務是“助貸”,也就為按揭貸款購房的客戶提供贖樓及債務置換貸款等服務。

公司的業務需要經常性地訪問深圳市政府居住證網站,查詢房產地址、房屋編碼和學區房的使用情況,用於做房產的市場評估和客戶風險評估。因為手動查詢效率低下,公司產品組經討論後提出了一個建議——用爬蟲技術自動查詢。

2017 年 12 月,CTO 安排新入職的程式員負責這個項目,要求他研發一個自動定時抓取的小程式,主要用來查詢、下載網上的數據。

2018 年 1 月,項目經理給程式員一個抓取數據的小程式源代碼,程式員開始修改。

2018 年 3 月,程式被部署在阿某雲伺服器上自動運行,其內置的“網路爬蟲”對接了深圳市公安局人口管理處的居住證系統,可以在深圳市居住證網站上查詢到房產地址、房屋編碼等對應的資料,軟體對網站訪問量能達到每小時數十萬次,查詢的信息都被下載保存到公司購買的阿某雲伺服器上。

2018 年 4 月 27 日 10:43-12:00 左右,居住證系統的承建單位發現系統出現宕機現象,追蹤到請求應用伺服器埠編號,但因日誌缺失而無法定位 IP 來源,當時懷疑是人為攻擊。

2018 年 5 月 2 日 10:00-12:00 左右,系統再次遭遇攻擊,這次管理人員成功地截取了 IP 地址並報案。

2018 年 5 月 17 日晚上 11 點,伺服器維護人員接到了阿某雲客服的電話。阿某雲說他們公司的伺服器 IP 被網警鎖定了,因有攻擊行為,讓他們趕緊聯繫網警。

2018 年 8 月,CTO、程式員被捕。

案發時,深圳市居住證服務平臺的註冊用戶超過 530 萬,服務麵包括:所有市民的網上自助受理系統、151個派出所、街道辦居住證受理點的現場受理系統、後臺介面為市網格辦、市交警局、市民政局,市交委等多個政府部門提供居住證、居住登記條件查詢和審核。

居住證系統受攻擊癱瘓期間,軟體對深圳市居住證系統查詢訪問量為每秒 183 次,共計查詢信息約 151 萬條次,抓取了大量建築物編碼數據,造成政府信息泄漏;所有居住證辦理、居住登記申報、信息查詢、對外服務功能均無法正常工作,影響面極廣,市民無法辦理居住證和居住登記,相關生產生活秩序受到嚴重影響。除了此次攻擊,還有一些派出所出具證明證實 5 月期間經常出現系統無法登陸,錄入過程頻繁出現掉線、系統數據異常等情況。居住證系統無法正常使用、出現異常情況的時間長達一個多月。

供述情況

CTO 的部分供述和辯解:我司查詢並下載深圳市居住證網上的數據信息沒有進行市場買賣,沒有跟其他公司進行資源置換,也沒有通過查詢信息行為獲利。我不清楚這款爬蟲軟體對深圳市居住證網站及系統造成的影響、深圳市居住證網站及系統的承載能力、爬蟲軟體的具體的啟動和部署情況,但我知道從技術上來講如果超過伺服器承載能力的查詢肯定會引起系統卡頓或癱瘓,所以我口頭要求註意查詢時間、控制查詢頻率,我司並無任何惡意去主觀進行攻擊。

程式員的部分供述和辯解:抓取數據的原程式是誰研發的我不知道,當時我接到這個任務時,是公司領導把源代碼給我後讓我修改的。這個程式查詢信息的頻率我不清楚,共查詢多少條信息我也不清楚,我沒有因查詢深圳市居住證網站的信息而獲利,這是我的工作任務。

判決情況

法院認為,被告人楊傑明、張國棟違反國家規定,對電腦信息系統功能進行干擾,造成為 5 萬以上用戶提供服務的電腦信息系統不能正常運行累計 1 小時以上,後果特別嚴重,其行為已構成破壞電腦信息系統罪。

CTO 負責並授權程式員開發涉案爬蟲軟體,系主犯,判處有期徒刑三年;程式員受指派開發爬蟲軟體,在共同犯罪中起次要作用,系從犯,判處有期徒刑一年六個月

判決文書全文:https://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=ddbe90eedd1341888ed9ac24009b67fb

反思總結

  • 爬蟲程式日誌記錄、監控告警的重要性:本案中,在被捕之前就有過一次目標網站宕機的情況,這時候請求成功率、數據量大小、目標網站伺服器的響應情況等肯定會出現異常,正確的做法是有一定的告警策略,連續出現多少次無數據、目標網站訪問異常的時候,就應該告警通知到程式員,特別是政府網站,本案中的程式顯然沒有這些功能,導致程式員未能及時發現問題併進行處理,要知道這次對方運維人員並沒有成功定位到 IP,及時處理完全可以避免成為“爬蟲牢玩家”,給過一次機會都把握不住,警察上門才知道釀成大禍,到那時候一切都晚了。
  • 爬蟲代碼的健壯性:根據本案中程式員的供述,目標網站更新了驗證碼登錄的功能,但是程式並沒有針對這種情況做處理,也沒有及時更新,導致程式出現死迴圈,進而導致短時間內出現了大量請求,這就體現了代碼健壯性的重要性,在編寫程式時就要綜合考慮到可能出現的情況,檢測到某個介面異常,無法拿到正確的數據,重試是正常的,但不能任何情況都重試,也不能一直重試出現死迴圈的情況,應該有合理的規則,合理的重試次數,超過設定的次數就應該告警並停止程式的運行,一部分程式員喜歡直接暴力使用 try except 語句直接捕獲所有異常,然後 except 里就直接重試,正確的做法是針對不同可能出現的異常做不同處理,取值異常應該怎麼處理,連接異常應該怎麼處理等等。
  • 避免單一真實 IP 採集:本案中的程式使用一個固定 IP 採集了約 151 萬條次的數據信息,很顯然目標網站沒有封 IP 的策略,但這並不意味著我們程式就不用使用代理,當然使用代理,也得建立在合法合規的請求之上,部分代理商也會協助你判斷請求是否合規,完善的請求統計也能幫助你判斷是否出現異常情況。
  • 爬蟲頻率控制:本案中,造成目標伺服器宕機時,程式的併發是每秒 183 次,在普通的爬蟲程式中這點兒併發確實不是很大,但要註意的是,目標網站是政府網站,尤其是地方政府的專屬職能系統,這些網站在軟硬體上都不會投入太多資源,加上該網站為151個派出所、街道辦等多個部門提供服務,某個時刻可能會出現多個部門同時大量處理事務的情況,再加上你的爬蟲程式,伺服器撐不住很正常,案例中程式設置了凌晨1時至2時進行採集是比較正確的做法,政府網站降低頻率、錯峰採集,一定程度上也能避免爬宕機的情況。
  • 對需求的風險評估及把控不足:CTO 自述中表明意識到這麼操作會破壞深圳市公安局居住證服務平臺,但是為了方便以後的查詢,就著急著去做了,沒有考慮那麼多的後果。也就是在明知道可能存在風險的情況下,還未對該需求進行嚴格的監管,正因為抱有僥幸心理,為以後埋下了“定時炸彈”。正確的做法應當是做細緻嚴謹的規劃,研究該需求的合理性,再考慮要不要下發實施,而程式員也沒對下發需求做可行性分析,拿著需求和基礎代碼就去做了,還未進行監控管理,這提醒我們立項時多問一句“我們這麼做有沒有風險”沒壞處,特別是爬蟲工程師們要多對需求進行理性分析,隱患大的需求該拒絕就拒絕,畢竟有些事看起來是“集體”的決策最後往往並不是集體買單,如果公司因此威脅辭退你,那趕緊拿錢跑路,這種公司遲早得出問題!
  • 溫馨提醒:以上案例提醒我們,在工作中碰到類似情況後,建議在事前咨詢公司法務或者專業人士,不要想當然,不要自以為是。謹記一點,公司是老闆的,自由是自己的,法律是不容觸犯的!

友情提示之公司辭退員工補償標準:

勞動合同法》第47條規定:

1、經濟補償按勞動者在本單位工作的年限每滿一年支付一個月工資的標準向勞動者支付;

2、六個月以上不滿一年的,按一年計算;

3、不滿六個月的,向勞動者支付半個月工資的經濟補償,月工資是指勞動者在勞動合同解除或者終止前十二個月的平均工資。

合同未到期,員工無過錯情形下,單位提出與員工解除勞動合同的非自行離職的情況下,可索要 N+1 月工資的補償:N 為在職年限,不足一年但超過半年,則按一年算;1 為辭退員工需要提前一個月通知,否則需要補償 1 個月工資作為代通知金。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 作者:ThinkingKeep 鏈接:https://juejin.cn/post/7118954784853327903 細心的朋友應該會發現,最近,繼新浪微博之後,頭條、騰訊、抖音、知乎、快手、小紅書等各大平臺陸陸續續都上線了“網路用戶IP地址顯示功能”,境外用戶顯示的是國家,國內的用戶顯示的省 ...
  • 多商戶商城系統,也稱為B2B2C(BBC)平臺電商模式多商家商城系統。可以快速幫助企業搭建類似拼多多/京東/天貓/淘寶的綜合商城。 多商戶商城系統支持商家入駐加盟,同時滿足平臺自營、旗艦店等多種經營方式。平臺可以通過收取商家入駐費,訂單交易服務費,提現手續費,簡訊通道費等多手段方式,實現整體盈利。 ...
  • 1、前言 在自動化測試過程中經常需要進行初始化和後期處理等工作,如電商加購物車測試需要先登錄,測試完畢需要關閉瀏覽器等。Pytest提供了5種類型的setup和teardown的方法,具體如下: 模塊級別:setup_module,teardown_module 函數級別:setup_functio ...
  • 一、簡介 1.什麼是MyBatis MyBatis 是一款優秀的持久層框架 它支持自定義 SQL、存儲過程以及高級映射。 MyBatis 免除了幾乎所有的 JDBC 代碼以及設置參數和獲取結果集的工作。 MyBatis 可以通過簡單的 XML 或註解來配置和映射原始類型、介面和 Java POJO( ...
  • 在一個項目的開發過程中,通常伴隨著多套環境:本地環境 local、開發環境 dev、集成測試環境 test、用戶接受測試環境 uat、預生產環境 pre、生產環境 prod。本節的內容有些脫離真實企業開發,因為在真實的企業開發中,不會只開發一個獨立的服務,而是多個微服務。發展至今,雲原生也越來越普遍... ...
  • 《Python編程從入門到實踐》(第二版)免費下載地址~~ 內容簡介 · · · · · · 本書是針對所有層次Python讀者而作的Python入門書。全書分兩部分:第一部分介紹用Python編程所必須瞭解的基本概念,包括Matplotlib等強大的Python庫和工具,以及列表、字典、if語句、 ...
  • 首先你需要安裝RabbitMQ,安裝教程可百度查下資料即可,不做贅述,敬請諒解 啟動RabbitMQ RabbitMQ可以算是一個非同步消息隊列,在實際的開發項目中,一般是以工具模塊的方式創建,像一些SpringBoot工程所需要的基本依賴都是會有的 說明:關鍵在於誰是消息的生產者、消息的消費者;另外 ...
  • 很多小伙伴都喜歡小游戲源碼,想學一手Python做小游戲,問我做游戲難不難,要怎麼做,接下來我就介紹一下,如何用Python做游戲。 游戲演示 2048小游戲 表白彈窗 貪吃蛇 五子棋 俄羅斯方塊 超多小游戲,讓你一個爽個夠! 用PyGame做游戲非常簡單,我們今天第一篇文章,讓大家實現一個可以在地 ...
一周排行
    -Advertisement-
    Play Games
  • Github / Gitee QQ群(1群) : 813100564 / QQ群(2群) : 579033769 視頻教學 介紹 MiniWord .NET Word模板引擎,藉由Word模板和數據簡單、快速生成文件。 Getting Started 安裝 nuget link : https:// ...
  • Array.Sort Array類中相當實用的我認為是Sort方法,相比起冗長的冒泡排序,它的出現讓排序更加的簡化 結果如下: 還可以聲明一個靜態方法用來專門調用指定數組排序,從名為 array 的一維數組中 a 索引處開始,到 b 元素 從小到大排序。 註意: a + b 不能大於 array 的 ...
  • 前言 在上一篇文章CLR類型系統概述里提到,當運行時掛起時, 垃圾回收會執行堆棧遍歷器(stack walker)去拿到堆棧上值類型的大小和堆棧根。這裡我們來翻譯BotR里一篇專門介紹Stackwalking的文章,希望能加深理解。 順便說一句,StackWalker在中文里似乎還沒有統一的翻譯,J ...
  • 使用過 nginx 的小伙伴應該都知道,這個中間件是可以設置跨域的,作為今天的主角,同樣的 反向代理中間件的 YARP 毫無意外也支持了跨域請求設置。 有些小伙伴可能會問了,怎樣才算是跨域呢? 在 HTML 中,一些標簽,例如 img、a 等,還有我們非常熟悉的 Ajax,都是可以指向非本站的資源的 ...
  • 什麼是Git Git 是一個開源的分散式版本控制系統,用於敏捷高效地處理任何或小或大的項目。 Git 是 Linus Torvalds 為了幫助管理 Linux 內核開發而開發的一個開放源碼的版本控制軟體。 Git 與常用的版本控制工具 CVS, Subversion 等不同,它採用了分散式版本庫的 ...
  • 首先CR3是什麼,CR3是一個寄存器,該寄存器內保存有頁目錄表物理地址(PDBR地址),其實CR3內部存放的就是頁目錄表的記憶體基地址,運用CR3切換可實現對特定進程記憶體地址的強制讀寫操作,此類讀寫屬於有痕讀寫,多數驅動保護都會將這個地址改為無效,此時CR3讀寫就失效了,當然如果能找到CR3的正確地址... ...
  • 說明 onlyoffice為一款開源的office線上編輯組件,提供word/excel/ppt編輯保存操作 以下操作均基於centos8系統,officeonly鏡像版本7.1.2.23 鏡像下載地址:https://yunpan.360.cn/surl_y87CKKcPdY4 (提取碼:1f92 ...
  • 二叉樹查找指定的節點 前序查找的思路 1.先判斷當前節點的no是否等於要查找的 2.如果是相等,則返回當前節點 3.如果不等,則判斷當前節點的左子節點是否為空,如果不為空,則遞歸前序查找 4.如果左遞歸前序查找,找到節點,則返回,否繼續判斷,當前的節點的右子節點是否為空,如果不為空,則繼續向右遞歸前 ...
  • ##Invalid bound statement (not found)出現原因和解決方法 ###前言: 想必各位小伙伴在碼路上經常會碰到奇奇怪怪的事情,比如出現Invalid bound statement (not found),那今天我就來分析以下出現此問題的原因。 其實出現這個問題實質就是 ...
  • ###一、背景知識 爬蟲的本質就是一個socket客戶端與服務端的通信過程,如果我們有多個url待爬取,只用一個線程且採用串列的方式執行,那隻能等待爬取一個結束後才能繼續下一個,效率會非常低。 需要強調的是:對於單線程下串列N個任務,並不完全等同於低效,如果這N個任務都是純計算的任務,那麼該線程對c ...