【k哥爬蟲普法】程式員183併發爬取官方網站,直接獲刑3年?

来源:https://www.cnblogs.com/ikdl/archive/2022/08/12/16580091.html
-Advertisement-
Play Games

我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...


我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。

案情介紹

深圳市快鴿互聯網科技有限公司 2014 年成立,早期做互聯網金融,2017 年轉型做互聯網科技公司,主營業務是“助貸”,也就為按揭貸款購房的客戶提供贖樓及債務置換貸款等服務。

公司的業務需要經常性地訪問深圳市政府居住證網站,查詢房產地址、房屋編碼和學區房的使用情況,用於做房產的市場評估和客戶風險評估。因為手動查詢效率低下,公司產品組經討論後提出了一個建議——用爬蟲技術自動查詢。

2017 年 12 月,CTO 安排新入職的程式員負責這個項目,要求他研發一個自動定時抓取的小程式,主要用來查詢、下載網上的數據。

2018 年 1 月,項目經理給程式員一個抓取數據的小程式源代碼,程式員開始修改。

2018 年 3 月,程式被部署在阿某雲伺服器上自動運行,其內置的“網路爬蟲”對接了深圳市公安局人口管理處的居住證系統,可以在深圳市居住證網站上查詢到房產地址、房屋編碼等對應的資料,軟體對網站訪問量能達到每小時數十萬次,查詢的信息都被下載保存到公司購買的阿某雲伺服器上。

2018 年 4 月 27 日 10:43-12:00 左右,居住證系統的承建單位發現系統出現宕機現象,追蹤到請求應用伺服器埠編號,但因日誌缺失而無法定位 IP 來源,當時懷疑是人為攻擊。

2018 年 5 月 2 日 10:00-12:00 左右,系統再次遭遇攻擊,這次管理人員成功地截取了 IP 地址並報案。

2018 年 5 月 17 日晚上 11 點,伺服器維護人員接到了阿某雲客服的電話。阿某雲說他們公司的伺服器 IP 被網警鎖定了,因有攻擊行為,讓他們趕緊聯繫網警。

2018 年 8 月,CTO、程式員被捕。

案發時,深圳市居住證服務平臺的註冊用戶超過 530 萬,服務麵包括:所有市民的網上自助受理系統、151個派出所、街道辦居住證受理點的現場受理系統、後臺介面為市網格辦、市交警局、市民政局,市交委等多個政府部門提供居住證、居住登記條件查詢和審核。

居住證系統受攻擊癱瘓期間,軟體對深圳市居住證系統查詢訪問量為每秒 183 次,共計查詢信息約 151 萬條次,抓取了大量建築物編碼數據,造成政府信息泄漏;所有居住證辦理、居住登記申報、信息查詢、對外服務功能均無法正常工作,影響面極廣,市民無法辦理居住證和居住登記,相關生產生活秩序受到嚴重影響。除了此次攻擊,還有一些派出所出具證明證實 5 月期間經常出現系統無法登陸,錄入過程頻繁出現掉線、系統數據異常等情況。居住證系統無法正常使用、出現異常情況的時間長達一個多月。

供述情況

CTO 的部分供述和辯解:我司查詢並下載深圳市居住證網上的數據信息沒有進行市場買賣,沒有跟其他公司進行資源置換,也沒有通過查詢信息行為獲利。我不清楚這款爬蟲軟體對深圳市居住證網站及系統造成的影響、深圳市居住證網站及系統的承載能力、爬蟲軟體的具體的啟動和部署情況,但我知道從技術上來講如果超過伺服器承載能力的查詢肯定會引起系統卡頓或癱瘓,所以我口頭要求註意查詢時間、控制查詢頻率,我司並無任何惡意去主觀進行攻擊。

程式員的部分供述和辯解:抓取數據的原程式是誰研發的我不知道,當時我接到這個任務時,是公司領導把源代碼給我後讓我修改的。這個程式查詢信息的頻率我不清楚,共查詢多少條信息我也不清楚,我沒有因查詢深圳市居住證網站的信息而獲利,這是我的工作任務。

判決情況

法院認為,被告人楊傑明、張國棟違反國家規定,對電腦信息系統功能進行干擾,造成為 5 萬以上用戶提供服務的電腦信息系統不能正常運行累計 1 小時以上,後果特別嚴重,其行為已構成破壞電腦信息系統罪。

CTO 負責並授權程式員開發涉案爬蟲軟體,系主犯,判處有期徒刑三年;程式員受指派開發爬蟲軟體,在共同犯罪中起次要作用,系從犯,判處有期徒刑一年六個月

判決文書全文:https://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=ddbe90eedd1341888ed9ac24009b67fb

反思總結

  • 爬蟲程式日誌記錄、監控告警的重要性:本案中,在被捕之前就有過一次目標網站宕機的情況,這時候請求成功率、數據量大小、目標網站伺服器的響應情況等肯定會出現異常,正確的做法是有一定的告警策略,連續出現多少次無數據、目標網站訪問異常的時候,就應該告警通知到程式員,特別是政府網站,本案中的程式顯然沒有這些功能,導致程式員未能及時發現問題併進行處理,要知道這次對方運維人員並沒有成功定位到 IP,及時處理完全可以避免成為“爬蟲牢玩家”,給過一次機會都把握不住,警察上門才知道釀成大禍,到那時候一切都晚了。
  • 爬蟲代碼的健壯性:根據本案中程式員的供述,目標網站更新了驗證碼登錄的功能,但是程式並沒有針對這種情況做處理,也沒有及時更新,導致程式出現死迴圈,進而導致短時間內出現了大量請求,這就體現了代碼健壯性的重要性,在編寫程式時就要綜合考慮到可能出現的情況,檢測到某個介面異常,無法拿到正確的數據,重試是正常的,但不能任何情況都重試,也不能一直重試出現死迴圈的情況,應該有合理的規則,合理的重試次數,超過設定的次數就應該告警並停止程式的運行,一部分程式員喜歡直接暴力使用 try except 語句直接捕獲所有異常,然後 except 里就直接重試,正確的做法是針對不同可能出現的異常做不同處理,取值異常應該怎麼處理,連接異常應該怎麼處理等等。
  • 避免單一真實 IP 採集:本案中的程式使用一個固定 IP 採集了約 151 萬條次的數據信息,很顯然目標網站沒有封 IP 的策略,但這並不意味著我們程式就不用使用代理,當然使用代理,也得建立在合法合規的請求之上,部分代理商也會協助你判斷請求是否合規,完善的請求統計也能幫助你判斷是否出現異常情況。
  • 爬蟲頻率控制:本案中,造成目標伺服器宕機時,程式的併發是每秒 183 次,在普通的爬蟲程式中這點兒併發確實不是很大,但要註意的是,目標網站是政府網站,尤其是地方政府的專屬職能系統,這些網站在軟硬體上都不會投入太多資源,加上該網站為151個派出所、街道辦等多個部門提供服務,某個時刻可能會出現多個部門同時大量處理事務的情況,再加上你的爬蟲程式,伺服器撐不住很正常,案例中程式設置了凌晨1時至2時進行採集是比較正確的做法,政府網站降低頻率、錯峰採集,一定程度上也能避免爬宕機的情況。
  • 對需求的風險評估及把控不足:CTO 自述中表明意識到這麼操作會破壞深圳市公安局居住證服務平臺,但是為了方便以後的查詢,就著急著去做了,沒有考慮那麼多的後果。也就是在明知道可能存在風險的情況下,還未對該需求進行嚴格的監管,正因為抱有僥幸心理,為以後埋下了“定時炸彈”。正確的做法應當是做細緻嚴謹的規劃,研究該需求的合理性,再考慮要不要下發實施,而程式員也沒對下發需求做可行性分析,拿著需求和基礎代碼就去做了,還未進行監控管理,這提醒我們立項時多問一句“我們這麼做有沒有風險”沒壞處,特別是爬蟲工程師們要多對需求進行理性分析,隱患大的需求該拒絕就拒絕,畢竟有些事看起來是“集體”的決策最後往往並不是集體買單,如果公司因此威脅辭退你,那趕緊拿錢跑路,這種公司遲早得出問題!
  • 溫馨提醒:以上案例提醒我們,在工作中碰到類似情況後,建議在事前咨詢公司法務或者專業人士,不要想當然,不要自以為是。謹記一點,公司是老闆的,自由是自己的,法律是不容觸犯的!

友情提示之公司辭退員工補償標準:

勞動合同法》第47條規定:

1、經濟補償按勞動者在本單位工作的年限每滿一年支付一個月工資的標準向勞動者支付;

2、六個月以上不滿一年的,按一年計算;

3、不滿六個月的,向勞動者支付半個月工資的經濟補償,月工資是指勞動者在勞動合同解除或者終止前十二個月的平均工資。

合同未到期,員工無過錯情形下,單位提出與員工解除勞動合同的非自行離職的情況下,可索要 N+1 月工資的補償:N 為在職年限,不足一年但超過半年,則按一年算;1 為辭退員工需要提前一個月通知,否則需要補償 1 個月工資作為代通知金。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 作者:ThinkingKeep 鏈接:https://juejin.cn/post/7118954784853327903 細心的朋友應該會發現,最近,繼新浪微博之後,頭條、騰訊、抖音、知乎、快手、小紅書等各大平臺陸陸續續都上線了“網路用戶IP地址顯示功能”,境外用戶顯示的是國家,國內的用戶顯示的省 ...
  • 多商戶商城系統,也稱為B2B2C(BBC)平臺電商模式多商家商城系統。可以快速幫助企業搭建類似拼多多/京東/天貓/淘寶的綜合商城。 多商戶商城系統支持商家入駐加盟,同時滿足平臺自營、旗艦店等多種經營方式。平臺可以通過收取商家入駐費,訂單交易服務費,提現手續費,簡訊通道費等多手段方式,實現整體盈利。 ...
  • 1、前言 在自動化測試過程中經常需要進行初始化和後期處理等工作,如電商加購物車測試需要先登錄,測試完畢需要關閉瀏覽器等。Pytest提供了5種類型的setup和teardown的方法,具體如下: 模塊級別:setup_module,teardown_module 函數級別:setup_functio ...
  • 一、簡介 1.什麼是MyBatis MyBatis 是一款優秀的持久層框架 它支持自定義 SQL、存儲過程以及高級映射。 MyBatis 免除了幾乎所有的 JDBC 代碼以及設置參數和獲取結果集的工作。 MyBatis 可以通過簡單的 XML 或註解來配置和映射原始類型、介面和 Java POJO( ...
  • 在一個項目的開發過程中,通常伴隨著多套環境:本地環境 local、開發環境 dev、集成測試環境 test、用戶接受測試環境 uat、預生產環境 pre、生產環境 prod。本節的內容有些脫離真實企業開發,因為在真實的企業開發中,不會只開發一個獨立的服務,而是多個微服務。發展至今,雲原生也越來越普遍... ...
  • 《Python編程從入門到實踐》(第二版)免費下載地址~~ 內容簡介 · · · · · · 本書是針對所有層次Python讀者而作的Python入門書。全書分兩部分:第一部分介紹用Python編程所必須瞭解的基本概念,包括Matplotlib等強大的Python庫和工具,以及列表、字典、if語句、 ...
  • 首先你需要安裝RabbitMQ,安裝教程可百度查下資料即可,不做贅述,敬請諒解 啟動RabbitMQ RabbitMQ可以算是一個非同步消息隊列,在實際的開發項目中,一般是以工具模塊的方式創建,像一些SpringBoot工程所需要的基本依賴都是會有的 說明:關鍵在於誰是消息的生產者、消息的消費者;另外 ...
  • 很多小伙伴都喜歡小游戲源碼,想學一手Python做小游戲,問我做游戲難不難,要怎麼做,接下來我就介紹一下,如何用Python做游戲。 游戲演示 2048小游戲 表白彈窗 貪吃蛇 五子棋 俄羅斯方塊 超多小游戲,讓你一個爽個夠! 用PyGame做游戲非常簡單,我們今天第一篇文章,讓大家實現一個可以在地 ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 1.講故事 在分析的眾多dump中,經常會遇到各種奇葩的問題,僅通過dump這種快照形式還是有很多問題搞不定,而通過 perfview 這種粒度又太粗,很難找到問題之所在,真的很頭疼,比如本篇的 短命線程 問題,參考圖如下: 我們在 t2 時刻抓取的dump對查看 短命線程 毫無幫助,我根 ...
  • 在日常後端Api開發中,我們跟前端的溝通中,通常需要協商好入參的數據類型,和參數是通過什麼方式存在於請求中的,是表單(form)、請求體(body)、地址欄參數(query)、還是說通過請求頭(header)。 當協商好後,我們的介面又需要怎麼去接收這些數據呢?很多小伙伴可能上手就是直接寫一個實體, ...
  • 許多情況下我們需要用到攝像頭獲取圖像,進而處理圖像,這篇博文介紹利用pyqt5、OpenCV實現用電腦上連接的攝像頭拍照並保存照片。為了使用和後續開發方便,這裡利用pyqt5設計了個相機界面,後面將介紹如何實現,要點包括界面設計、邏輯實現及完整代碼。 ...
  • 思路分析 註冊頁面需要對用戶提交的數據進行校驗,並且需要對用戶輸入錯誤的地方進行提示! 所有我們需要使用forms組件搭建註冊頁面! 平時我們書寫form是組件的時候是在views.py裡面書寫的, 但是為了接耦合,我們需要將forms組件都單獨寫在一個地方,需要用的時候導入就行! 例如,在項目文件 ...
  • 思路分析 登錄頁面,我們還是採用ajax的方式提交用戶數據 唯一需要學習的是如何製作圖片驗證碼! 具體的登錄頁面效果圖如下: 如何製作圖片驗證碼 推導步驟1:在img標簽的src屬性里放上驗證碼的請求路徑 補充1.img的src屬性: 1.圖片路徑 2.url 3.圖片的二進位數據 補充2:字體樣式 ...
  • 哈嘍,兄弟們! 最近有許多小伙伴都在吐槽打工好難。 每天都是執行許多重覆的任務 例如閱讀新聞、發郵件、查看天氣、打開書簽、清理文件夾等等, 使用自動化腳本,就無需手動一次又一次地完成這些任務, 非常方便啊有木有?! 而在某種程度上,Python 就是自動化的代名詞。 今天就來和大家一起學習一下, 用 ...
  • 作者:IT王小二 博客:https://itwxe.com 前面小二介紹過使用Typora+PicGo+LskyPro打造舒適寫作環境,那時候需要使用水印功能,但是小二在升級LskyPro2.x版本發現有很多不如人意的東西,遂棄用LskyPro使用MinIO結合代碼實現自己需要的圖床功能,也適合以後 ...
  • OpenAI Gym是一款用於研發和比較強化學習演算法的工具包,本文主要介紹Gym模擬環境的功能和工具包的使用方法,並詳細介紹其中的經典控制問題中的倒立擺(CartPole-v0/1)問題。最後針對倒立擺問題如何建立控制模型並採用爬山演算法優化進行了介紹,並給出了相應的完整python代碼示例和解釋。要... ...
  • python爬蟲瀏覽器偽裝 #導入urllib.request模塊 import urllib.request #設置請求頭 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, l ...
  • 前端代碼搭建 主要利用的是bootstrap3中js插件里的模態框版塊 <li><a href="" data-toggle="modal" data-target=".bs-example-modal-lg">修改密碼</a></li> <div class="modal fade bs-exam ...