我國目前並未出台專門針對網路爬蟲技術的法律規範，但在司法實踐中，相關判決已屢見不鮮，K 哥特設了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規利用爬蟲技術，警鐘長鳴，做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...
我國目前並未出台專門針對網路爬蟲技術的法律規範，但在司法實踐中，相關判決已屢見不鮮，K 哥特設了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規利用爬蟲技術，警鐘長鳴，做一個守法、護法、有原則的技術人員。
案情介紹
深圳市快鴿互聯網科技有限公司 2014 年成立，早期做互聯網金融，2017 年轉型做互聯網科技公司，主營業務是“助貸”，也就為按揭貸款購房的客戶提供贖樓及債務置換貸款等服務。
公司的業務需要經常性地訪問深圳市政府居住證網站，查詢房產地址、房屋編碼和學區房的使用情況，用於做房產的市場評估和客戶風險評估。因為手動查詢效率低下，公司產品組經討論後提出了一個建議——用爬蟲技術自動查詢。
2017 年 12 月，CTO 安排新入職的程式員負責這個項目，要求他研發一個自動定時抓取的小程式，主要用來查詢、下載網上的數據。
2018 年 1 月，項目經理給程式員一個抓取數據的小程式源代碼，程式員開始修改。
2018 年 3 月，程式被部署在阿某雲伺服器上自動運行，其內置的“網路爬蟲”對接了深圳市公安局人口管理處的居住證系統，可以在深圳市居住證網站上查詢到房產地址、房屋編碼等對應的資料，軟體對網站訪問量能達到每小時數十萬次，查詢的信息都被下載保存到公司購買的阿某雲伺服器上。
2018 年 4 月 27 日 10:43-12:00 左右，居住證系統的承建單位發現系統出現宕機現象，追蹤到請求應用伺服器埠編號，但因日誌缺失而無法定位 IP 來源，當時懷疑是人為攻擊。
2018 年 5 月 2 日 10:00-12:00 左右，系統再次遭遇攻擊，這次管理人員成功地截取了 IP 地址並報案。
2018 年 5 月 17 日晚上 11 點，伺服器維護人員接到了阿某雲客服的電話。阿某雲說他們公司的伺服器 IP 被網警鎖定了，因有攻擊行為，讓他們趕緊聯繫網警。
2018 年 8 月，CTO、程式員被捕。
案發時，深圳市居住證服務平臺的註冊用戶超過 530 萬，服務麵包括：所有市民的網上自助受理系統、151個派出所、街道辦居住證受理點的現場受理系統、後臺介面為市網格辦、市交警局、市民政局，市交委等多個政府部門提供居住證、居住登記條件查詢和審核。
居住證系統受攻擊癱瘓期間，軟體對深圳市居住證系統查詢訪問量為每秒 183 次，共計查詢信息約 151 萬條次，抓取了大量建築物編碼數據，造成政府信息泄漏；所有居住證辦理、居住登記申報、信息查詢、對外服務功能均無法正常工作，影響面極廣，市民無法辦理居住證和居住登記，相關生產生活秩序受到嚴重影響。除了此次攻擊，還有一些派出所出具證明證實 5 月期間經常出現系統無法登陸，錄入過程頻繁出現掉線、系統數據異常等情況。居住證系統無法正常使用、出現異常情況的時間長達一個多月。
供述情況
CTO 的部分供述和辯解：我司查詢並下載深圳市居住證網上的數據信息沒有進行市場買賣，沒有跟其他公司進行資源置換，也沒有通過查詢信息行為獲利。我不清楚這款爬蟲軟體對深圳市居住證網站及系統造成的影響、深圳市居住證網站及系統的承載能力、爬蟲軟體的具體的啟動和部署情況，但我知道從技術上來講如果超過伺服器承載能力的查詢肯定會引起系統卡頓或癱瘓，所以我口頭要求註意查詢時間、控制查詢頻率，我司並無任何惡意去主觀進行攻擊。
程式員的部分供述和辯解：抓取數據的原程式是誰研發的我不知道，當時我接到這個任務時，是公司領導把源代碼給我後讓我修改的。這個程式查詢信息的頻率我不清楚，共查詢多少條信息我也不清楚，我沒有因查詢深圳市居住證網站的信息而獲利，這是我的工作任務。
判決情況
法院認為，被告人楊傑明、張國棟違反國家規定，對電腦信息系統功能進行干擾，造成為 5 萬以上用戶提供服務的電腦信息系統不能正常運行累計 1 小時以上，後果特別嚴重，其行為已構成破壞電腦信息系統罪。
CTO 負責並授權程式員開發涉案爬蟲軟體，系主犯，判處有期徒刑三年；程式員受指派開發爬蟲軟體，在共同犯罪中起次要作用，系從犯，判處有期徒刑一年六個月。
反思總結
- 爬蟲程式日誌記錄、監控告警的重要性：本案中，在被捕之前就有過一次目標網站宕機的情況，這時候請求成功率、數據量大小、目標網站伺服器的響應情況等肯定會出現異常，正確的做法是有一定的告警策略，連續出現多少次無數據、目標網站訪問異常的時候，就應該告警通知到程式員，特別是政府網站，本案中的程式顯然沒有這些功能，導致程式員未能及時發現問題併進行處理，要知道這次對方運維人員並沒有成功定位到 IP，及時處理完全可以避免成為“爬蟲牢玩家”，給過一次機會都把握不住，警察上門才知道釀成大禍，到那時候一切都晚了。
- 爬蟲代碼的健壯性：根據本案中程式員的供述，目標網站更新了驗證碼登錄的功能，但是程式並沒有針對這種情況做處理，也沒有及時更新，導致程式出現死迴圈，進而導致短時間內出現了大量請求，這就體現了代碼健壯性的重要性，在編寫程式時就要綜合考慮到可能出現的情況，檢測到某個介面異常，無法拿到正確的數據，重試是正常的，但不能任何情況都重試，也不能一直重試出現死迴圈的情況，應該有合理的規則，合理的重試次數，超過設定的次數就應該告警並停止程式的運行，一部分程式員喜歡直接暴力使用
try except語句直接捕獲所有異常，然後except里就直接重試，正確的做法是針對不同可能出現的異常做不同處理，取值異常應該怎麼處理，連接異常應該怎麼處理等等。 - 避免單一真實 IP 採集：本案中的程式使用一個固定 IP 採集了約 151 萬條次的數據信息，很顯然目標網站沒有封 IP 的策略，但這並不意味著我們程式就不用使用代理，當然使用代理，也得建立在合法合規的請求之上，部分代理商也會協助你判斷請求是否合規，完善的請求統計也能幫助你判斷是否出現異常情況。
- 爬蟲頻率控制：本案中，造成目標伺服器宕機時，程式的併發是每秒 183 次，在普通的爬蟲程式中這點兒併發確實不是很大，但要註意的是，目標網站是政府網站，尤其是地方政府的專屬職能系統，這些網站在軟硬體上都不會投入太多資源，加上該網站為151個派出所、街道辦等多個部門提供服務，某個時刻可能會出現多個部門同時大量處理事務的情況，再加上你的爬蟲程式，伺服器撐不住很正常，案例中程式設置了凌晨1時至2時進行採集是比較正確的做法，政府網站降低頻率、錯峰採集，一定程度上也能避免爬宕機的情況。
- 對需求的風險評估及把控不足：CTO 自述中表明意識到這麼操作會破壞深圳市公安局居住證服務平臺，但是為了方便以後的查詢，就著急著去做了，沒有考慮那麼多的後果。也就是在明知道可能存在風險的情況下，還未對該需求進行嚴格的監管，正因為抱有僥幸心理，為以後埋下了“定時炸彈”。正確的做法應當是做細緻嚴謹的規劃，研究該需求的合理性，再考慮要不要下發實施，而程式員也沒對下發需求做可行性分析，拿著需求和基礎代碼就去做了，還未進行監控管理，這提醒我們立項時多問一句“我們這麼做有沒有風險”沒壞處，特別是爬蟲工程師們要多對需求進行理性分析，隱患大的需求該拒絕就拒絕，畢竟有些事看起來是“集體”的決策最後往往並不是集體買單，如果公司因此威脅辭退你，那趕緊拿錢跑路，這種公司遲早得出問題！
- 溫馨提醒：以上案例提醒我們，在工作中碰到類似情況後，建議在事前咨詢公司法務或者專業人士，不要想當然，不要自以為是。謹記一點，公司是老闆的，自由是自己的，法律是不容觸犯的！
友情提示之公司辭退員工補償標準：
《勞動合同法》第47條規定：
1、經濟補償按勞動者在本單位工作的年限每滿一年支付一個月工資的標準向勞動者支付；
2、六個月以上不滿一年的，按一年計算；
3、不滿六個月的，向勞動者支付半個月工資的經濟補償，月工資是指勞動者在勞動合同解除或者終止前十二個月的平均工資。
合同未到期，員工無過錯情形下，單位提出與員工解除勞動合同的非自行離職的情況下，可索要 N+1 月工資的補償：N 為在職年限，不足一年但超過半年，則按一年算；1 為辭退員工需要提前一個月通知，否則需要補償 1 個月工資作為代通知金。
