【需求：】數據從競品網站爬過來，經過分析處理之後，把結果通過網頁實時反饋給業務人員。 【應用：】2個應用： 一個是爬取數據的應用：不斷從競品網站爬數據，每次爬到的數據為一批。然後，對每一批爬到的數據進行清洗和分析，生成唯一批次號（batch_no），將分析結果持久化入庫。 一個是展示頁面：實時刷新持 ...
【需求：】數據從競品網站爬過來，經過分析處理之後，把結果通過網頁實時反饋給業務人員。
【應用：】2個應用：
- 一個是爬取數據的應用：不斷從競品網站爬數據，每次爬到的數據為一批。然後，對每一批爬到的數據進行清洗和分析，生成唯一批次號（batch_no），將分析結果持久化入庫。
- 一個是展示頁面：實時刷新持久化的分析結果。
【起初方案】見如下visio流程圖。
缺點很明顯：網頁一直刷庫。這樣，數據表會存在頻繁讀寫，db壓力大。
【改造方案】藉助redis。見如下visio流程圖。
