協同辦公衍生出的需求 1.業務需求 1.1.流程 先說業務流程: 現在辦公基本上都是諸如 之類的線上office來協同辦公,然後所有的線上文檔會有一份本地文件用來存儲和數據分析 1.2.需求 需求是這樣的: 希望企業系統和文職人員以及分析部能夠共同管理這些Excel表格,但不想耗費資源去開發OA之類 ...
協同辦公衍生出的需求
1.業務需求
1.1.流程
先說業務流程:
現在辦公基本上都是諸如TIM
之類的線上office來協同辦公,然後所有的線上文檔會有一份本地文件用來存儲和數據分析
1.2.需求
需求是這樣的:
希望企業系統和文職人員以及分析部能夠共同管理這些Excel表格,但不想耗費資源去開發OA之類的系統,希望開發部想辦法
先簡單拆分一下:
- 文職人員線上編輯
- 分析師需要CSV文件來分析數據
- 開發人員需要存儲到DB中供內網系統使用
1.3.思路
再說下思路:
線上文檔本地離線存儲比較簡單,看下更新時間然後覆蓋存儲即可(數據的產生主要是文職人員)
以前看到Excel表格一般都是使用NPOI
定時讀寫文件系統裡面的共用Excel文件,然後存到DB中,最後生成CSV文件交給分析部就行了
- PS:
麻煩的是增量寫入DB
前段時間給大家講MySQL的時候(草稿寫到存儲引擎這塊),突然想到了CSV存儲引擎
,這不完美符合業務需求嗎?
於是就有了這篇文章:
2.基礎知識
2.1.概念
CSV存儲引擎:以文本方式存儲在文件中(innodb
是二進位文件)
- frm(表結構)、CSV(表內容)、CSM(表狀態、數據量等)
- PS:一般都是作為中間表,不適合大表
2.2.CSV特點
- 以CSV格式進行數據存儲(逗號分隔)
- 所有列都不能為NULL
- 不支持索引(不適合大表),不支持自增長
- 可以對數據文件直接編輯(保存文本文件內容)
3.簡單解決
存儲線上文檔的時候保存為CSV文件,建表的時候使用CSV存儲引擎,然後定時刷新下表(flush tables
)就可以數據同步了(或者使用前,讓程式自動執行下刷新表操作)
3.1.摸擬場景
先摸擬下場景:
create database if not exists onlinedoc charset utf8;
-- PS:添加許可權:`grant all privileges on 資料庫.* to 用戶名@"%" identified by "密碼";`並刷新`flush privileges;`
use onlinedoc;
-- 創建摸擬表
create table if not exists day_total
(
id int unsigned not null default 0,
title varchar(50) not null default '',
shopee_count int unsigned not null default 0,
whish_count int unsigned not null default 0,
ebay_count int unsigned not null default 0,
amazon_count int unsigned not null default 0,
total_count int unsigned not null default 0,
actual_count int unsigned not null default 0,
`date` date not null, -- 只需要年月日
remark varchar(500) not null default ''
)
engine = 'csv', -- 引擎
character set utf8, -- 字元集
collate utf8_general_ci; -- 排序規則
-- 插入摸擬數據
insert into day_total(id, title, shopee_count, whish_count, ebay_count, amazon_count, total_count, actual_count, `date`,
remark)
values (1, '2019-02-03日銷售統計', 14310, 7889, 581, 9812, 32592, 32579, '2019-02-03', '有13件未走單'),
(2, '2019-02-04日銷售統計', 1200, 6930, 1304, 612, 10046, 10059, '2019-02-04', '補發昨天13件'),
(3, '測試', 1, 1, 1, 1, 4, 4, '2018-01-01', '');
3.2.一些測試
1.基本操作測試
除了索引之類的不支持,其他的基本上都是支持的(包括事物)
select title, total_count, actual_count, `date`, remark
from day_total;
update day_total
set remark='有13件沒有發貨'
where date = '2019-02-03';
delete from day_total where id=3;
create view view_day_total_mini as
select title, total_count, actual_count, `date`, remark
from day_total;
select * from view_day_total_mini;
begin;
drop view view_day_total_mini;
commit;
2.可行性測試
1.分配刷新表的許可權
PS:賦予用戶刷新表的許可權:grant reload on *.* to '用戶名'@'%';
並刷新flush privileges;
2.先看看csv文件
3.手動添加1條數據(雙引號包裹字元串)
3,"2019-02-05日銷售統計",1100,2130,304,1410,4944,4944,"2019-02-04",""
4.測試一下
PS:CSV存儲引擎一般都是當中間商
完~