最近鴿了挺久的,因為最近要做課設,再加上被這個工程的調試給難到了。 在做該工程的時候,有一個良好的項目管理習慣會讓開發的時候不會讓人那麼的高血壓。 特別要註意的是,非同步FIFO的讀寫時鐘的速率匹配問題,這個問題卡了我好久。 1、sobel運算元 Sobel 演算法是像素圖像邊緣檢測中最重要的運算元之一,在 ...
最近鴿了挺久的,因為最近要做課設,再加上被這個工程的調試給難到了。
在做該工程的時候,有一個良好的項目管理習慣會讓開發的時候不會讓人那麼的高血壓。
特別要註意的是,非同步FIFO的讀寫時鐘的速率匹配問題,這個問題卡了我好久。
1、sobel運算元
Sobel 演算法是像素圖像邊緣檢測中最重要的運算元之一,在機器學習、數字媒體、電腦
視覺等信息科技領域起著舉足輕重的作用。在技術上,它是一個離散的一階差分運算元,用來
計算圖像亮度函數的一階梯度之近似值。在圖像的任何一點使用此運算元,將會產生該點對應
的梯度矢量或是其法矢。
Sobel 邊緣檢測通常帶有方向性,可以只檢測豎直邊緣或垂直邊緣或都檢測。
實現步驟:
第一步:Sobel 提供了水平方向和垂直方向兩個方向的濾波模板。設 x 方向和 y 方向
的捲積因數分別為 Gx和 Gy,模板如下所示,A 為原圖像。
第二步:矩陣運算後,就得到橫向灰度值 Gx 和縱向灰度值 Gy,然後通過如下公式進
行計算出該點的灰度值:
這個運算比較複雜,涉及到平方和開根(FPGA 不擅長),可以採用取近似值計算方法,對
於最終結果影響不大
第三步:設置一個閾值 threshold,對數據進行比較然後輸出二值圖像
2、圖像灰度演算法
圖像數據中,含有RGB三種顏色的數據,如果一起處理的話,要很大的的運算量和位寬,為了減小運算量,可以將24位的RGB數據轉化為8位的灰度圖像。
雖然丟失了一些顏色等級,但是從整幅圖像的整體和局部的色彩以及亮度等級分佈特征來看,灰度圖描述與彩色圖的描述是一致的。一般有分量法、最大值法、平均值法、加權平均法四種方法對彩色圖像進行灰度化。
然後本次採用的是平均值法。
將彩色圖像中的三分量亮度求平均得到一個灰度值。如下:
上式中有除法,考慮到在 FPGA 中實現除法比較的消耗資源,這裡在實現前可以先做
如下的近似處理。可以將上面公式乘以 3/256,這樣就需要同時乘以 256/3 保證公式的正確
性。公式處理過程如下:
對 256/3 做近似取整處理,將 256/3 替換成 85,則公式變為如下。
這樣式子中除以 256 就可以採用移位方法來處理,式子變為如下:
上面處理過程中使用是對 256/3 的近似處理,當然這裡可以採用其他數據,比如
512/3、1024/3、2048/3 等等,基本的原則是將平均公式法中分母的 3 替換成 2 的冪次的
數,這樣除法就可以使用移位的方式實現,減小 FPGA 中由於存在除法帶來的資源消耗。
3、sobel演算法的實現
該工程用到的運算元需要三行數據才能進行,我們可以先緩存兩行數據,然後接下來的輸入數據加上之前緩存的兩行的數據就是三行數據了,示意圖如下:
緩存區像移位寄存器一樣,一個周期輸入一個數據和輸出一個數據,可以用xilinx的RAM-base Shift Register IP核來實現。
但上面僅實現31的模板,要實現33的模板可在每行輸出串聯三組寄存器,以下是示意圖:
然後我們就可以取寄存器組裡面的值進行Sobel 演算法的實現了。
4、sobel演算法模塊
本模塊需要
- 1個16位寬1024深度的非同步FIFO
- 2個16位寬1024深度的同布FIFO
- 2個8位寬400深度RAM-base Shift Register IP核
sobel_core_v1_0.v
`timescale 1ns / 1ps
//////////////////////////////////////////////////////////////////////////////////
// Company: GDUT
// Engineer: Lclone
//
// Create Date: 2023/03/27 22:04:23
// Design Name: sobel_core
// Module Name: sobel_core
// Project Name: sobel_core
// Target Devices:
// Tool Versions:
// Description:
//
// Dependencies:
//
// Revision:
// Revision 0.01 - File Created
// Additional Comments:
//
//////////////////////////////////////////////////////////////////////////////////
module sobel_core_v1_0
# ( parameter LINE_LENGTH = 800, //行長度
parameter LINE_NUM = 480) //場長度
(
//------系統介面---------
input m_clk, //主時鐘
input rst_n, //複位信號
//------攝像頭介面-------
input pclk, //像素時鐘
input [15:0] cam_data, //圖像數據輸入
input data_valid, //數據有效
//------maxis介面--------
input m_axis_tready,
output reg m_axis_tvalid,
output [15:0] m_axis_tdata,
output reg m_axis_tlast,
output m_axis_tuser
);
//------------------cam_fifo的信號-----------------------------
reg cam_fifo_data_rd_en; //cam_fifo 讀使能
reg cam_fifo_data_rd_en_r;
wire [15:0] cam_fifo_data_out; //cam_fifo讀出數據
wire [ 9:0] rd_data_count; //cam_fifo讀出計數
//------------------圖像灰度演算法的信號------------------------
wire [ 9:0] sum;
reg [15:0] gray_r;
wire [ 7:0] gray_8b_o;
reg gray_valid;
//-------------------sbole模塊信號----------------------------
wire [ 7:0] filter_data_out;
wire filter_data_valid;
//-------------------兩個同步fifo的信號-----------------------
wire [15:0] fifo_data0;
wire [15:0] fifo_data1;
wire [ 9:0] fifo_data_count0;
wire [ 9:0] fifo_data_count1;
reg [ 9:0] out_data_count;
reg fifo_flag;
//-------------------場計數信號-------------------------------
reg [ 8:0] line_cnt;
reg line_end;
//------------------------------------------------------------
reg m_axis_act; //m_axis活動信號
always@(posedge m_clk or negedge rst_n) begin
if(rst_n == 0)
cam_fifo_data_rd_en <= 0;
else if(rd_data_count >= LINE_LENGTH/2)//當cam_fifo里的數據大於400個的時候,就進行讀取
cam_fifo_data_rd_en <= 1;
else if(rd_data_count <= 2) //當cam_fifo里的數據小於兩個的時候,就暫停讀取
cam_fifo_data_rd_en <= 0;
else
cam_fifo_data_rd_en <= cam_fifo_data_rd_en;
end
always @(posedge m_clk) cam_fifo_data_rd_en_r <= cam_fifo_data_rd_en; //延一拍,作為寫入同步fifo的寫信號
always@(posedge m_clk or negedge rst_n) begin
if(rst_n == 0)
m_axis_act <= 0;
else if(fifo_data_count0 >= LINE_LENGTH/2 - 1 ) //當同步fifo0的數據有400個的時候就使axi_stream介面活動
m_axis_act <= 1;
else if(fifo_data_count1 <= 1 )//當同步fifo1的數據小於1個的時候就使axi_stream介面暫停活動
m_axis_act <= 0;
else
m_axis_act <= m_axis_act;
end
always@(posedge m_clk) m_axis_tvalid <= m_axis_act;//延一拍作為tvalid信號與數據同步
always@(posedge m_clk or negedge rst_n) begin//每行數據的最後一個拉高tlast信號
if(rst_n == 0)
m_axis_tlast <= 0;
else if(out_data_count == LINE_LENGTH - 2 & m_axis_tvalid)
m_axis_tlast <= 1;
else
m_axis_tlast <= 0;
end
always@(posedge m_clk or negedge rst_n) begin//場計數器,為給出幀同步信號而設置的。
if(rst_n == 0)
line_cnt <= 0;
else if(line_cnt == LINE_NUM - 1 & out_data_count == LINE_LENGTH - 1)
line_cnt <= 0;
else if(out_data_count == LINE_LENGTH - 1)
line_cnt <= line_cnt + 1'b1;
else
line_cnt <= line_cnt;
end
always@(posedge m_clk or negedge rst_n) begin//輸出計數器,為給出tlast,切換fifo,給出幀同步信號而設置的。
if(rst_n == 0)
out_data_count <= 0;
else if(out_data_count == LINE_LENGTH - 1)
out_data_count <= 0;
else if(m_axis_tvalid & m_axis_tready)
out_data_count <= out_data_count + 1'b1;
else
out_data_count <= out_data_count;
end
always@(posedge m_clk or negedge rst_n) begin
if(rst_n == 0)
line_end <= 0;
else if(line_cnt == LINE_NUM - 1 & out_data_count == LINE_LENGTH - 1)
line_end <= 1;
else
line_end <= 0;
end
assign m_axis_tuser = (out_data_count == 0 & m_axis_tvalid & m_axis_tready & line_cnt == 0)? 1:0; //每個幀的第一個數據拉高tuser,也就是幀同步信號
//-------------------------------------------圖像灰度演算法------------------------------------------------------
assign sum = {cam_fifo_data_out[15:11],3'b0} + {cam_fifo_data_out[10:5],2'b0} + {cam_fifo_data_out[4:0],3'b0};
always@(posedge m_clk or negedge rst_n)
begin
if(rst_n == 0)
gray_r <= 16'd0;
else if(cam_fifo_data_rd_en_r)
gray_r <= (sum << 6)+(sum << 4)+(sum << 2)+ sum;
else
gray_r <= 16'd0;
end
assign gray_8b_o = gray_r[15:8];
always@(posedge m_clk)
begin
gray_valid <= cam_fifo_data_rd_en_r;
end
//------------------------------------------同步fifo的數據切換--------------------------------------------------
always@(posedge m_clk or negedge rst_n)
begin
if(rst_n == 0)
fifo_flag <= 0;
else if(out_data_count >= LINE_LENGTH - 1)
fifo_flag <= 0;
else if(out_data_count >= LINE_LENGTH/2 - 1)
fifo_flag <= 1;
else
fifo_flag <= fifo_flag;
end
assign m_axis_tdata = (fifo_flag) ? fifo_data1 : fifo_data0;
//----------------------------------------------------------------------------------------------------------
fifo_generator_1 cam_data_fifo (
.rst(~rst_n), // input wire rst
.wr_clk(pclk), // input wire wr_clk
.rd_clk(m_clk), // input wire rd_clk
.din(cam_data), // input wire [15 : 0] din
.wr_en(data_valid), // input wire wr_en
.rd_en(cam_fifo_data_rd_en), // input wire rd_en
.dout(cam_fifo_data_out), // output wire [15 : 0] dout
.full(), // output wire full
.empty(), // output wire empty
.rd_data_count(rd_data_count), // output wire [9 : 0] rd_data_count
.wr_rst_busy(), // output wire wr_rst_busy
.rd_rst_busy() // output wire rd_rst_busy
);
fifo_generator_0 fifo_generator_0_inst (
.clk(m_clk), // input wire clk
.srst(~rst_n), // input wire srst
.din(cam_fifo_data_out), // input wire [15 : 0] din
.wr_en(cam_fifo_data_rd_en_r), // input wire wr_en
.rd_en(~fifo_flag & m_axis_act & m_axis_tready), // input wire rd_en
.dout(fifo_data0), // output wire [15 : 0] dout //m_axis_tdata
.full(), // output wire full
.empty(), // output wire empty
.data_count(fifo_data_count0) // output wire [9 : 0] data_count
);
sobel_filter
#( .DATA_WIDTH(8))
sobel_filter_inst
(
.clk(m_clk),
.reset_p(~rst_n),
.data_in(gray_8b_o),
.data_in_valid(gray_valid),
.data_in_hs(1'b1),
.data_in_vs(1'b1),
.threshold(8'd127),
//--------------------------
.data_out(filter_data_out),
.data_out_valid(filter_data_valid),
.data_out_hs(),
.data_out_vs()
);
fifo_generator_0 fifo_generator_1_inst (
.clk(m_clk), // input wire clk
.srst(~rst_n), // input wire srst
.din({{5{filter_data_out[0]}},{6{filter_data_out[0]}},{5{filter_data_out[0]}}}),// input wire [15 : 0] din
.wr_en(filter_data_valid), // input wire wr_en
.rd_en(fifo_flag & m_axis_act & m_axis_tready), // input wire rd_en
.dout(fifo_data1), // output wire [15 : 0] dout
.full(), // output wire full
.empty(), // output wire empty
.data_count(fifo_data_count1) // output wire [9 : 0] data_count
);
endmodule
sobel_filter.v
`timescale 1ns / 1ps
module sobel_filter
#( parameter DATA_WIDTH = 8)
(
input clk,
input reset_p,
input [DATA_WIDTH - 1:0] data_in,
input data_in_valid,
input data_in_hs,
input data_in_vs,
input [DATA_WIDTH - 1:0] threshold,
//--------------------------
output reg [DATA_WIDTH - 1:0] data_out,
output data_out_valid,
output data_out_hs,
output data_out_vs
);
reg [DATA_WIDTH - 1:0] row0_col0;
reg [DATA_WIDTH - 1:0] row0_col1;
reg [DATA_WIDTH - 1:0] row0_col2;
reg [DATA_WIDTH - 1:0] row1_col0;
reg [DATA_WIDTH - 1:0] row1_col1;
reg [DATA_WIDTH - 1:0] row1_col2;
reg [DATA_WIDTH - 1:0] row2_col0;
reg [DATA_WIDTH - 1:0] row2_col1;
reg [DATA_WIDTH - 1:0] row2_col2;
wire [DATA_WIDTH - 1:0] line0_data;
wire [DATA_WIDTH - 1:0] line1_data;
wire [DATA_WIDTH - 1:0] line2_data;
reg data_in_valid_dly1;
reg data_in_valid_dly2;
reg data_in_valid_dly3;
reg data_in_hs_dly1;
reg data_in_hs_dly2;
reg data_in_hs_dly3;
reg data_in_vs_dly1;
reg data_in_vs_dly2;
reg data_in_vs_dly3;
wire Gx_is_positive;
wire Gy_is_positive;
reg [DATA_WIDTH+1:0] Gx_absolute; //high bit expansion 2bit
reg [DATA_WIDTH+1:0] Gy_absolute; //high bit expansion 2bit
always @(posedge clk or posedge reset_p) begin
if(reset_p) begin
row0_col0 <= 'd0;
row0_col1 <= 'd0;
row0_col2 <= 'd0;
row1_col0 <= 'd0;
row1_col1 <= 'd0;
row1_col2 <= 'd0;
row2_col0 <= 'd0;
row2_col1 <= 'd0;
row2_col2 <= 'd0;
end
else if(data_in_hs && data_in_vs)
if(data_in_valid) begin
row0_col2 <= line0_data;
row0_col1 <= row0_col2;
row0_col0 <= row0_col1;
row1_col2 <= line1_data;
row1_col1 <= row1_col2;
row1_col0 <= row1_col1;
row2_col2 <= line2_data;
row2_col1 <= row2_col2;
row2_col0 <= row2_col1;
end
else begin
row0_col2 <= row0_col2;
row0_col1 <= row0_col1;
row0_col0 <= row0_col0;
row1_col2 <= row1_col2;
row1_col1 <= row1_col1;
row1_col0 <= row1_col0;
row2_col2 <= row2_col2;
row2_col1 <= row2_col1;
row2_col0 <= row2_col0;
end
else begin
row0_col0 <= 'd0;
row0_col1 <= 'd0;
row0_col2 <= 'd0;
row1_col0 <= 'd0;
row1_col1 <= 'd0;
row1_col2 <= 'd0;
row2_col0 <= 'd0;
row2_col1 <= 'd0;
row2_col2 <= 'd0;
end
end
always @(posedge clk) begin
data_in_valid_dly1 <= data_in_valid;
data_in_valid_dly2 <= data_in_valid_dly1;
data_in_valid_dly3 <= data_in_valid_dly2;
data_in_hs_dly1 <= data_in_hs;
data_in_hs_dly2 <= data_in_hs_dly1;
data_in_hs_dly3 <= data_in_hs_dly2;
data_in_vs_dly1 <= data_in_vs;
data_in_vs_dly2 <= data_in_vs_dly1;
data_in_vs_dly3 <= data_in_vs_dly2;
end
assign data_out_valid = data_in_valid_dly3;
assign data_out_hs = data_in_hs_dly3;
assign data_out_vs = data_in_vs_dly3;
shift_register_2taps
#(
.DATA_WIDTH (DATA_WIDTH)
)
shift_register_2taps_inst
(
.clk (clk),
.shiftin (data_in),
.shiftin_valid (data_in_valid),
.shiftout (),
.taps1x (line1_data),
.taps0x (line0_data)
);
assign line2_data = data_in;
//----------------------------------------------------
// mask x mask y
//[-1,0,1] [ 1, 2, 1]
//[-2,0,2] [ 0, 0, 0]
//[-1,0,1] [-1,-2,-1]
//----------------------------------------------------
assign Gx_is_positive = (row0_col2 + row1_col2*2 + row2_col2) >=
(row0_col0 + row1_col0*2 + row2_col0);
assign Gy_is_positive = (row0_col0 + row0_col1*2 + row0_col2) >=
(row2_col0 + row2_col1*2 + row2_col2);
always @(posedge clk or posedge reset_p) begin
if(reset_p)
Gx_absolute <= 'd0;
else if(data_in_valid_dly1) begin
if(Gx_is_positive)
Gx_absolute <= (row0_col2 + row1_col2*2 + row2_col2) - (row0_col0 + row1_col0*2 + row2_col0);
else
Gx_absolute <= (row0_col0 + row1_col0*2 + row2_col0) - (row0_col2 + row1_col2*2 + row2_col2);
end
end
always @(posedge clk or posedge reset_p) begin
if(reset_p)
Gy_absolute <= 'd0;
else if(data_in_valid_dly1) begin
if(Gy_is_positive)
Gy_absolute <= (row0_col0 + row0_col1*2 + row0_col2) - (row2_col0 + row2_col1*2 + row2_col2);
else
Gy_absolute <= (row2_col0 + row2_col1*2 + row2_col2) - (row0_col0 + row0_col1*2 + row0_col2);
end
end
//----------------------------------------------------
//result
//----------------------------------------------------
always @(posedge clk or posedge reset_p) begin
if(reset_p)
data_out <= 1'b0;
else if(data_in_valid_dly2) begin
data_out <= ((Gx_absolute+Gy_absolute)>threshold) ? 1'b0 : 1'b1;
end
end
endmodule
5、模擬
模擬過程有複雜,調了許久,這裡暫不寫出。
6、上板驗證
本次還是在小梅哥的OV5640_TFT這個工程的基礎上進行修改,並將上面提到的模塊打包成IP核,在block design里進行鏈接。
(1)刪除紅框內的模塊
(2)修改OV5640_data_0 IP核
module OV5640_Data_v1_0(
Rst_n, //複位
PCLK, //像素時鐘
Vsync, //場同步信號
Href, //行同步信號
Data, //數據
DataValid, //數據有效信號
DataPixel, //像素數據
Frame_Clk //時鐘信號
);
input Rst_n; //複位
input PCLK; //像素時鐘
input Vsync; //場同步信號
input Href; //行同步信號
input [7:0]Data; //數據
output DataValid; //數據有效信號
output [15:0]DataPixel; //像素數據
output Frame_Clk;//時鐘信號
reg r_Vsync;
reg r_Href;
reg [7:0]r_Data;
reg [15:0]r_DataPixel;
reg r_DataValid;
reg [12:0]Hcount;
reg [11:0]Vcount;
reg [3:0]FrameCnt;
reg Dump_Frame;
assign DataPixel = Dump_Frame ? r_DataPixel : 24'd0;
assign DataValid = Hcount[0] & Dump_Frame;
//攝像頭時鐘使能
//assign Frame_Ce = ((Hcount[0]) || (!r_Href)) & Dump_Frame;//1'b1;//(r_DataValid & Dump_Frame)||(!r_DataValid);
//assign Frame_Ce = ((!Hcount[0]) || (!r_Href)) & Dump_Frame;//1'b1;//(r_DataValid & Dump_Frame)||(!r_DataValid);
//時鐘為像素時鐘
assign Frame_Clk = PCLK;
//打拍
always@(posedge PCLK)
begin
r_Vsync <= Vsync;
r_Href <= Href;
r_Data <= Data;
end
//行同步信號為1時,行計數器加一(行同步信號為0時歸零)
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
Hcount <= 0;
else if(r_Href)
Hcount <= Hcount + 1'd1;
else
Hcount <= 0;
//8位轉16位,賦予像素數據
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
r_DataPixel <= 0;
else if(~Hcount[0])
r_DataPixel <= {r_Data,Data};
else
r_DataPixel[7:0] <= r_Data;
//產生數據有效信號
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
r_DataValid <= 0;
else if(Hcount[0] && r_Href)
r_DataValid <= 1;
else
r_DataValid <= 0;
//行同步信號由0變為1時,列計數器加一(場同步信號為1時歸零)
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
Vcount <= 0;
else if(r_Vsync)
Vcount <= 0;
else if({r_Href,Href} == 2'b01)
Vcount <= Vcount + 1'd1;
else
Vcount <= Vcount;
//場同步信號由0變為1時,幀計數加一,最大為10
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
FrameCnt <= 0;
else if({r_Vsync,Vsync}== 2'b01)begin
if(FrameCnt >= 10)
FrameCnt <= 4'd10;
else
FrameCnt <= FrameCnt + 1'd1;
end
else
FrameCnt <= FrameCnt;
//當計數大於等於10幀時,Dump_Frame變為1,否則為0
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
Dump_Frame <= 0;
else if(FrameCnt >= 10)
Dump_Frame <= 1'd1;
else
Dump_Frame <= 0;
endmodule
(3)添加打包好的IP核,並建立連接
(4)修改SDK中的文件
將紅框中的寄存器的值改為圖片所示的值。即使攝像頭輸出400*480的圖像。
最後燒入程式,可觀察到如下結果
7、可改進的地方
可以加個按鍵來控制sobel演算法里的閾值。
(該隨筆部分介紹來自小梅哥的教材,侵權刪。)