車牌識別系統(tǒng)采用高度模塊化的設(shè)計(jì)，將車牌識別過程的各個環(huán)節(jié)各自作為一個獨(dú)立的模塊，其系統(tǒng)框架如下所示。

　　1、車輛檢測跟蹤模塊

　　車輛檢測跟蹤模塊主要對視頻流進(jìn)行分析，判斷其中車輛的位置，對圖像中的車輛進(jìn)行跟蹤，并在車輛位置最佳時刻，記錄該車輛的特寫圖片，由于加入了跟蹤模塊，系統(tǒng)能夠很好地克服各種外界的干擾，使得到更加合理的識別結(jié)果，可以檢測無牌車輛并輸出結(jié)果。

　　2、車牌定位模塊

　　車牌定位模塊是一個十分重要的環(huán)節(jié)，是后續(xù)環(huán)節(jié)的基礎(chǔ)，其準(zhǔn)確性對整體系統(tǒng)性能的影響巨大。車牌系統(tǒng)完全摒棄了以往的算法思路，實(shí)現(xiàn)了一種完全基于學(xué)習(xí)的多種特征融合的車牌定位新算法，適用于各種復(fù)雜的背景環(huán)境和不同的攝像角度。

　　3、車牌矯正及精定位模塊

　　由于受拍攝條件的限制，圖像中的車牌總不可避免存在一定的傾斜，需要一個矯正和精定位環(huán)節(jié)來進(jìn)一步提高車牌圖像的質(zhì)量，為切分和識別模塊做準(zhǔn)備。使用精心設(shè)計(jì)的快速圖像處理濾波器，不僅計(jì)算快速，而且利用的是車牌的整體信息，避免了局部噪聲帶來的影響。使用該算法的另一個優(yōu)點(diǎn)就是通過對多個中間結(jié)果的分析還可以對車牌進(jìn)行精定位，進(jìn)一步減少非車牌區(qū)域的影響。

　　4、車牌切分模塊

　　車牌系統(tǒng)的車牌切分模塊利用了車牌文字的灰度、顏色、邊緣分布等各種特征，能較好地抑制車牌周圍其他噪聲的影響，并能容忍一定傾斜角度的車牌。這一算法有利于類似移動式稽查這種車牌圖像噪聲較大的應(yīng)用。

　　5、車牌識別模塊

　　在車牌識別系統(tǒng)中，通常采用多種識別模型相結(jié)合的方法來進(jìn)行車牌識別，構(gòu)建一種層次化的字符識別流程，可有效地提高字符識別的正確率。另一方面，在字符識別之前，使用計(jì)算機(jī)智能算法對字符圖像進(jìn)行前期處理，不僅可盡可能保留圖像信息，而且可提高圖像質(zhì)量，提高相似字符的可區(qū)分性，保證字符識別的可靠性。

　　6、車牌識別結(jié)果決策模塊

　　識別結(jié)果決策模塊，具體地說，決策模塊利用一個車牌經(jīng)過視野的過程留下的歷史記錄，對識別結(jié)果進(jìn)行智能化的決策。其通過計(jì)算觀測幀數(shù)、識別結(jié)果穩(wěn)定性、軌跡穩(wěn)定性、速度穩(wěn)定性、平均可信度和相似度等度量值得到該車牌的綜合可信度評價，從而決定是繼續(xù)跟蹤該車牌，還是輸出識別結(jié)果，或是拒絕該結(jié)果。這種方法綜合利用了所有幀的信息，減少了以往基于單幅圖像的識別算法所帶來的偶然性錯誤，大大提高了系統(tǒng)的識別率和識別結(jié)果的正確性和可靠性。

　　7、車牌跟蹤模塊

　　車牌跟蹤模塊記錄下車輛行駛過程中每一幀中該車車牌的位置以及外觀、識別結(jié)果、可信度等各種歷史信息。由于車牌跟蹤模塊采用了具有一定容錯能力的運(yùn)動模型和更新模型，使得那些被短時間遮擋或瞬間模糊的車牌仍能被正確地跟蹤和預(yù)測，最終只輸出一個識別結(jié)果。

　　8、在線學(xué)習(xí)模塊

　　在以上各個模塊中，使用了大量基于學(xué)習(xí)的算法，系統(tǒng)特別添加在線學(xué)習(xí)模塊，采用最新的反饋型學(xué)習(xí)模型，利用決策模塊和跟蹤模塊得到的車牌質(zhì)量、車輛軌跡、速度等反饋信息，智能化地更新一些算法參數(shù)，使得系統(tǒng)能快速適應(yīng)新的應(yīng)用環(huán)境。該算法作為已有算法的一個有力補(bǔ)充，將進(jìn)一步提高系統(tǒng)性能。