今日頭條
官方微信
官方抖音
資訊頻道 如何讓計(jì)算機(jī)認(rèn)識人、認(rèn)識字、認(rèn)識圖,而且不會(huì)認(rèn)錯(cuò),這個(gè)中華文化在現(xiàn)代新技術(shù)條件下傳承發(fā)展的難關(guān),被清華大學(xué)丁曉青教授帶領(lǐng)的智能圖文信息處理研究室攻克了。他們賦予了計(jì)算機(jī)與人相似的“識圖認(rèn)字”能力與“視覺感知”功能,成為世界這一領(lǐng)域的領(lǐng)跑者。
攀登智能文字識別之巔
2008年,有一套大型出版物問世:總計(jì)19億漢字,全套132卷,這就是《人民日報(bào)圖文電子版縮印本(1946—2006)》。它的文字量遠(yuǎn)遠(yuǎn)超過約8.9億字的《四庫全書》,而電子版卻凝縮在19張DVD光盤中。這是由青蘋果數(shù)據(jù)中心應(yīng)用丁曉青教授自主研發(fā)的“THOCR基于識別的原文重現(xiàn)系統(tǒng)”歷時(shí)5年制作完成的。
丁曉青拿出其中一本告訴記者:“它是經(jīng)版面分析、識別、理解,最后自動(dòng)精確重構(gòu)為原式原樣的標(biāo)準(zhǔn)格式電子出版物,實(shí)現(xiàn)了文本和版面數(shù)據(jù)的雙平臺閱讀、檢索、下載和打印功能。”青蘋果數(shù)據(jù)中心在清華大學(xué)文字識別技術(shù)的支持下,已經(jīng)完成幾百種報(bào)紙、文獻(xiàn)、雜志的數(shù)字化,覆蓋中日韓文,達(dá)3500億萬字。
上世紀(jì)80年代,漢字能否進(jìn)入計(jì)算機(jī)成為關(guān)乎中華文化傳承的大問題。“當(dāng)時(shí)形勢非常嚴(yán)峻,如果不能實(shí)現(xiàn)這個(gè)突破,就只能使用拼音。我們中華民族的五千年文明,難道要在計(jì)算機(jī)時(shí)代敗下陣來?”責(zé)任心的驅(qū)使,讓丁曉青走進(jìn)了文字識別這一領(lǐng)域,一干就是20多年。
漢文字識別之難,莫過于讓計(jì)算機(jī)認(rèn)字,而且保證它不會(huì)認(rèn)錯(cuò)字。當(dāng)時(shí)的研究者往往采用提取漢字筆劃的結(jié)構(gòu)識別方法,但是,筆劃提取和結(jié)構(gòu)描述十分困難,有限筆劃和特征的漢字描述,無法獲得必要的識別信息量。字型一旦出現(xiàn)細(xì)微差別,固執(zhí)的計(jì)算機(jī)就會(huì)翻臉不認(rèn)“字”。
在經(jīng)歷了拆筆劃識別算法等嘗試后,丁曉青獨(dú)辟蹊徑,提出模式識別信息熵理論,最早成功解決了多字體印刷漢字識別這一難題。簡單地說,就是讓計(jì)算機(jī)通過圖像來進(jìn)行“全局性”認(rèn)字,就和我們認(rèn)字往往憑借視覺的感知一樣,讓計(jì)算機(jī)也懂得通過對文字整體結(jié)構(gòu)的判斷來認(rèn)字。多字體印刷漢字識別系統(tǒng)獲1992年國家科技進(jìn)步獎(jiǎng)三等獎(jiǎng)。
隨后,他們研發(fā)了高性能的綜合集成(印刷、脫機(jī)手寫和聯(lián)機(jī)手寫)漢字識別系統(tǒng),獲1998年國家科技進(jìn)步二等獎(jiǎng),居于國際領(lǐng)先水平。難度最大的手寫文檔——如手寫報(bào)表、支票、信封地址,以及數(shù)碼相機(jī)拍攝的文字,都可以被計(jì)算機(jī)成功識別。高性能東方文字(中日韓)文檔智能全信息數(shù)字化系統(tǒng),獲2003年國家科技進(jìn)步二等獎(jiǎng),在國際競標(biāo)中奪標(biāo),授權(quán)美國微軟公司推廣使用。
丁曉青總是說,科研成果不應(yīng)束之高閣,而應(yīng)在實(shí)際應(yīng)用中大顯身手。自1992年以來,他們的研究成果迅速產(chǎn)業(yè)化。TH-OCR系列軟件產(chǎn)品已在自主版權(quán)軟件出口、增值稅發(fā)票防偽識別、電子出版物制作上發(fā)揮著重要的作用。其中,防偽稅控識別系統(tǒng)應(yīng)用于全國數(shù)萬稅務(wù)局、50萬企業(yè)用戶,有效防止了稅收流失。
神奇的人臉識別認(rèn)證
在丁曉青的工作室,她展示了主動(dòng)視頻人臉檢測—跟蹤—識別監(jiān)控系統(tǒng)。當(dāng)攝像頭對準(zhǔn)記者的時(shí)候,屏幕上會(huì)出現(xiàn)“stranger”(陌生人)的提示;當(dāng)對準(zhǔn)丁教授時(shí),屏幕上出現(xiàn)她的名字和基本信息。
人臉識別系統(tǒng)是這個(gè)團(tuán)隊(duì)多年的心血結(jié)晶。它能適應(yīng)人臉姿態(tài)、表情、飾物變化,包括人臉檢測、眼睛定位、姿態(tài)估計(jì)、活體檢測、三維人臉識別和人體跟蹤。2005年6月,集成了丁曉青研發(fā)的TH-FaceID人臉驗(yàn)證系統(tǒng)的“旅客自助查驗(yàn)通道”在世界第一大陸路口岸深圳羅湖口岸投入使用。目前,深圳、珠海、北京、上海、廣州等地的邊檢口岸共已開通了400多條自助通道,驗(yàn)放旅客超過2.5億人次,通過率98%,通關(guān)時(shí)間小于5秒/人。此舉節(jié)省了大量的人力物力,實(shí)現(xiàn)了旅客通關(guān)的自動(dòng)化、電子化和人性化,是世界人臉識別技術(shù)大規(guī)模成功應(yīng)用的范例。
目前,我國在人臉識別領(lǐng)域的研究已達(dá)到了國際領(lǐng)先水平。在2004年國際模式識別會(huì)議組織的國際高水平人臉驗(yàn)證國際評測中,清華大學(xué)研發(fā)的TH-FaceID,以全部三項(xiàng)評測均第一,測試誤差低于第二50%的極大優(yōu)勢,獲“全面性能最優(yōu)成就”獎(jiǎng)。他們研制的人臉識別系統(tǒng)參加國際工業(yè)界最權(quán)威的人臉識別測試FRVT2006,也取得了國際領(lǐng)先的成績,是全部性能優(yōu)于人眼認(rèn)證的領(lǐng)先算法。
說到人臉識別技術(shù)的應(yīng)用,丁曉青說:“凡是需要身份認(rèn)證的地方都可以利用該技術(shù)。人臉識別技術(shù)可以代替用賬號、密碼登錄計(jì)算機(jī)的方式,用戶只需在開機(jī)后看一下攝像頭,經(jīng)識別認(rèn)證就能成功登錄了;過海關(guān)不再需要專人來查驗(yàn)護(hù)照,只要刷一下卡,看一下攝像頭就可以了;另外還可以利用人臉識別技術(shù)查身份證的真?zhèn)巍⑾右煞覆樵儭⒐矆鏊舾腥宋锉O(jiān)控。”
人臉識別遠(yuǎn)程監(jiān)控報(bào)警系統(tǒng)等已經(jīng)成功應(yīng)用于北京、天津、石家莊等地鐵路公安系統(tǒng)、ATM機(jī)監(jiān)控系統(tǒng)、北京和西藏等機(jī)場、安全系統(tǒng)、技防系統(tǒng)以及2010年上海世博會(huì)籌備工作,即便被識別者采用了戴眼鏡、貼胡須等易容手段,系統(tǒng)也能準(zhǔn)確地判定識別。
首創(chuàng)多民族文字識別系統(tǒng)
我國的少數(shù)民族文字字形不規(guī)則、連筆書寫,文檔的切分識別遇到極大困難。據(jù)丁曉青介紹,少數(shù)民族文字信息化的困難主要集中在利用智能化模式識別技術(shù)解決文字和文檔自動(dòng)計(jì)算機(jī)輸入問題。讓電腦認(rèn)識少數(shù)民族文字,通過掃描儀把大量的蒙文、藏文、維文等民族文字輸入電腦,變成可以任意編輯、多次復(fù)制和能在網(wǎng)絡(luò)上快速傳播的電子文檔,這是少數(shù)民族文字實(shí)現(xiàn)信息化的關(guān)鍵。
這有相當(dāng)大的難度。由于民族文字信息化基礎(chǔ)薄弱,有的民族文字的基本字符集合和字符編碼標(biāo)準(zhǔn)尚不完善,相關(guān)語言資源庫較為匱乏,在收集用于訓(xùn)練識別器的字符樣本、用于測試的標(biāo)準(zhǔn)實(shí)際文檔樣本庫、以及用于建立語言模型的語料庫、詞典庫方面都要付出更多努力。
歷時(shí)8年,歷盡艱辛。在丁曉青團(tuán)隊(duì)的努力下,計(jì)算機(jī)終于能夠認(rèn)出在我們看來像“天書”一般的少數(shù)民族文字。丁曉青提出的蒙藏維哈柯朝多民族語言的、基于不同字符基元的切分和基元統(tǒng)計(jì)識別方法,解決了困難的多民族文檔識別問題,實(shí)現(xiàn)了統(tǒng)一支持漢、英、日、韓、阿、蒙、藏、維、哈、柯、朝等主要文字文檔識別綜合系統(tǒng)。他們研制的“統(tǒng)一平臺民族文字(蒙藏維哈柯朝)文檔識別系統(tǒng)”獲2008年“錢偉長中文信息處理科學(xué)技術(shù)獎(jiǎng)”一等獎(jiǎng)——中文信息處理領(lǐng)域最高科技獎(jiǎng)。該系統(tǒng)實(shí)現(xiàn)了將蒙古文等六種少數(shù)民族文字的紙質(zhì)出版物轉(zhuǎn)換成電子出版物,文檔識別綜合集成在統(tǒng)一的平臺系統(tǒng)中,不再依靠人工錄入,印刷文檔的掃描圖像就會(huì)自動(dòng)生成可編輯檢索的電子文檔。
目前,這一系統(tǒng)已在北京、西藏、新疆、內(nèi)蒙古、甘肅、四川、青海、云南等地推廣應(yīng)用。它對于促進(jìn)少數(shù)民族的文化交流,促進(jìn)我國少數(shù)民族地區(qū)的信息化建設(shè)以及促進(jìn)我國與阿拉伯國家的合作、交流,都具有重要意義。
北京市公安局海淀分局備案號：11010802023656號