人工智能是引領社會發展的戰略性技術,它在提升國家競爭力、維護國家安全、重塑行業發展新優勢等方面發揮著至關重要的作用。世界主要發達國家都已將人工智能作為一項重大戰略,2017我國政府工作報告指出要加快培育壯大包括人工智能在內的新興產業,并把人工智能領域建設上升為國家戰略層面。
人工智能的研究范疇包括自然語言處理、知識表現、智能搜索、推理、規劃、機器學習、知識獲取、組合調度問題、感知問題、模式識別、神經網絡等,實際應用領域包括機器視覺、指紋識別、人臉識別、視網膜識別、虹膜識別、掌紋識別、專家系統、自動規劃、智能搜索、定理證明、博弈、自動程序設計、智能控制、機器人學、圖像和語言理解、遺傳編程等。
人工智能早已遍布于我們的日常生活中,它已經成為經濟發展的新引擎、社會發展的加速器,人工智能技術正在滲透并重構生產、分配、交換、消費等經濟活動的各個環節,形成從宏觀到微觀各領域的智能化新需求、新產品、新技術、新業態,改變人類生活方式甚至社會結構,實現社會生產力的整體躍升。推動人工智能人才培養,推動人工智能理論發展,推動人工智能行業滲透逐漸成為現代高等教育在人工智能領域新的使命與任務。
與其他傳統技術不同,人工智能技術以市場驅動技術革新。2017年,人工智能在全國范圍內經歷了快速成長,從國家頂層規劃出臺,逐步延伸到各地人工智能創新創業的落地,以智能安防、智能金融、智能醫療、智能交通為代表的行業應用,已經成為熱門的創業和投資領域。人工智能市場將保持高速增長,BBC預估2020年全球AI市場規模約為1190億人民幣。目前,在國外科技巨頭如微軟、谷歌、Facebook 等積極布局人工智能領域的同時,國內各路互聯網資本巨頭如阿里、騰訊、百度、京東等也紛紛爭相切入到人工智能產業,充分展示了科技領頭羊對于未來市場的敏銳嗅覺。
近年來我國人工智能產業步入高速發展階段,在人工智能芯片、產品及服務等關鍵領域里涌現出一批優秀的企業,其中商湯科技、曠世科技等估值均已超過百億人民幣,成為推動人工智能發展的重要力量。
但是我國人工智能整體發展水平與發達國家相比仍存在著差距、缺少重大原創成果,在技術理論、核心算法以及關鍵設備、高端芯片等方面仍有差距,人工智能產業的競爭,說到底是人才和知識儲備的競爭。只有投入更多的科研人員,不斷加強基礎研究,才會獲得更多的智能技術。
2.設計思路
人工智能專業課程體系主要包括學科基礎課、專業基礎課、專業核心課程以及前景平臺及應用導向課程等,其中學科基礎課程主要包括數學類課程、計算機編程基礎類以及電子電路基礎等課程,而專業基礎課主要包括行業通用類技術的機器學習、Python語言與程序設計、人工智能基礎以及數據挖掘等課程,專業核心課程主要包括數字圖像處理、機器視覺、模式識別、自然語言處理、深度學習技術、人工神經網絡技術、博弈論等課程等,面向行業應用導向的前景平臺課程主要包括人工智能前沿技術、智能機器人、無人機等。
實驗室建設以該課程體系為基礎,著眼于學生基礎編程和算法能力的培養,同時依托外設模塊,對人工智能技術在相關領域的應用進行呈現,為學生提供一個集基礎編程、算法分析、應用實踐于一體的平臺。
DB-SD38 AI語音與機器視覺開發應用系統平臺
AI語音與機器視覺開發應用系統平臺是一款集成AI語音、機器視覺、深度學習、嵌入式Linux于一體的高端教學科研實驗平臺。
整個教學平臺由實驗箱高性能嵌入式主板夠成,高性能嵌入式核心板采用高性能64位ARM處理器,標配4GB DDR3內存和16GB閃存,可運行ubuntu、android、linuxqt等多種操作系統,可滿嵌入式linux和AI應用開發。
平臺采用多核高性能 AI 處理器,預裝 Ubuntu Linux 操作系統與 OpenCV 計算機視覺庫,支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學習端側推理框架。
提供多種應用外設與豐富的機器視覺、AI語音、深度學習實戰應用案例,如語音前處理(聲源定位、語音增強、語音降噪、回聲消除、聲音提取)、語音活體檢查、語音喚醒、語音識別、語音合成、自然語言處理、聲紋識別門鎖、語音智能家居、手寫字識別、人臉識別、目標檢測、端側推理框架、圖像識別、人體分析 、文字識別、人臉門禁控制、車牌道閘控制、手勢家居控制等,通過案例教學讓學生掌握計算機視覺與深度學習的基本原理和典型應用開發。
2.2.1. 嵌入式網關核心板
RK3399核心板是一款266-pin金手指形式高性能ARM計算機模塊,它采用了瑞芯微64位六核(包含雙核Cortex-A72 +四核Cortex-A53)Soc RK3399作為主處理器,標配4GB DDR3內存和16GB閃存,板載2×2 MIMO雙天線Wi Fi模組,尺寸只有69.6×50mm,模塊上帶有獨立的Typec供電接口,以及USB-C顯示接口。RK3399計算模塊具有豐富的外設和擴展接口,可以擴展使用雙MIPI寬動態攝像頭,另外它還帶有eDP顯示接口,MIPI顯示接口,1路USB3.0,2路USB2.0,以及12C,12S,SPI,PWM,GF10和串口等各種資源。RK3399可流暢運行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統,軟件資源和生態非常豐富,尤其是Android 8.1具有NN SDK神經網絡加速軟件包,Qt-5.10集成了VPU硬件編解碼,GPU圖形加速,可使用QML快速開發流暢的動態式界面,因此RK3399核心板非常適合做高端人臉識別,機器視覺,VR虛擬現實,自動駕駛,深度計算分析等方面的人工智能產品快速原型及產品開發。
硬件參數:
CPU |
SOC:RK3399 核心:64位雙核Cortex-A72 +四核Cortex-A53 頻率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz) |
GPU | Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC |
VPU | 4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc |
Memory | RAM: Dual-Channel 4GB DDR3 |
Storage | eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1 |
Power Management | RK808-D PMIC,配合獨立直流/直流,啟用dvf solfware省電,RTC喚醒,系統睡眠模式 |
Connectivity |
以太網:本機千兆以太網 wi - fi: 802.11 a / b / g / n / ac 藍牙:4.1雙模式 天線:雙天線接口 |
Video Input | 1個或兩個4-Lane MIPI-CSI,雙重ISP, 13 mpix / s,同時支持雙相機數據的輸入 |
Video Output |
HDMI: HDMI 2.0a, supports 4K@60Hz,HDCP 1.4/2.2 DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C LCD Interface: one eDP 1.3(4-Lane,10.8Gbps), one or two 4-Lane MIPI-DSI |
USB |
USB 2.0: 2獨立的本地主機USB 2.0 USB 3.0: 1本地主機USB 3.0 USB c類型:支持USB3.0 c型和顯示端口1.2 Alt模式USB c型 |
PCIe | PCIe x4, compatible with PCIe 2.1, Dual operation mode |
調試 | 1 x調試UART, 3 v級,1500000個基點 |
LED | 1x Power LED(Red) 1x GPIO LED(Green) |
Key | Power Key x1 Reset Key x1 Recovery Key x1 |
工作溫度 | -20℃ to 70℃ |
電源 | 直流12 v / 1(邊緣連接器)或DV 5 v / 2.5 (c型) |
2.2.2. 網關底板其他外設
l 11.6寸高清觸顯一體屏:板載,eDP接口,電容式多點觸摸,分辨率1920*1080
l 按鍵:板載重啟、恢復、電源3個功能按鍵,4個用戶自定義按鍵
l UART:1路RS232,1路RS485
l 以太網:100/1000M
l 音頻:音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚聲器
l 無線網:WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l 4G模組:板載,板載EC20模組
l LoRaWAN網關模塊接口:板載mini-pcie接口,可接入SX1301八通道并行LoRaWAN網關模塊。1個項目須至少配備1個LoRaWAN網關模塊,以實現對實驗室所有lora節點的接入管理。
l Zigbee網關模塊:板載,直列雙排20芯插針接口,非usb接口。
l BLE網關模塊:板載,直列雙排20芯插針接口,非usb接口。
l USB 3.0 HOST接口:板載2個
l Debug接口:板載1個
l Download接口:板載1個
l 鍵盤:板載7寸80鍵標準鍵盤
l 高清相機模組:CMOS傳感器OV13850,MIPI信號輸出,400萬像素,最高支持2688x1520像素。
l 麥克風陣列:板載7顆數字高性能硅麥克風。
l 紅外接收:板載紅外接收模塊1個
l 震動馬達傳感器:1個
l LED:板載4顆藍色LED燈珠。
l 天線接口:板載wifi、BLE、lora、LET 共4個天線接口。
l 傳感器擴展接口:板載,與無線傳感器節點的傳感器模塊接口兼容,可完成linux系統下的傳感器驅動開發實驗。
l OBD接口:板載,標準16針OBD-II插座,與配套軟件結合可完成基于CAN總線通信相關實驗。
l
電源:DC 9-12V輸入
l 其他接口:MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz
2.3. 外設模塊
2.3.1.
4G LTE模塊l 網絡:FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE;
l 制式:CMCC/CUCC(B1/B3/B8/B34/B38/B39/B40);
l 工作頻帶:HSPA1900/2100,GSM 900/1800;
l 高速USB 2.0接口、PCI-E接口;
l 支持短信、數據、電話本、PCM語音功能;
l 支持IPv4,IPv6協議;
l 支持LTE多頻;
l 支持最大150M/50Mbps的理論上下行數據傳輸速率;
2.3.2. AI麥克風陣列
l 7路麥克風陣列,提供聲源定位、語音增強、語音降噪、回聲消除、聲音拾取等功能。l 帶硬件浮點運算的RISC-V 雙核64位處理器,主頻最高800MHz。
l 具備機器聽覺能力和語音識別能力,內置語音處理單元(APU)。
l 具備卷積人工神經網絡硬件加速器KPU,可高性能進行卷積人工神經網絡運算。
l 麥克風陣列模塊集成TFT彩屏屏,能夠直觀顯示音頻頻譜圖。
l 內置ARM STM32 USB音頻驅動芯片,提供USB聲卡驅動,開放源代碼。
l 接口:雙列直插封裝/USB,需能夠接入到eAIOT平臺使用。
l 支持語音識別、語義理解、語音合成、人機對話等功能,可與硬件進行語音交互。
l 5米監測范圍、基于linux系統。
2.3.3. AI攝像頭
l 1/1.8" SONY Exmor CMOSl 有效像素200萬像素,30幀@1920*1080
l C/CS鏡頭接口,最低照度0.001 Lux,120dB TWDR
l 支持協議:PROFILE S,GB/T28181,FTP/RTSP.UPNP等
l 支持雙碼流、手機監控、心跳機制,具3D降噪、去霧、數字寬動態、鏡頭校正、走廊監控等智能模式
l 提供基于eAIOT教學平臺的人臉識別系統案例。
2.4. 物聯網應用基礎云平臺
1、功能簡介1)學生能夠將物聯網感知層設備(傳感器、執行器等)接入物聯網云服務平臺,平臺能夠接收并存儲傳感器和執行器的實時數據,模塊在線狀態,并實時顯示。
2)提供后臺管理系統,能夠設置賬號類型和使用權限。支持多用戶管理及權限控制,分為父用戶和子用戶,父用戶可以創建多個子用戶,并且可以為每個子用戶分配增、刪、改幾種權限,子用戶創建的資源相互隔離。
3)提供物聯網規則編輯器,無需編寫代碼即可編輯復雜的自動化控制策略,實現移動互聯網系統的自動化控制。
4)提供豐富的可視化控件庫,通過拖拽、簡便配置即可完成美觀的UI設計。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
5)物聯網感知層設備也能夠向執行器發送控制命令,系統能夠實現模塊的在線監測。
6)云平臺支持物聯網硬件多協議接入,通過ZigBee/BLE/wifi/lora/NBIOT無線技術取得傳感器采集的數據,形成一個完整的無線傳感器網絡。
7)數據通過http/MQTT協議傳輸至物聯網應用基礎云平臺軟件,進行數據圖形化展示。
8)實現基于云平臺的智能家居實驗,并包含配套完整的教學資源。
9)支持本地化部署和云端部署兩種方式。
10)提供“物聯網應用基礎云平臺”軟件著作權登記證書及軟件產品登記測試報告復印件并加蓋公章,原件備查。
3. 部分實驗案例
3.1.1. 嵌入式linuxQT綜合實驗
3.1.2. 手寫字識別
學習設計一個神經網絡模型,然后用已經標注過的MNIST數據來訓練這個模型,然后進行測試驗證。
圖:手寫字識別案例
3.1.3. 人臉識別
通過OpenCV自帶的分類器、OpenCV的深度學習分類器是基于SSD(Single Shot Detector)框架的ResNet網絡,實現在圖片、視頻中對人臉的檢測,并用矩形框框出來。學校可用于身份識別、課堂/上下班考勤、會議簽到、刷臉支付、門禁通行、安防監控相關場景。
圖: 人臉識別案例
3.1.4. 目標檢測
利用深度學習框架caffe,實現對常見物體的檢測。
圖:目標檢測案例
3.1.5. 人體姿態識別
使用邊緣側推理框架Tengine檢測圖像中的所有人體并返回每個人體的矩形框位置,精準定位 21 個核心關鍵點,包含五官、四肢、脖頸等部位,更多關鍵點持續擴展中;支持多人檢測、人體位置重疊、遮擋、背面、側面、中低空俯拍、大動作等復雜場景。
圖:人體姿態識別案例
3.1.6. 手勢識別
利用深度學習框架caffe,實現對簡單手勢的識別。
圖:手勢檢測和識別系統案例
3.1.7. 車牌識別
使用opencv 的 HAAR Cascade 檢測車牌大致位置,使用卷積神經網絡回歸車牌左右,然后使用卷積神經網絡滑動窗切割字符、及識別字符。
圖:交通門禁車牌檢測和識別系統案例
3.1.8. 人臉門禁
采用 mtcnn 進行人臉檢測,采用MobileFaceNet 進行人臉識別,然后用活體檢測算法進行檢測。
圖:人臉門禁檢測和識別系統案例
3.1.9. 聲紋鎖實驗
通過語音增強、語音質量檢測、語音增強、有效語音提取、聲紋特征提取等步驟,完成聲紋注冊及聲紋驗證。
圖:聲紋電子鎖系統案例
3.1.10. AI語音控制智能家居
本系統實現語音數據高速傳輸,基于百度語音識別 API 完成語音識別,并用無線方式控制電燈,電風扇,以及獲取溫度和濕度。
圖:語音控制智能家居系統案例
3.1.11. 知識圖譜和聊天機器人
知識圖譜融合了兩千五百多萬的實體,擁有億級別的實體屬性關系,機器人采用了基于知識圖譜的語義感知與理解,致力于最強認知大腦。自然語言處理工具包的功能有:中文分詞、詞性標注、命名實體識別、關鍵詞提取、文本摘要、新詞發現、情感分析等。
圖:知識圖譜和文本聊天機器人系統案例