淺談大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)的建設(shè)
1. 大數(shù)據(jù)學(xué)科建設(shè)現(xiàn)狀
1.1. 大數(shù)據(jù)學(xué)科建設(shè)現(xiàn)狀
由于高校在大數(shù)據(jù)教育領(lǐng)域的發(fā)展時(shí)間并不是很長(zhǎng)，所以目前高校在大數(shù)據(jù)專業(yè)方向的教學(xué)過程中，主要面臨以下幾個(gè)方面的問題：
1) 師資隊(duì)伍建設(shè)
IT新技術(shù)更新的太快，有限的教師資源很難在有限的時(shí)間內(nèi)系統(tǒng)的指導(dǎo)大批學(xué)生，設(shè)計(jì)性和探究性實(shí)驗(yàn)難以開展。
另外，教師教學(xué)任務(wù)繁重，新技術(shù)開發(fā)課程周期長(zhǎng)，內(nèi)部講師培養(yǎng)周期長(zhǎng)，很多院校在大數(shù)據(jù)技術(shù)課程的儲(chǔ)備上明顯不足。
2) 教學(xué)實(shí)驗(yàn)環(huán)境
大數(shù)據(jù)實(shí)驗(yàn)一人操作多臺(tái)機(jī)器，傳統(tǒng)機(jī)房是一人一臺(tái)操作，傳統(tǒng)的機(jī)房實(shí)驗(yàn)室，已經(jīng)無(wú)法滿足大數(shù)據(jù)實(shí)驗(yàn)操作的要求。
傳統(tǒng)機(jī)房的現(xiàn)有服務(wù)器資源，也大多無(wú)法滿足大數(shù)據(jù)實(shí)驗(yàn)的高計(jì)算、高性能要求。
快速更新的技術(shù)，導(dǎo)致現(xiàn)在教學(xué)實(shí)驗(yàn)環(huán)境無(wú)法快速適應(yīng)大數(shù)據(jù)實(shí)驗(yàn)教學(xué)的要求。
3) 課程體系建設(shè)
由于新開專業(yè)，無(wú)參考標(biāo)準(zhǔn)體系，教師在編制大數(shù)據(jù)實(shí)驗(yàn)課程方面缺乏積累，教學(xué)內(nèi)容開發(fā)緩慢。大數(shù)據(jù)實(shí)驗(yàn)需要大量的真實(shí)行業(yè)數(shù)據(jù)，無(wú)法通過模擬進(jìn)行教學(xué)。
所以教學(xué)內(nèi)容缺失主要是：缺乏真實(shí)數(shù)據(jù)；缺乏行業(yè)案例。
模擬數(shù)據(jù)的教學(xué)無(wú)法讓學(xué)生體會(huì)到大數(shù)據(jù)的真實(shí)應(yīng)用，造成學(xué)生動(dòng)手能力難以提升。
4) 科研新挑戰(zhàn)
數(shù)據(jù)的激增，勢(shì)必由量變引起質(zhì)變，從而使科研人員的思維和行為模式在傳統(tǒng)學(xué)科的研究領(lǐng)域發(fā)生變化，如何利用大數(shù)據(jù)技術(shù)及優(yōu)勢(shì)，找到本學(xué)科研究成果的新視角，已經(jīng)成為當(dāng)前高校研究的重要課題。
1.2. 大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)建設(shè)的必要性
綜合目前大數(shù)據(jù)學(xué)科建設(shè)所面臨的問題，對(duì)設(shè)有大數(shù)據(jù)專業(yè)或?qū)I(yè)方向的學(xué)校教師和學(xué)生在教學(xué)過程中產(chǎn)生很大的影響，教師面臨著任務(wù)重、備課難、實(shí)驗(yàn)課難開展、發(fā)論文沒思路等困擾，而學(xué)生又面臨著聽不懂、不會(huì)做、不會(huì)用、學(xué)不會(huì)的煩惱。
所以大數(shù)據(jù)學(xué)科如何實(shí)現(xiàn)標(biāo)準(zhǔn)教學(xué)、如何評(píng)估學(xué)生綜合能力、如何解決師資缺乏、如何保障科研成果、學(xué)生就業(yè)如何滿足企業(yè)需求是高校在大數(shù)據(jù)學(xué)科建設(shè)中必須要解決的問題。
因此，高校建設(shè)一個(gè)專業(yè)的大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)，除了必要的符合當(dāng)前虛擬化潮流的高端服務(wù)器及網(wǎng)絡(luò)設(shè)備之外，其中的重點(diǎn)是建設(shè)集教學(xué)、實(shí)驗(yàn)、實(shí)訓(xùn)、科研綜合于一體的大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)，全方位支撐高校大數(shù)據(jù)教學(xué)及科研的需求是必要的和緊迫的。
1.3. 大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)的建設(shè)原則
1) 理論與實(shí)踐相結(jié)合
理論與實(shí)踐相結(jié)合是知識(shí)經(jīng)濟(jì)背景下歷史發(fā)展的必然要求。在知識(shí)經(jīng)濟(jì)社會(huì)，高校是理論產(chǎn)生和傳播的主體，積累并傳承專業(yè)方向理論知識(shí)，指導(dǎo)學(xué)習(xí)者的實(shí)踐活動(dòng)與生產(chǎn)技能訓(xùn)練。多國(guó)國(guó)際知名高校案例經(jīng)驗(yàn)表明，對(duì)于我國(guó)起步較晚的大數(shù)據(jù)學(xué)科方向建設(shè)發(fā)展，該專業(yè)應(yīng)在理論與實(shí)踐相結(jié)合的基礎(chǔ)上側(cè)重于實(shí)踐，才能厚積薄發(fā)、趕超國(guó)際水準(zhǔn)。
2) 適應(yīng)社會(huì)人才需求
高端大數(shù)據(jù)人才培養(yǎng)是大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)建設(shè)的重要目標(biāo)。當(dāng)前各地院校在人才培養(yǎng)過程中必須以社會(huì)崗位的實(shí)際需求作為根本出發(fā)點(diǎn)，深入了解電信、零售、電力、銀行、證券、期貨、基金等眾多行業(yè)機(jī)構(gòu)對(duì)大數(shù)據(jù)學(xué)科高端人才的需求。根據(jù)權(quán)威機(jī)構(gòu)預(yù)測(cè)，未來3-5年，中國(guó)需要180萬(wàn)大數(shù)據(jù)人才，當(dāng)前就有30萬(wàn)，缺口達(dá)到150萬(wàn)之巨。
3) 國(guó)際化標(biāo)準(zhǔn)
大數(shù)據(jù)在全球教育領(lǐng)域?qū)儆谝婚T新興專業(yè)。得力于國(guó)際大數(shù)據(jù)地位的先天優(yōu)勢(shì)，該專業(yè)教育在歐美迅速發(fā)展，并在教育領(lǐng)域建立了國(guó)際性話語(yǔ)權(quán)。我國(guó)大數(shù)據(jù)學(xué)科方向建設(shè)的天然優(yōu)勢(shì)就是國(guó)內(nèi)大數(shù)據(jù)的不斷革新與發(fā)展，國(guó)際話語(yǔ)權(quán)不斷增強(qiáng)�；诖藘�(yōu)勢(shì)，必須在參照國(guó)家標(biāo)準(zhǔn)設(shè)計(jì)人才培養(yǎng)模式的基礎(chǔ)上，全面參與該專業(yè)方向建設(shè)的國(guó)際標(biāo)準(zhǔn)的制定。
4) 堅(jiān)持創(chuàng)新
創(chuàng)新必須是與時(shí)俱進(jìn)，國(guó)內(nèi)信息技術(shù)的發(fā)展為大數(shù)據(jù)的創(chuàng)新提供了沃土，但這些遠(yuǎn)遠(yuǎn)不夠。大數(shù)據(jù)教學(xué)實(shí)驗(yàn)室建設(shè)首先樹立創(chuàng)新機(jī)制、激勵(lì)制度；其次是尊重鼓勵(lì)創(chuàng)新人才；再者是為了大數(shù)據(jù)創(chuàng)新提供必要的物質(zhì)條件。各類院校都可以選擇一條適合自己創(chuàng)新理念和模式，有利于促進(jìn)院校跨越式發(fā)展與品牌影響力提升。
5) 專業(yè)深度與廣度
專業(yè)的深度與廣度并重是加強(qiáng)大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)建設(shè)與創(chuàng)新的基本條件，也是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的必然目標(biāo)導(dǎo)向。不斷縱向深入大數(shù)據(jù)的研究和創(chuàng)新大數(shù)據(jù)新的專業(yè)方向交叉點(diǎn)是推動(dòng)新理論、新技術(shù)、新產(chǎn)品的必要條件。深度建設(shè)有利于大數(shù)據(jù)解決更為深層次性的大數(shù)據(jù)問題及工具方法創(chuàng)新；廣度可以使大數(shù)據(jù)與更多專業(yè)相結(jié)合，發(fā)展更多前沿方向與分支研究領(lǐng)域，同時(shí)也有利于解決各行各業(yè)出現(xiàn)的大數(shù)據(jù)的問題。
6) 產(chǎn)學(xué)研一體化
堅(jiān)持產(chǎn)學(xué)研一體化建設(shè)是科教興國(guó)戰(zhàn)略中必然的制度安排。在科教興國(guó)戰(zhàn)略體系中，教育、科研、生產(chǎn)相結(jié)合是一項(xiàng)重要的戰(zhàn)略措施，國(guó)家出臺(tái)了一系列政策法規(guī)支持高等學(xué)校推行教育、科研、生產(chǎn)相結(jié)合。當(dāng)前國(guó)內(nèi)，一方面產(chǎn)學(xué)研合作沒有形成很好的發(fā)展模式，另一方面部分院校對(duì)大數(shù)據(jù)方向定位及建設(shè)理念不恰當(dāng)，從而造成國(guó)內(nèi)大數(shù)據(jù)的研究成果能夠解決國(guó)內(nèi)大數(shù)據(jù)行業(yè)問題的不多，院校亦不能從這個(gè)模式中為其獲得長(zhǎng)久的發(fā)展經(jīng)濟(jì)動(dòng)力。
7) 院校特色定位
在借鑒國(guó)際經(jīng)驗(yàn)和標(biāo)準(zhǔn)基礎(chǔ)上，各類院校在建設(shè)大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)的過程中，應(yīng)該按照各自的總體發(fā)展目標(biāo)為核心，依據(jù)自身區(qū)域、師資力量、專業(yè)方向優(yōu)勢(shì)定位，采取不同模式的專業(yè)方向建設(shè)來確定自身的發(fā)展特色定位。我國(guó)經(jīng)濟(jì)發(fā)展各區(qū)各省都呈現(xiàn)不均衡狀態(tài)，各行各業(yè)改革發(fā)展深度不一致，為院校大數(shù)據(jù)學(xué)科方向建設(shè)的特色定位提供了發(fā)展空間。
2. 大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)建設(shè)方案
2.1. 核心理念
利用云計(jì)算、虛擬化、人工智能及大數(shù)據(jù)主流框架，搭建教學(xué)系統(tǒng)和集群，將大數(shù)據(jù)核心技術(shù)應(yīng)用到企業(yè)真實(shí)項(xiàng)目中，將理論知識(shí)、實(shí)驗(yàn)教學(xué)和大數(shù)據(jù)項(xiàng)目實(shí)踐融合，由淺入深，循序漸進(jìn)，逐步提升學(xué)生的專業(yè)技能和項(xiàng)目實(shí)踐能力，使得學(xué)生與企業(yè)人才需求無(wú)縫銜接，真正解決大數(shù)據(jù)人才缺口問題。
2.2. 平臺(tái)架構(gòu)
針對(duì)高校大數(shù)據(jù)教學(xué)、管理、人工智能、項(xiàng)目實(shí)踐、科研服務(wù)、創(chuàng)新孵化等實(shí)際應(yīng)用場(chǎng)景，系統(tǒng)提供穩(wěn)定、可靠、高效的軟硬一體化大數(shù)據(jù)教學(xué)科研環(huán)境，以及完善的課程體系、項(xiàng)目數(shù)據(jù)和視頻、多樣化的教學(xué)手段和豐富的實(shí)戰(zhàn)案例，以快速開發(fā)平臺(tái)為基礎(chǔ)，快速的構(gòu)建大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)。整體平臺(tái)架構(gòu)圖如下所示：
圖 - 架構(gòu)圖
各組成部分說明如下：
1) 大數(shù)據(jù)教學(xué)資源
大數(shù)據(jù)教學(xué)資源提供教學(xué)實(shí)驗(yàn)指導(dǎo)手冊(cè)、在線視頻、資源包、實(shí)驗(yàn)示例代碼、數(shù)據(jù)源等，讓學(xué)生學(xué)以致用。通過在線學(xué)習(xí)、在線測(cè)驗(yàn)、在線實(shí)驗(yàn)、在線實(shí)訓(xùn)、綜合分析及自主設(shè)計(jì)等多層次的實(shí)驗(yàn)操作，為大數(shù)據(jù)教學(xué)提供一個(gè)完整的一體化實(shí)驗(yàn)教學(xué)體系。
項(xiàng)目案例提供行業(yè)典型項(xiàng)目及行業(yè)數(shù)據(jù)，項(xiàng)目涉及互聯(lián)網(wǎng)、運(yùn)營(yíng)商、金融、電子商務(wù)、政府等多個(gè)領(lǐng)域，每個(gè)項(xiàng)目案例都配備項(xiàng)目指導(dǎo)手冊(cè)、講解視頻、行業(yè)數(shù)據(jù)及項(xiàng)目代碼。
2) 大數(shù)據(jù)教學(xué)平臺(tái)
實(shí)驗(yàn)實(shí)訓(xùn)使用的服務(wù)器采用虛擬化技術(shù)，實(shí)現(xiàn)硬件資源集中調(diào)度和管理，以大數(shù)據(jù)Hadoop及其生態(tài)組件為核心構(gòu)建軟件系統(tǒng)，支持更多的大數(shù)據(jù)高級(jí)特性，經(jīng)過專業(yè)的性能優(yōu)化和軟硬件集成測(cè)試，保證平臺(tái)的高性能與穩(wěn)定可靠運(yùn)行。
主要包括2個(gè)子系統(tǒng)：實(shí)驗(yàn)實(shí)訓(xùn)系統(tǒng)、云計(jì)算管理系統(tǒng)。
3) 基礎(chǔ)支撐平臺(tái)
傳統(tǒng)的信息管理類系統(tǒng)普遍包含業(yè)務(wù)信息的增刪改查和導(dǎo)入導(dǎo)出功能、流程審批功能、表單填報(bào)功能、可視化展示功能、中國(guó)式報(bào)表功能，系統(tǒng)中70%~80%都是此類功能。通過可配置化的快速開發(fā)平臺(tái)，使用可配置的方式“零代碼”輕松的實(shí)現(xiàn)這些功能。
圖 - 架構(gòu)圖
大數(shù)據(jù)教學(xué)平臺(tái)相關(guān)的功能模塊都是通過快速開發(fā)平臺(tái)進(jìn)行配置化+插件開發(fā)的方式完成的。
另外，快速開發(fā)平臺(tái)還可以開放給科研人員，這樣科研人員的精力能夠更專注在科學(xué)研究上，而不需要關(guān)注代碼本身，技術(shù)平臺(tái)的搭建能夠以一種非常輕松、高效的方式來完成。
2.3. 平臺(tái)優(yōu)勢(shì)
1) 真機(jī)實(shí)驗(yàn)訓(xùn)練
實(shí)驗(yàn)室各模塊相對(duì)獨(dú)立，交互式的實(shí)驗(yàn)任務(wù)、實(shí)驗(yàn)指導(dǎo)、項(xiàng)目上機(jī)操作，教學(xué)視頻、考試評(píng)分、數(shù)據(jù)監(jiān)控等，保障學(xué)生靈活、快速的掌握大數(shù)據(jù)核心技術(shù)及項(xiàng)目開發(fā)能力。
2) 完善的課程體系
多年的大數(shù)據(jù)項(xiàng)目建設(shè)和IT培訓(xùn)經(jīng)驗(yàn)沉淀的經(jīng)驗(yàn)，研發(fā)出行業(yè)領(lǐng)先的大數(shù)據(jù)課程體系。
3) 典型大數(shù)據(jù)項(xiàng)目案例
提供多個(gè)行業(yè)典型應(yīng)用案例數(shù)據(jù)包和視頻包，以及配套實(shí)驗(yàn)手冊(cè)，邊學(xué)邊練通過實(shí)際項(xiàng)目上機(jī)演練，多方位學(xué)習(xí)及訓(xùn)練，做到學(xué)生與企業(yè)需求無(wú)縫銜接，真正解決大數(shù)據(jù)人才缺口問題，行業(yè)案例還在不斷的補(bǔ)充中。
4) 交互式學(xué)習(xí)模式
提供完善課程體系、在線學(xué)習(xí)系統(tǒng)，以大數(shù)據(jù)課程學(xué)習(xí)、在線視頻、習(xí)題、線上測(cè)試、線上實(shí)驗(yàn)為主線，典型案例貫穿知識(shí)點(diǎn)的學(xué)習(xí)模式，確保學(xué)生掌握大數(shù)據(jù)項(xiàng)目技能。
5) 充分支撐科研工作
整合了數(shù)據(jù)采集、數(shù)據(jù)集市、數(shù)據(jù)建模、數(shù)據(jù)視圖等，提供行業(yè)數(shù)據(jù)及案例用于基礎(chǔ)研究，科研人員通過該系統(tǒng)方便對(duì)行業(yè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，按需求生成可視化數(shù)據(jù)報(bào)表。
6) 企業(yè)級(jí)硬件配置
基于業(yè)界最先進(jìn)的硬件平臺(tái)，采用企業(yè)級(jí)融合架構(gòu)，具備高效融合、安全穩(wěn)定、性能卓越、敏捷易用等特點(diǎn)。
2.4. 大數(shù)據(jù)教學(xué)資源建設(shè)
為了滿足院�？焖匍_設(shè)大數(shù)據(jù)相關(guān)課程實(shí)驗(yàn)的需求，實(shí)驗(yàn)室配套相關(guān)課程體系、實(shí)驗(yàn)手冊(cè)、在線視頻、在線試題庫(kù)等課程資源。
1) 課程體系
基于CDIO工程教育理念，設(shè)計(jì)了大數(shù)據(jù)工程型人才的教育解決方案，以研發(fā)到產(chǎn)品運(yùn)行為載體，讓學(xué)生以主動(dòng)、實(shí)踐的方式掌握大數(shù)據(jù)專業(yè)技能，培養(yǎng)具備大數(shù)據(jù)基礎(chǔ)知識(shí)、個(gè)人能力、人機(jī)團(tuán)隊(duì)能力和項(xiàng)目動(dòng)手的綜合型人才。
大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)方向設(shè)置不同的課程學(xué)習(xí)路線，針對(duì)每門課程提供教學(xué)實(shí)驗(yàn)指導(dǎo)手冊(cè)、在線視頻、資源包、實(shí)驗(yàn)示例代碼等，讓學(xué)生學(xué)以致用；不僅學(xué)習(xí)大數(shù)據(jù)技術(shù)有的基本理論和原理，學(xué)習(xí)大數(shù)據(jù)平臺(tái)架構(gòu)的技術(shù)實(shí)現(xiàn)及其在行業(yè)內(nèi)的典型應(yīng)用。通過在線學(xué)習(xí)、原理驗(yàn)證、實(shí)訓(xùn)應(yīng)用、綜合分析及自主設(shè)計(jì)等多層次的實(shí)驗(yàn)操作，為大數(shù)據(jù)教學(xué)提供一個(gè)完整的一體化的實(shí)驗(yàn)教學(xué)體系，快速提升實(shí)操技能，最終培養(yǎng)高素質(zhì)、應(yīng)用復(fù)合型大數(shù)據(jù)人才。
“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)（專業(yè)代碼080910T）強(qiáng)調(diào)培養(yǎng)具有多學(xué)科交叉能力的大數(shù)據(jù)人才。該專業(yè)重點(diǎn)培養(yǎng)具有以下三方面素質(zhì)的人才：一是理論性的，主要是對(duì)數(shù)據(jù)科學(xué)中模型的理解和運(yùn)用；二是實(shí)踐性的，主要是處理實(shí)際數(shù)據(jù)的能力。三是應(yīng)用性的，主要利用大數(shù)據(jù)的方法解決具體行業(yè)應(yīng)用問題的能力。
2) 專業(yè)課
是為了讓學(xué)生了解大數(shù)據(jù)概況，了解大數(shù)據(jù)產(chǎn)品、技術(shù)的特性、實(shí)現(xiàn)原理和應(yīng)用方向。專業(yè)課程包括大數(shù)據(jù)概論、scala語(yǔ)言、Linux技術(shù)、JavaEE項(xiàng)目開發(fā)、大數(shù)據(jù)分析Python、概率論與數(shù)理統(tǒng)計(jì)、數(shù)據(jù)庫(kù)技術(shù)七門課程。
3) 核心課
是為了讓學(xué)生了解并初步掌握目前流行的大數(shù)據(jù)主流技術(shù)、了解其特點(diǎn)以及使用的場(chǎng)景，具備一定的大數(shù)據(jù)系統(tǒng)架構(gòu)能力，并能自行開展簡(jiǎn)單的大數(shù)據(jù)應(yīng)用開發(fā)。核心課程包括基于Hadoop的應(yīng)用開發(fā)技術(shù)、大數(shù)據(jù)挖掘技術(shù)、R語(yǔ)言、大數(shù)據(jù)實(shí)時(shí)計(jì)算技術(shù)與應(yīng)用、Spark數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)可視化技術(shù)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析技術(shù)八門課程。
4) 實(shí)訓(xùn)及實(shí)踐課程
針對(duì)每門課程提供教學(xué)實(shí)驗(yàn)指導(dǎo)手冊(cè)、操作視頻、實(shí)驗(yàn)資源包、實(shí)驗(yàn)示例代碼等，讓學(xué)生學(xué)以致用、用以促學(xué)；不僅學(xué)習(xí)大數(shù)據(jù)技術(shù)的基本理論和原理，還學(xué)習(xí)大數(shù)據(jù)平臺(tái)架構(gòu)的技術(shù)實(shí)現(xiàn)，以及其在行業(yè)內(nèi)的典型應(yīng)用等，如大數(shù)據(jù)應(yīng)用開發(fā)綜合項(xiàng)目、大數(shù)據(jù)平臺(tái)搭建與管理綜合項(xiàng)目、運(yùn)營(yíng)商數(shù)據(jù)分析、電商數(shù)據(jù)分析等。
2.6.1 實(shí)驗(yàn)手冊(cè)
實(shí)驗(yàn)手冊(cè)選用與產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目高等院�！稊�(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)》系列規(guī)劃教材配套的實(shí)驗(yàn)手冊(cè)。所有案例均來源于企業(yè)，貼近實(shí)戰(zhàn)，內(nèi)容充實(shí)，拒絕空洞。每個(gè)實(shí)驗(yàn)都配有實(shí)驗(yàn)描述、實(shí)驗(yàn)環(huán)境、相關(guān)技能、知識(shí)點(diǎn)、效果圖、詳細(xì)實(shí)驗(yàn)步驟及總結(jié)。