1、科技項目可行性報告項目編號: K2016001課題名稱: 基于虛擬現實技術的教育解決方案的研制與開發申請單位: 可視化計算與虛擬現實四川省重點實驗室二0一六年二月目 錄一、項目提出的目的及意義二、與項目相關的國內外發展概況及市場需求分析三、主要攻關內容及技術路線(技術可行性分析)四、該項目的技術創新點五、現有工作基礎和條件六、申請的基礎條件(包括主要研究成果)七、進度安排和實施方案(包括運行機制)八、預期成果和考核目標九、推廣及應用前景十、經費概算及來源十一、結論附件-虛擬現實沉浸技術實驗室條件建設需求 一、 項目提出的目的及意義互聯網、虛擬現實和人工智能被喻為改變人類認知世界的三大信息技術。
2、互聯網從少被社會廣泛認知,到今天對社會生活的全面顛覆與滲透不過二十余年。如今互聯網+已為國家戰略。當互聯網在我們生活中掀起一個又一個駭浪時,虛擬現實正悄然從幕后走向前臺。今天虛擬現實正演繹著當年互聯網對人類生活,從無足輕重到全面顛覆的革命性過程。科技以虛擬現實給人類生活再創造出一次驚喜己為期不遠。虛擬現實技術與教育:“虛擬現實”(Virtual Reality,英文縮寫VR)技術,利用計算機硬件+軟件資源+傳感器的一種集成技術,構成實時三維圖形生成的技術、仿真技術、多傳感交互技術以及顯示技術等,生成實時的、具有三維信息的人工虛擬環境,演練者(操作人員)根據需要通過多種交互設備(如頭盔、數據手套
3、和剛性外骨架衣服等)來駕馭該環境,以及用于操縱環境中的對象,如在真實世界中一樣地與該環境中的人和事物進行行為和思想等的實時交流,并產生逼真的身臨其境感。虛擬現實技術不是相關技術的簡單組合,而是一種創新性的綜合,并且在思想方式上有質的飛躍。虛擬現實技術對教育產生不可估量的作用,主要理由如下:1.虛擬現實技術創建全新的教育環境 人們普遍認為,虛擬現實技術將使21世紀的教育發生質的變化。虛假現實技術支持下的教育之所以會發生質的變化,是因為虛擬教育環境擁有現實教育培訓環境無可比擬的優勢。所謂虛擬教育環境,是指由虛擬現實技術生成的一類適于進行虛擬現實技術生成的一類適于進行虛擬教育的人工環境,它可以是某一
4、現實世界的基礎或設施的真實實現,也可以是虛擬構想成的世界。在21世紀,可能興辦起依托虛擬現實技術的各種新型的學校教育,如基礎教育、軍事教育、各類培訓教育,許多學員在虛擬環境中接受各種教育體驗與訓練。由虛擬現實技術所支撐的教育系統將使得人員可以在虛擬環境中方便地取得感性知識和實際經驗。 與現實教育基地或設施相比,在虛擬現實技術支持下的虛擬教育環境大致有如下特征和優勢: 1.1仿真性 學生通過虛擬設施訓練,與在現實教學基地里同樣方便。這是因為虛擬環境無論對于現實的環境或是對于想象的環境,都是虛擬的但又是逼真的。理想的虛擬環境應該達到使受訓者難以分辯真假的程度(例如可視場景應隨著視點的變化而變化),
5、甚至比真的還“真”(如實現比現實更逼真的照明和音響效果)。 1.2開放性 虛擬教育環境有可能給任何受訓者在任何地點任何時間里廣泛地提供各種培訓的場所。事實上,虛擬教育環境的內涵是廣泛的,它不同于傳統中的教育環境,它具備可以進行類似于傳統教育項目的環境,但它的擅長更是那種使學員置身于項目對象之中的逼真環境。凡是受訓者可以通過有關器具操作來學習或掌握某種知識與技能的虛擬環境,都可以歸之于虛擬教育環境。 1.3超時空性 虛擬教育環境具有超時空的特點,它能夠將過去世界、現在世界、未來世界、微觀世界、宏觀世界、宇觀世界、客觀世界、主觀世界、幻想世界等擁有的物體和發生的事件單獨呈現或進行有機組合,并可隨時
6、隨地提供給受教育者。比如,學生需要身臨超越現實時空的環境(如歷史事件,探索太空),那么虛擬教育環境就可以提供歷史環境及虛擬太空。 1.4可操作性 學生可通過使用設備,用人類的自然技能實現對虛擬環境(無論它模擬的是真實環境還是想象環境)的物體或事件進行操作,就象在現實環境里一樣。可操作性是虛擬教育環境實際運用的必備特性,它使學生得以在其中學習中獲得需要實際知識與技能課程,也使遠程教育真正實現。 1.5對應性 教育內容與虛擬環境密切相對應的。例如,學生要學習化學實驗操作,那么虛擬環境就是化學實驗室的模擬環境。另外,虛擬現實技術能按每個學生的基礎和能力,對應性地開展個別化的教育。 2、虛擬教育培訓的
7、廣泛性 未來社會是一個學習化的社會,為了求得自身知識結構和能力體系的完善與發展,達到學會生存并進而實現自我價值的目的,接受終身教育是人們的當然選擇。而在終身化教育體系中,自然包括了各種各樣的教育項目。由于用虛擬環境代替現實環境,學習和實練效果更好;而且利用虛擬環境進行訓練,也使一些在真實環境下難以實現的項目成為可能,因而虛擬現實技術會給未來教育帶來根本性的改革。由虛擬現實技術支持下的教育方式將發揮強大的優勢,大顯身手地運用于各方面的教育項目中去。 3、虛擬教育的優越性 作為教育技術和工具的虛擬現實技術的優勢,給教育體系帶來了與眾不同的、全新的教育特點。它不僅僅對于教育場所或設施的設計人員和教育
8、業務的指導人員提供了實踐其教育價值的途徑和方式,而且從受教育者的角度來說,它在解決學習和實訓的困難、提高學員汲取知識和掌握技能的效率、從而改善教育的效果等方面,也呈現了相當有利的特征。這些特征可大致概括為: 3.1臨場性 指學生可以感到自己處于虛擬環境的體驗,產生一種逼真的存在感,學員覺得自己真的存在于某環境中,是該環境的一部分,而不是它的旁觀者。學生可自由地在這環境中與有關的虛擬物體或事件相互作用,如同在現實世界中一樣。臨場性的意義,在于使學生將遠程、虛擬認知或感覺如現場與真實中。此外,由于這種臨場性一方面是使學生進入虛擬環境,另一方面是運用交互設備把學員的視覺、聽覺和其他感覺封閉起來,使他
9、暫時與真實環境隔離,因此不會受到虛擬環境外的現實環境的干擾,易于集中學員的注意力,使他全身心投入到訓練中去。 3.2自主性 學生能自主地選擇或組合虛擬場地或設施。這樣,學生能在任何時間、任何地點選擇學習內容、學習設施、學習信息資料、以及取得學習結果的評估,并具有完全的自由度。此外,對于學習后沒掌握的知識與技能過程或片斷,學生可以自己多次重復。這樣,學生始終處于教育中的主導地位,真正掌握學習的主動權,大大增強了學習效果,減少了學習時間。 3.3多感受性 學生在虛擬環境中接受教育時具有多種感知能力,如視覺、聽覺、力覺、觸覺、運動覺、味覺等。理想的虛擬環境應當可以讓學生具有在現實世界中的一切感知能力
10、。多感受性使學員得以運用自己所有感知能力,在一個極其生動活潑的環境里進行實時的、全方位的學習。 3.4功能替代性 在虛擬現實技術幫助下,學生在虛擬環境中還可以用一種感知能力代替另一種感知能力來進行操縱環境、汲取信息或交流。這樣,殘疾人能通過自己的形體動作與他人進行交談(如殘疾人戴上數據手套后,就能將自己的手勢翻譯成講話的聲音),或通過聲音來操作器械,等等。這種感知功能替代性使殘疾學生可以接受過去自己無法做的項目。 3.5交互性 學生可以采用多種交互手段如語言、手勢、數據手套及觸覺等,與虛擬環境交流信息,并得到實時反饋。這種特性使學員與物體、學員與事件、學員與其他人(如指導人員、別的學員)之間的
11、雙向實時反饋,在遠程狀態下成為可能,并猶如近距離或面對面交流一樣。 3.6安全性 虛擬環境中學習遠比在現實環境里安全。如具危險的化學實驗,軍事學生可以重演戰爭,消防隊員可以重演撲滅火災。每個人都可以在這種虛擬環境中試驗各種方案,即使闖下“大禍”,也不會引起任何“惡果”。安全性不僅是對于學生而言的,它也包括周圍環境中的事物,這一點對于技能性學習特別重要和特別有意義。 (一)項目概要1.虛擬現實的應用層次可分為:1.1 初級應用:桌面虛擬現實系統-非沉浸式體驗系統,計算機+軟件即可實現1.2 中級應用:桌面虛擬現實系統-沉浸式虛擬現實系統,計算機+軟件+數據頭盔+數據手套。1.3高級應用:分布式虛
12、擬現實系統,它建立在沉浸虛擬現實系統和分布式交互仿真(distributed interaction simulation)的基礎上1.4高級應用:+增強現實,于虛擬現實的基礎上加入真實的物具(現實中的,非建模的),實現虛擬世界與真實世界的交互。2.基于虛擬現實技術的教育解決方案主要包括以下:2.1初高中實驗類課程方案,涉及化學、物理(仿真實驗室,物體與規則重建)2.2初高中認知類課程方案,涉及自然(地理、生物)、歷史(事件重建)2.3.高中水平類課程方案,涉及外語(事件重建)、語文(意境重建)、數學(幾何規則與邏輯重建).2.4職業學校技能培訓方案,如裝配、修理、維護開發上述產品,一類基于“
13、桌面虛擬現實-非沉浸式體驗系統”技術,另一類基于“桌面虛擬現實-沉浸式體驗系統”技術。上述產品以通用教材課標為依據,以教育心理學、名師教學方式為邏輯,以時間進度排序,加入知識與技能要點考察和水平評價,貫穿整個教學過程。項目開發的理念、構成、內涵與體系均屬國內首創,為行業應用的重大創新。社會公司,包括獨立的教師因條件所限,從事的開發均以課件、資源類為主,難以開展如我們這種體系化的構建。此構建的可性行來自我們的業界優勢,即是川師大數十年的教育背景與教育資源+技術背景與技術資源,極其寶貴、極其難得的組合,他人難以復制。3. 項目目標3.1總體目標該解決方案融合虛擬現實最新硬件設備以及先進的教學理念,
14、構建完全實時的、高保真的、用戶高度介入的學習環境。其特點是具有豐富的環境、豐富的接口、操作與數據雙重驅動,從而實現虛擬現實的教學功能,對教與學產生極大的效用。3.2技術目標包括五個方面:3.2.1開創虛擬現實在國內教育領域系統化應用的先河,于教學上實現普通數字教育資源(如多媒體、電子課件、文字、例表、影視動畫資料)的替代。解決方案首要的目標是構建快速、協同的VR資源平臺,資源的迭代演化保持一定領先性且遙應未來技術發展要求,體現業務創新、技術創新特征,突出與滿足教學及教學管理的現代化需求。3.2.2 采用分層設計,強調統一的同時兼顧風險與效率,達到規范性與個性化相結合的目的,增加系統靈活性,滿足
15、不同學科、不同層次課程的需求。在實際設計過程中,遵循現有網絡課程(如川師4A網課)課程分類規劃設計,并與校園其它網絡教學平臺有效銜接。3.2.3保證高性能、高可用性,提供動態擴容、應急處理、備份等手段實現系統的可靠性、增進用戶體驗。3.2.4組件化、可配置的指標、參數策略,適應不斷增加與調整的系統需求變化。適配不同種類與配置的虛擬現實硬件設備。3.2.5 數據驅動。構建VR場景知識庫、參數化模型庫以及學習者學習行為軌跡庫,形成個性化學習成果反饋技術應用。4. 項目應用主目標,完成虛擬現實教育解決方案系統框架設計5. 項目應用次級目標啟動期目標: 5.1完成非沉浸性與沉浸性中學化學實驗教學系統,
16、并在學習者中推廣,以達到體驗和驗證。5.2完成沉浸性中學化學實驗教學系統5.3完成中學物理、歷史、地理、語文、數學、英語需求設計5.4職業學校需求調研(二)立項的必要性及意義虛擬現實技術被普遍認為是繼計算機技術、網絡技術后,在21世紀最有潛力的技術。虛擬現實技術具有的沉浸、交互、構想三大特征使得虛擬現實技術在教育領域應用有其獨特而明顯的優勢。隨著資本對虛擬現實的持續關注、硬件成本降低、設備的普及以及互聯網信息技術對教育融合的深入,迫切需要虛擬現實技術改造傳統教育模式,甚至是剛剛開始流行的基于互聯網的教育模式(如MOOC)。基于互聯網的教育模式雖然解決了傳統教育的大部分“痛點”(如不能跨時空共享
17、優質教育資源,互動性差等),但是學習者的體驗沒有得到實質的提升,缺乏虛擬現實技術(如沉浸式虛擬現實技術)帶來的強烈的體驗感、逼真的現在感與強大的可交互性。1.把握歷史機遇,珍惜最佳進入期長期以來,虛擬現實硬件成本的居高不下成了其實際應用的最大障礙,行業應用處于3/4的休眠狀態。近兩年因技術突破性進步,成本直線下降,其行業應用處于爆發前夜,越來越清晰地呈現出一個科技應用熱點。在市場尚未完全被喚醒時進入,無疑為最佳時期。以游戲頭盔式顯示器為例,2013年美國當地報價5萬美元到17萬美元,到2015年降到7000美元到8萬美元間,非游戲頭盔則降價幅度更大,早幾年還需數萬人民幣的體感頭盔目前市場價普遍
18、在1千到3千人民幣不等。進入2015年,硬件價格的下降趨勢仍在加速,以樂視為例,2015年11月向市場推出有售價僅149元的VR頭盔。隨硬件成本的快速平民化,虛擬現實技術走向廣泛社會應用的閘門已經打開。從資本市場看,2015年6月以來,中國A股歷經了三次股災,資本市場一片哀歌,但虛擬現實概念股卻逆勢上漲,成為A股獨特的亮麗風景。據惠特資本分析,這是一個尚未有巨型企業出現的藍海市場。2.開啟重大行業應用技術創新,樹立行業科技開發優勢地位 虛擬現實技術在教育行業的運用,除非沉浸式的一些三維交互課件外,尚沒有更多運用,基本處于未開墾狀態。做好這一塊并不太容易,不但要熟知教育,而且要熟知技術。我們兩者
19、皆具,這是我們的背景優勢。縱觀社會,兩者皆具的開發者很少,珍惜歷史給予的難得機會。背景優勢將很好支持我們開展這一項具有行業重大應用創新的研發,進而樹立其行業科技開發優勢。3.形成行業應用級產品,占領行業科技應用的制高點若衡向與兄弟院校在科技實力上對比,川師大的弱處還在缺少對社會、對行業、對企業不能提出解決方案級別的成果,科研產出缺乏對國民經濟起重要推進作用的、應用級別的創新。本項目的推進有利于突破困局。二、 與項目相關的國內外發展概況及市場需求分析2016年被公認為虛擬現實的應用元年。虛擬現實近10年來,隨著計算機技術的快速發展,其行業應用愈來愈清晰而備受社會各行業關注。目前在發達國家中, 虛
20、擬現實技術在教育領域的應用,其表現之亮麗,令人震驚。如美國很多學生已經開始使用 zSpace STEM實驗室。學生們已經探索了虛擬火山和構建了先進電路板。這個系統為學生提供了真實的學習環境和個性化學習體驗,且符合美國新世紀科學標準( NGSS)、基礎課和各州標準。虛擬全像圖像可以從屏幕中“取出來”并使用觸筆去操控。一些應用則提供多感官反饋。比如,學生在和一個虛擬心臟互動時,可以看到、聽到并感覺到它在跳動。我國目前的虛擬現實技術在教育領域的應用主要側重在科學研究、虛擬試驗的開發以及虛擬校園的開發方面,與發達國家相比,我國虛擬現實教育應用的規模差距不少, 但是已經引起政府有關部門和科學家的高度重視
21、。九五計劃、國家自然科學基金會、國家高技術發展計劃等都把虛擬現實技術列入了研究項目。(一)目標市場的分析與預測1、市場分布整體上看,我國虛擬現實技術處在起步期。它的發展與上世紀80年初的微型計算機、90年代中期的互聯網相似。以虛擬現實硬件設備為例,2015年全球虛擬現實設備的銷量己達1400萬部,2020年的全球銷量會提高至8800萬部;BI Intelligence的報告預測,虛擬現實硬件市場的規模將在未來幾年迅猛增長,未來5年的復合年增長率將高達299%;美國知名的第三方調研機構Manatt 5Digital Media和投資銀行Digi-Capital也發布報告稱,全球虛擬現實市場規模將
22、在5年內、即2020年達到5200億美元。可見,針對消費者的虛擬現實商業化時代已經來臨,虛擬現實產品對市場的滲透將會是“一場必勝的持久戰”。從國內外發展比較看,目前國內外發展方向出現分化,但重大分水嶺尚未形成。國內產品、技術與市場需求的深度融合處于摸索期,以出售產品和服務為目標,有近200家公司介入VR領域,從硬件產品到內容制作幾乎全部覆蓋;國外并非單純以出售產品為目標,以Oculus和Sony公司為例,除了研發頭戴顯示器、交互設備、輸入設備、動作識別設備,更在著手制定各自的行業標準,意圖統治全球市場。 以上不難看出,隨著虛擬現實關鍵設備制造的成本大幅下滑,我們己站在了一個以虛擬現實技術為手段
23、,以行業應用為開發內容的門坎,門內擁有一個不低于數千億級的市場體量。2、市場需求與發展前景的分析和產品市場空間預測2.1市場份額至2014年末,四川省初中共計3901所,在校生258.3萬人;普通高中共計732所,在校生149.0萬人;教師共計約30萬人; 職業學校500所,在校生20萬人。按人均100元/年信息消費,年消費量約4億元。若項目進入國家教育扶貧工程,有望獲得政府基金的支持。2.2市場選擇將目標市場鎖定在中等基礎教育與職業教育,以省內為重點。2.3市場運作以產學研結合為理念,以服務社會、社會應用為目標。自主開發,并在進程中吸引資本加入。導入效率化管理機制。虛擬現實進入現代教育,并發
24、揮重大影響絕對是不爭的事實。發達地區,但不限于,都將因此受益。我國教育資源分布不均,邊遠地區師資隊伍落后,名師空缺。近十多年來,國家對這類地區的教育投入逐年增加,但多限于基礎條件的改善,如何提高教學質量,讓這類地區的學生與內地學生一樣享有較高質量的教育水平,顯然己擺在面前。這是一個重大的教育問題, “教育公平”涉及全社會的良知,不僅僅引發政府的思考、全社會有識之士也在思考并追求解決方案。虛擬現實在這方面可發揮出重大作用,為公平教育發揮出不可替代的作用。因為基于虛擬現實的教育解決方案可以將名師的教育方法,先進的教學理念,科學的認知體系以及嚴格的技能訓練導入系統,且傳播無地域限制,成本低廉。成本低
25、廉,以計算機為列,以2013年配伍的普通計算機已足夠承載系統運行,性能價格以今天市價計,不過3000千元左右/臺。數據頭盔,其普及型以今天市價計,800元左右/件(五年前一個普通的數據頭盔不低于10萬元/件),據賽德數據,在未來2-3年可降至數十元左右/件。按這種推算,低成本的虛擬現實裝備進入邊遠中學為期不遠。我們所做的就是為此做好準備,做好內容開發,為迎接虛擬現實爆炸性需求的來到做好準備。虛擬現實桌面非沉浸式系統推廣階段包裝宣傳為本階段首要任務。本階段需要營造亮點,營造新聞熱點。以社會效益為述求,并發揮到極致。基于此目標,需尋找一個即能切合國家需求,又有社會關注熱點與道德制高點的入口,進而演
26、繹為社會的突出事跡。經調研認為, “教育扶貧”無疑是最佳方式。為此,本階段主打教育扶貧牌,即能滿足需求,又可為進入國家教育扶貧工程做準備。具體做法是,選一批學校下線的計算機+制成的虛擬現實桌面系統,找一個邊遠/貪困地區中學,調動當地政府與之一道建示范點。以三個月為調試與試用期,一切正常后,對示范點全面包裝,組織新聞宣傳,營造社會形象,大力將宣傳效果發揮到極致。利用其稀有性:最前沿的高科技教學手段與最邊遠/貧困地區教育現狀所存在的極大反差,及一個基于這種反差,又預想不到的融合(這本身就是一件反常規的事列),加入教育公平、社會正義、良知、責任與道德的因素造出新聞熱點,將宣傳做足。這個設計可容易達到
27、幾個目標:突出學校的社會形象,不花巨額廣告費的產品宣傳,為進入國家教育扶貧工程打下基礎。 一旦進入國家教育扶貧工程系列,在政府基金的支持下,可全面推進桌面虛擬現實非沉浸式方案的應用實施,同時加速沉浸式解決方案的深度開發,做好在較發達地區的試用推廣。實現產品的由農村向城市,從邊遠到內地的戰略調整。3.產業融資與擴張階段基于良好的社會聲譽與產品的獨特性吸引資本注入,融資額度不少于1000萬,構建不限于教育類虛擬現實產品的開發。解決的主要難點技術與運用領域如下:數據驅動模型的機制與方法動態與時實仿真產業級技術運用分布式虛擬現實系統的開發與運用基于以上成果,進入虛擬現實的高級運用期,形成教育、數字娛樂
28、、軍事、公共安全、醫療、制造業等領域的優秀解決方案,進而全面服務社會并獲得很好的經濟效益。4.市場競爭力分析虛擬現實的內容開發,或稱虛擬現實的行業應用解決方案,從目前的國內開發應用看,基本以“桌面虛擬現實非沉浸式體驗”與“環幕非沉浸式體驗”的解決方案為主,主要用來效果展示;沉浸式虛擬現實于專業行業有應用,如航空制造業。但從社會的層面講,其應用仍處于初期的起步階段;分布式虛擬現實系統與增強現實大多還停留在專門的研發機構。 客觀分析如下:4.1具備比較完善的從事虛擬現實教育與研發的學科隊伍與條件:早在2007年為配合重點實驗室的發展,支撐新的學科與研究方向我們以產學研的理念建議學校開建數字媒體專業
29、,在學校領導的帶領下,我們花費了大量精力從論證到實施做了很多事。專業的成立為虛擬現實工作的開展奠定了人才基礎、學科基礎。4.2具備開發優勢:技術與教育背景的深度融合,有一支即懂技術又知教育的開發隊伍:虛擬現實教育類的應用,市場呈現的均為“桌面虛擬現實非沉浸式體驗”方式開發的教育類產品,且基本以課件為主,幾乎沒有基于教材的完整解決方案(僅僅“課件”,有極大的應用局限,正如一個汽車制造廠,不能提供整車,只能提供零件,其適用性可想而知)。這個現象與這些公司或群體的行業地位有關,因為這些公司或群體:或者懂技術,卻身在教育之外,不懂教育,沒有體系,無論從理念還是方法沒有教學的支撐,注定了只能以課件的方式
30、存在。如軟件公司;或者做教育又缺失技術,只好借用他人開放工具軟件,局限于做課件。如教師群體。;兩者合二為的團隊,即做教育也做技術的少之又少。與我們本質不同。4.3具備多年從事教育仿真軟件系統的經驗積累:我們的背景優勢使我們在架構同類方案時可以跳過課件的束縛,以基于教材的理念,融入教育心理學、名師的教育方法與教學經驗,開發集教學、操作、考點、評價為一體的解決方案,并將開發的系統走入學校中期試用、座談,再改進,使之完全符合教學過程,力求完整、規范,簡單易用。我們對開發教育類產品慎之又慎,如中學化學方案,先以平面交互為框架,用于弄清教學仿真內涵。目前已做成完整的方案-面向初、高中化學教學的二維仿真交
31、互軟件平臺一套,學校試用己達三年,各方反應效果良好。通過這一案件,我們基本弄清了教育仿真軟件開發設計的內在精髓。由此我們深知,這是一個內涵遠勝于技術的開發,非多資源的教育資源組合背景,不可能開發出適合用戶需求的產品。因為現實需求不是一堆課件可實現。通過多年的探索,我們這類產品的開發,其理念、方法及技術均在國內同行的前列。4.4具備從事虛擬現實大型仿真應用系統開發成果的積累:本實驗室于2009年建立后,于2010年啟動了以 “桌面虛擬現實-非沉浸式體驗系統”為主的起步型建設,取得了如大型化學仿真教學平臺、大型數字博物館、公安仿真訓練平臺、大型園區+地理位置信息的產品級技術成果。遺憾的是, “沉浸
32、式虛擬現實建設方案”至今仍未落地。4.5限制因素科研需要落地,科技創新、服務社會、服務產業,不局限于學術,滿足于論文,尤其對計算機技術這類應用性很強的學科,需要真刀真搶,而非脫離應用的些紙上談兵。4.6 遇稍縱即逝:虛擬現實隨著硬件成本的快速平民化,系統平臺的不斷升級換代,其步入社會應用的步伐愈來愈快,加之近年來受到資本的追逐,一個嶄新的時代已為期不遠。隨著應用與市場的逐漸明朗化,必然吸引大批的加入者,拖得越久,競爭就愈激烈,我們也會再一次喪失歷史曾給予過我們發展的重要良機。唯有建設才有發展。即使困難不少,但我們在桌面虛擬現實的研究還是取得了重要進展,項目水平達到了相當的應用水平,為今天所提方
33、案的實施打下了重要基礎。三、 主要攻關內容及技術路線(一)體系構架VR教育解決方案通過優質VR內容和最新VR硬件配套,將傳統學習方式、網絡化學習方式乃至互聯網+教育模式推向一個新的層次。為滿足總體設計目標、實現系統需要,將從業務架構、應用架構、數據架構以及技術架構四個方面提出總體設汁方案。 系統業務架構(圖3-1-1系統業務架構)根據職責及業務規劃不同將系統從業務上劃分為五部分:最底層為課程資源分類;中間為VR內容建設、學習者(學生)行為及VR學習環境;最上層為評價與追蹤。VR學習環境部分全部依賴其余四部分,剰余四部分按圖3-1中層次關系從頂向下產生依賴關系,不可反向為之。各部分職責及業務描化
34、如下:1.資源分類:提供整個系統的資源分類信息,首先需要構架一顆完整全面的學科分類樹,可以和現有的網絡課程資源(川師4A網課)對接。資源分類業務為VR內容建設及學習者行為提供基礎數據設計范式、也是學習者行為設計、VR學習環境構建的重要依據。例如對于職業教育中的操作技能訓練,則需要構建高保真的現場工作環境,并采用數據手套交互模式塑造學習者行為,從而達到良好的訓練效果;而對于化學仿真實驗,只需采用非沉浸式的桌面環境外加參數變量,學生通過相關配置和調整達成教學目標。在分類業務的功能設計上須有可自動擴展的程序設計及實現;重點功能需滿足節點管理、節點關鍵字管理功能需要。系統需支持簡單的權限控制、用戶管理
35、功能便于安排操作人員分節點維護。資源分類如圖3-1-2所示:(圖3-1-2)2.內容建設:此部分為VR學習環境提供所需推薦電子資源的預處理功能。在當前VR硬件發展迅猛而配套教育資源不足的情況下,該系統采用UGC(User Generated Content指用戶原創內容)設計理念,每個教育工作者都可以參與建設并完善VR課程資源庫。內容建設以抽象化的 3D 場景表示為核心,采用面向協同的可視操縱架構,集成了模型、場景、人員、配置的管理和協作模塊,形成了完整并具有通用性的解決方案。需要支持3D模型、材質、紋理、shader程序、骨骼動畫及文檔資料、語音、視頻等非關系型數據,對非關系型數據需要做摘要
36、處理轉化為類關系型數據,尤其對語音及視頻需要從中摘出關鍵信息形成連接關系并依據分類樹進行學科、課程分類,按統一規劃打造VR教學內容生態圈。3.使用者(學生)行為:該業務部分采用先進的人機交互手段達成教學目標。學生通過與信息環境的自主交互行為獲取知識、技能。為了匹配不同的交互硬件,系統根據不同的課程類型與教學目標對學生的交互行為進行分類和封裝,形成抽象交互層及其接口。4.VR學習環境:此部分為系統的核必功能體現,結合調用其他四部分數據營造最終自主學習環境。該業務部分包含一個高性能的圖形引擎,能夠快速響應外圍交互硬件的追蹤數據(如高速頭部追蹤、眼動儀數據等)5.追蹤與評價: 傳統的教學評價大都是由
37、老師批改學生的作業和考卷,或憑主觀印象給出成績,這種評價方式存在著一定的弊端。隨著教學信息化改革的推進和計算機的普及,在虛擬環境下進行教學評價已成為可能。教師可以對每一位學生進行學習記錄的全程跟蹤,包括查看學生的學習報告,訪問課程的次數、學生參與某個教學模塊的情況。在評價內容上從課程內容學習、參與互動交流、考試與作品和課外資源學習四個方面進行了細分和聚類,構建了基于虛擬現實環境的個性化學習評價模型。在評價結果上,依據柯氏四級評估模式和布魯姆教學目標分類理論設計了基于教育大數據的個性化評價層次塔,該層次塔包括學習成效、概念轉變、學習遷移和學習力四個層級。最后,結合教育大數據、教育云服務、個性化評
38、價模型和評價層次塔,設計了個性化學習評價系統模型,包括信息采集模塊、數據分析與處理模塊、個性化評價模塊和可視化反饋模塊,并通過云管理層實現對教育云服務平臺、云存儲池和云集群計算平臺的調控和管理,以期為后面開展個性化評價系統的設計與開發提供有益的指導。通過追蹤與評價獲取課程教學大數據并持續改進VR教學系統,VR教育大數據將成為推動教育變革的創新戰略資產。(二) 應用架構在充分分析VR教育解決方案功能需求與業務邏輯的基礎上,遵循邏輯結構中定義各子系統功能及實現方式,按照分層設計原則,明確系統功能設計及應用總體架構如圖3-2-1所示。(圖3-2)(圖3-2-1總體應用架構)其中基礎服務層為上層應用提
39、供數據庫服務、會話管理、協同支持、異常處理等服務。教學資源管理層是一個面向協同的、采用多人眾包模式的資源共享平臺,主要面向教師或者課程開發人員,實現各學科知識點向虛擬現實情境遷移,從而為優質VR教學內容的創作、分發、迭代更新提供技術保障。面向協同的VR建模平臺,包括VR場景的生成、課程知識場景映射、場景協同交互、用戶權限控制、語義支持等多個功能模塊和可配置模塊。VR教學應用層主要面向學習者,為學習者的學習活動提供虛擬現實環境支撐,該部分集成自然的人機交互技術和高性能圖形渲染引擎,是整個系統的核心部分。在學習活動進行的同時,每個學習者的學習行為軌跡將被全面追蹤記錄形成結構化數據。(三) 數據架構
40、VR教育解決方案是一個基于數據驅動、多用戶數據共享、實時數據生成的全新環境。在滿足總體設計目標和應用架構設計的前提下,設計總體數據架構如圖3-3所示:(圖3-3)數據架構1. VR場景數據庫。在完成知識點向VR場景的映射后,需要一個專門的場景數據庫。場景數據庫包含場景信息、語義信息 概念結構信息與版本信息。其中,場景信息需要詳細記錄場景ID、場景名稱、場景描述、場景類型和場景創建者信息。2. 學科分類樹內容庫。對于主要供學科分類樹應用使用,屬于外來資源的重要存儲庫,同時也是學科分類樹自動增長操作的重要數據落地點,它提供VR教育內容生態系統的土壤。3. 用戶信息庫。存儲用戶和用戶專屬的、個性化課
41、程信息。用戶信息與虛擬現實環境的中的虛擬人物角色(化身)對應,同時也為VR教育資源管理應用提供用戶、權限及各種關系數據。主要利用MongoDB的水平擴展能力滿足分類樹存儲量大的需求。4.記錄追蹤庫,通過MongoDB存儲學習者的整個學習流程,為學習效果評價、教學內容更新乃至教育決策支持提供依據。5.配置信息庫。記錄日志、軟硬件配置信息,確保系統平穩運行。在系統發生錯誤時可以實時回滾策略;在硬件配置發生改變時可以自動調整,通過優雅降級或者漸進增強的方式給用戶帶來最佳體驗。(四) 技術架構VR教育解決方案選用Unity3D虛擬現實圖形引擎并結合源生web3D以及HTML5技術,根據本身的業務情況做
42、適當的創新,其總體技術架構如圖3-4-1所示:(圖3-4-1技術結構)總體上采用分層架構的思想,將系統劃分為三個層次:數據層、業務邏輯層和表現層;每個層之間采取上層能依賴下層而下層不能反向調用上層的策略。數據層采用mongoDB數據庫,mongoDB文檔結構的存儲方式非常適合存儲不同類型的VR教學資源,并幫助用戶更便捷的獲取數據。mongoDB可以直接和上層的node服務器通信,或者通過JDBC Driver與Unity3D通信。在業務邏輯層分別采取桌面程序和web應用的部署方式,采用開放的自然人機交互驅動模塊(OpenNI)適配種類繁多且日益發展的外圍硬件設備。針對桌面程序選用unity3D
43、作為圖形引擎。VR教育內容開發中,Unity3D具有以下優勢:1. Unity3D開發平臺主要是MonoDevelop,這個平臺可以嵌套多種編程語言,其中js和c#是最常用的兩種,而js語言容易入門,這使得教師更容易學習、參與到VR教育內容開發中來。2. Unity3D幾乎支持所有的跨平臺設計,是目前唯一一款可以提供所有平臺植入能力的三維仿真開發軟件,實現了手機平臺開發3D游戲和虛擬現實系統,支持flash輸入格式,對于移動學習的移動平臺建立具有重要的啟示和意義。3. Unity3D能夠創造高質量的3D仿真系統和真實視覺效果,對DirectX和OpenGL具有高度優化的圖形渲染管道,低端硬件也
44、可以流暢運行茂盛的作物、植被景觀和實時三維圖形混合音頻流和視頻流,使得教育資源得到更好的呈現、知識內容具有更好的交互性和吸引力。4. Unity3D能夠支持更大的場景、更多的展示物件以及更炫的展示效果,僅占用很小的空間,這些特性教學內容得到更好的應用和普及。在web端可以WebGL+Threejs三維引擎實現虛擬現實場景渲染。作為一種替代方案可以直接通過unity3D的web發布功能,但是此種做法需要用戶瀏覽器安裝插件,不符合互聯網的以及web發展方向故不建議采用。四、 該項目的技術創新點(一)技術創新點1. 面向協同的虛擬現實教學內容生產方式。對于一般性的數字化教學資源,其中大部分都是由一線
45、教育工作者生產的,與之對應的是虛擬現實資源大部分是由專業軟件開發團隊生產的,這與虛擬現實內容制作難度較高有關,這種情況帶來的結果是:生產人員不足造成的內容匱乏;生產人員缺乏教育背景以致內容水平較低、實用性較差,現有VR教學資源基本停留在情境體驗式學習階段,對于復雜的認知與邏輯重建類型的學習罕有涉及。本系統提出一種具有普遍通用性的協同 3D 建模框架,通過統一的課程知識樹和通用的虛擬現實場景模型庫降低VR內容制作難度,將普通教育工作者納入到虛擬現實教學內容生產環境。系統以 B/S 架構為基礎,以協同 3D 概念化場景為核心,輔以協同環境中的模型與場景管理與智能提示,使通用性的 3D 協同平臺的搭
46、建成為可能。整體框架自上而下包含基于網頁的 3D 展示與操作平臺,3D 場景概念化與批處理中心,后臺支持服務器,系統儲存層等。2. 數據驅動。現有的互動教學資源大部分成碎片狀態,缺乏統一調度和管理,更缺乏以數據作為驅動的設計思想和實踐。VR教育解決方案創新性提出構建一個基于數據驅動、多用戶數據共享、實時數據生成的全新環境,數據貫穿整個學習活動之中。3. 抽象的用戶交互層。針對虛擬現實硬件尤其是交互設備種類多、配置差異大、更新換代快的情況,該解決方案設計一個抽象的用戶交互層,提供統一的接口適配不同的硬件設備,在硬件配置達不到系統要求時可自適應降級處理,在犧牲部分用戶體驗的情況下不缺失基本的教學功
47、能。(二) 該項目的主要技術難點:虛擬場景合成與沖突處理在協同虛擬環境建模過程中,實際三維場景與概念場景之間將相互轉換,多個用戶創造的多個概念場景會完成合成。轉換和合成的過程需要有設計合理的邏輯算法和實現。而這其中最為重要的就是場景組合技術。因為概念化場景合成算法主要是指在本協同架構服務器端,當獲取了多個用戶的操作批處理和版本信息之后,如何通過邏輯算法形成合理而無沖突的合成場景,并推送給用戶。因此,我們將此算法描述如下1. 比較所有用戶的版本 V1、,V2 Vn是否與 Vc相同,若不同,相應用戶 k 的操作批處理 Sk和版本 Vk進入沖突列表 L 等待進一步的處理。 2. 以模型 ID 為分類
48、標志,對所用用戶的操作批處理 S 進行劃分。 3. For each (模型 ID),若對應的操作集合可以合并,則合并成新的操作批處理S1, S2 Sn,否則加入沖突列表 L 等待進一步的處理。 4. 對新加入模型或刪除模型操作進行單獨處理。 5. 對當前概念化 Vc應用操作 S1, S2Sn,形成新概念化場景 Vnew。 6. 對 Vnew進行語義沖突及幾何沖突檢查,若有沖突則加入沖突列表 L 等待進一步處理。 7. 將無異議 Vnew推送給用戶,進行用戶端的組裝操作。從上面的場景合成算法分析中可以看出,目前系統在合成過程中,會進行多個階段,而每個階段都有可能會產生沖突,這些沖突將被加入沖突
49、列表中等待沖突處理步驟進行進一步的處理。這些沖突可簡要分為指版本沖突、不可合并沖突以及語義及幾何沖突。他們以遞進的方式表示了為了維護協同環境中數據一致性所需要解決的問題。 版本沖突是最低層的沖突類型。因為如果場景的版本不同就會使用戶的操作對象完全相異,這使得一切用戶的操作都不再有意義,因此必須保證用戶操作的場景版本是一致的,版本沖突必須最先被處理。再高一層的沖突是不可合并沖突,一般是指在同一場景中,不同用戶對于同一模型的操作,這兩種操作相互排斥,因此必須有某種方式來選擇合成的結果。最高一層的沖突是語義及幾何沖突,代表了在空間意義上和語義層面上模型之間的不合理,需要解決協同過程中用戶操作和場景數
50、據的合理性。本解決方案通過基于用戶優先級的選擇、管理員仲裁與提示回滾技術(Roll back)解決虛擬場景合成與沖突問題。五、 現有工作基礎和條件(一)開發人員配置情況姓 名性別文化程度專業工作單位職 稱組內具體分工李奇男碩士計算機技術川師大高工系統設計劉云安男碩士計算機技術川師大講師系統開發陳跡浪男碩士三維設計川師大講師建模。(二)技術支持可視化計算與虛擬現實計算機圖形圖像研究中心,可提供本系統開發關聯的算法與交互關聯的二次開發,若需要。(三)設備設施配置配套建設:“可視化計算與虛擬現實四川省重點實驗室虛擬現實沉浸技術實驗室”。詳見附件-虛擬現實沉浸技術實驗室建設(四)資金保證情況:本系統開
51、發啟動期投入開發費20萬元。六、 申請基礎條件(包括主要研究成果)(一)已有基礎1.開發條件:實驗室初步具備“桌面虛擬現實-非沉浸式體驗系統”開發的硬件條件:中型三維環幕一套,未報廢服務器、開發機,包括入門級渲染6臺,普通未報廢計算機5臺,可規劃使用場地70平米。2項目關聯技術積累:基于新課標的初中化學二維仿真交互教學實驗平臺基于新課標的高中化學二維仿真交互教學實驗平臺三維虛擬交互多人在線仿真公安培訓系統三維交互式數字展覽館系統三維交互式園區地理系統體驗式旅游信息系統批量交互式課件設計以上初、高中化學二維仿真教學實驗平臺系統經多所中學試用+改進不少于3年,具備實用性,被國內400多所中學用于教
52、學;公安多人在線仿真培訓系統通過由公安部組織、重慶市公安局主持的驗收;三維交互式數字展覽館系統、三維交互式園區地理系統均以產品方式上線; 體驗式旅游信息系統獲成都市科技局主持的驗收;批量交互式課件設計多個課件獲全國一等獎。3項目開發團隊:三維設計團隊,不少于5人(專業人員),可帶學生加入不少于20人軟件開發團隊,不少于5人(專業人員),可帶學生加入不少于10人教育專家,涉及教育心理、教育方法及一線特級教師不少5人(其中部分川師附中學特級教師)以上條件可開展基于桌面虛擬現實系統非沉浸式系統的小規模開發,但不具備沉浸式系統的開發。(二)新增條件實施四川省重點實驗室的 “虛擬現實沉浸技術實驗室”建設
53、。詳見附件七、進度安排和實施方案啟動期階段做好以下工作:1盡快使 “虛擬現實沉浸技術實驗室”落地,啟動虛擬現實沉浸技術產品的研究開發。2將基于二維的初高中化學仿真教學系統改制為基于虛擬現實桌面非沉浸式系統的應用。3開展中學物理實驗教學、地理、歷史、地理、語文、數學、英語類基于虛擬現實桌面非沉浸式系統應用的需求設計,為后續系統開發做好準備。4開展職業學校需求調研,為后續系統開發做好準備。具體見下表:序號階段階段階段目標1啟動期2016.4-2016.91.完成非沉浸性與沉浸性中學化學實驗教學系統2.完成沉浸性中學化學實驗教學系統3.完成中學物理、歷史、地理、語文、數學、英語需求設計4.職業學校需
54、求調研2中期2016.9-2017.91. 完成非沉浸性中學物理實驗教學系統與地理教學系統2. 完成沉浸性中學物理實驗教學系統與地理教學系統3. 完成沉浸性數控機床培訓操作系統3拓展期2017.10-2018.101. 完成非沉浸性中學語文教學系統與數學教學系統2. 完成沉浸性中學語文教學系統與數學教學系統3. 完成沉浸性焊接培訓操作系統八、 啟動期成果和考核目標主要技術經濟考核指標:完成VR教育解決方案系統框架設計;完成基于虛擬現實桌面應用的STEM教學評價系統;完成基于虛擬現實“沉浸式/非沉浸式”桌面應用的化學仿真實驗子系統的開發設計,并在學習者中推廣,以達到體驗和驗證; 申請技術專利1項
55、。九、 推廣及應用前景社會經濟效益:本文所提到的方案涉及重大技術應用創新,密切吻合虛擬現實對社會生活將產生顛覆性的重大改變這一事實推斷。據賽德數據(國內最著名咨詢調研機構)的調研,虛擬現實技術將是互聯網后再一次對社會產生重大影響的科技事件,為國內帶來不低于萬億級的GDP增長。虛擬現實硬件技術的研發與應用在國內已受到資本的密切關注與追捧,這僅僅為前奏。隨著硬件產品的快速平民化、普及化,以內容為主體的沉浸式虛擬現實設計與解決方案將產生出爆炸性需求。“虛擬現實教育”作為教育公平的載體,把公平帶到邊遠貧困地區,受益一方人,其社會效益不可估量。而這個載體若為川師大首創,川師大將功不可磨,在中國教育史上必
56、將留下濃墨重彩。遠不止如此,當你的貢獻為政府所急,來自政府的支援便順理成章。反過來又促進了自己的壯大與發展。當本項目啟動期工作完成后,采用兩種方式來支撐中期與拓展期的發展:1.進入國家的教育扶貧工程,獲得政府基金;2.產業融資。如前所述,基于良好的社會聲譽與產品的獨特性吸引資本注入,融資額度不少于1000萬,構建不限于教育類虛擬現實產品的開發,進入虛擬現實的高級運用期,形成教育、數字娛樂、軍事、公共安全、醫療、制造業等領域的優秀解決方案,進而全面服務社會并獲得很好的經濟效益。十、 經費概算及來源項目經費按實施階段投入,分為啟動期、中期、拓展期1.啟動期:1)設備設施-基于省重點實驗室的 “虛擬
57、現實沉浸技術實驗室”建設,建設費100萬.2)系統開發投入:xxxxxx萬.系統開發經費萬元(單位:萬元)資金來源自 籌貸 款申請補助合計金 額xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx中 期:啟動期任務完成后提出中期系統開發預算拓展期:中期任務完成后提出拓展期系統開發預算十一、結論:本項目基于客觀形勢、現有條件與多年的研發積累提出,新增投入不大,技術可行,社會經濟效益巨大,具重大開發意義,希望盡快開展。附:“可視化計算與虛擬現實四川省重點實驗室-虛擬現實沉浸技術實驗室”建設需求1.場地:70-100平米(有)2.設備清單:開發級數據頭盔4個:15-20萬體驗級數據
58、頭盔或數據眼鏡:25個:預計經費4萬-6萬數據傳感器或數據手套:15個:預計經費6萬10萬開發引擎(平臺軟件):達索系統或U3D,30個點位,預計經費35萬40萬Microsoft hololense,2,2.4x2=4.8Oculus rift 2x0.6=1.2多人在線運用工具軟件:預計經費5萬阿里云服務器,1臺, 預計經費4萬開放存儲服務, 1臺, 預計經費2萬配套開發計算機:20臺,預計經費20萬移動終端:小型平板電腦,6個,預計經費4萬以上合計經費80萬90萬3.設施:平面式機桌/椅,一套,容納25個機位柜式空調一個投影儀一個4.其他以上總計100萬元左右THANKS !致力為企業和個人提供合同協議,策劃案計劃書,學習課件等等打造全網一站式需求歡迎您的下載,資料僅供參考