前言：尋找寫作靈感？中文期刊網(wǎng)用心挑選的云服務(wù)基礎(chǔ)教育網(wǎng)絡(luò)資源論文，希望能為您的閱讀和創(chuàng)作帶來(lái)靈感，歡迎大家閱讀并分享。

一、問(wèn)題的提出

廣州市現(xiàn)有12個(gè)區(qū)，基礎(chǔ)教育階段中小學(xué)校超過(guò)2000所，在校學(xué)生近200萬(wàn)人，教職工約15萬(wàn)人。為滿足廣大師生學(xué)習(xí)和工作的需要，引領(lǐng)教育發(fā)展的方向，廣州教育信息化建設(shè)始終走在全國(guó)的前沿。從2002年開(kāi)始建設(shè)廣州教育科研網(wǎng)，鋪設(shè)光纖總長(zhǎng)度約25000公里，接入單位近2000家，聯(lián)網(wǎng)電腦數(shù)在30萬(wàn)臺(tái)以上，覆蓋城鄉(xiāng)各級(jí)各類學(xué)校，成為目前國(guó)內(nèi)規(guī)模最大的基礎(chǔ)教育光纖城域網(wǎng)。在完善硬件建設(shè)的同時(shí)，廣州注重教育網(wǎng)絡(luò)資源的建設(shè)，從2004年啟動(dòng)“教育e時(shí)代”工程開(kāi)始，市教育信息中心先后購(gòu)買或建設(shè)了多種類型的教育資源。各區(qū)也結(jié)合自身的優(yōu)勢(shì)，探索建設(shè)具有區(qū)域特色的資源庫(kù)。到目前為止，廣州市、區(qū)兩級(jí)教育部門積累的教育網(wǎng)絡(luò)資源超過(guò)100T。形成了共建共享、內(nèi)容豐富、形式多樣的教育信息資源體系。隨著資源總量的增大和類型的增多，隨之產(chǎn)生了非結(jié)構(gòu)化、異構(gòu)等問(wèn)題，導(dǎo)致資源的查找、索引比較困難，優(yōu)質(zhì)資源淹沒(méi)在海量資源中，造成網(wǎng)絡(luò)資源使用率低。如何利用挖掘技術(shù)有效地提高資源的獲取速度，從而提高資源使用率呢？

二、云服務(wù)支持的基礎(chǔ)教育網(wǎng)絡(luò)資源挖掘策略

基礎(chǔ)教育網(wǎng)絡(luò)資源包括素材類教學(xué)資源，如文本、圖形/圖像、音視頻等媒體素材，以及集成型教學(xué)資源，如課件、研究性學(xué)習(xí)專題、網(wǎng)絡(luò)課程等。具有內(nèi)容豐富、數(shù)量龐大、增長(zhǎng)迅速、覆蓋面廣等特點(diǎn)。因格式和種類繁多，采用傳統(tǒng)數(shù)據(jù)挖掘方法對(duì)此類資源進(jìn)行挖掘的效果不佳。廣州市基礎(chǔ)教育網(wǎng)絡(luò)資源挖掘策略是在云計(jì)算環(huán)境下，采用搜索引擎和Web緩存兩種挖掘策略，來(lái)為廣州市教育科研網(wǎng)內(nèi)部用戶查找教育資源提供服務(wù)。

1.廣州市教育搜索引擎

廣州市教育搜索引擎是在參考國(guó)內(nèi)外其他學(xué)者研究的基礎(chǔ)上，經(jīng)過(guò)實(shí)踐探索自主研發(fā)基于NUTCH實(shí)現(xiàn)的全網(wǎng)檢索引擎。在教育網(wǎng)絡(luò)資源挖掘檢索方面，該引擎首次采用行業(yè)搜索引擎和“垂直”搜索引擎技術(shù)，依據(jù)自主用途排位的排序算法，通過(guò)爬蟲(chóng)和分詞關(guān)鍵技術(shù)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)資源的挖掘，并對(duì)中文分詞做個(gè)性化處理。

2.緩存挖掘策略

緩存技術(shù)具有減少網(wǎng)絡(luò)帶寬消耗、降低服務(wù)器壓力、減少網(wǎng)絡(luò)延遲等特點(diǎn)。在廣州教育科研網(wǎng)出口網(wǎng)關(guān)處部署緩存服務(wù)器，可以充分利用教科網(wǎng)內(nèi)帶寬充足、運(yùn)行穩(wěn)定的優(yōu)勢(shì)，針對(duì)基礎(chǔ)教育網(wǎng)絡(luò)資源采取緩存挖掘策略，以實(shí)現(xiàn)對(duì)資源的監(jiān)控、重定向和緩存。緩存技術(shù)策略不僅作為教科網(wǎng)內(nèi)部用戶與網(wǎng)內(nèi)資源服務(wù)器之間的橋梁，也是用戶與外網(wǎng)資源服務(wù)器之間的橋梁。

三、云服務(wù)支持的基礎(chǔ)教育網(wǎng)絡(luò)資源挖掘的實(shí)現(xiàn)

1.教育網(wǎng)絡(luò)資源搜索引擎挖掘策略的實(shí)現(xiàn)

研究采用云服務(wù)下的搜索引擎為工具，以廣州市、佛山市、中山市的網(wǎng)絡(luò)學(xué)習(xí)資源為研究對(duì)象，依據(jù)以下八部分關(guān)鍵技術(shù)來(lái)實(shí)現(xiàn)，其實(shí)現(xiàn)過(guò)程分析如下。

(1)教育網(wǎng)絡(luò)資源網(wǎng)絡(luò)地址集合分析

廣州市基礎(chǔ)教育網(wǎng)絡(luò)資源的地址集合由廣州市年度教育信息化調(diào)查獲取的網(wǎng)絡(luò)地址、廣佛同城化教育信息化專項(xiàng)建設(shè)時(shí)佛山市提交的網(wǎng)絡(luò)資源地址、中山市教育網(wǎng)絡(luò)資源地址三部分組成。搜集整理的網(wǎng)絡(luò)地址集合如表2所示。搜索引擎機(jī)器人以搜集的這三部分網(wǎng)絡(luò)資源網(wǎng)址為入口，理論上，通過(guò)超鏈接的方式，能鏈接到絕大部分網(wǎng)頁(yè)。

（2）集合地址內(nèi)容及狀態(tài)更新操作

利用搜索引擎inject操作，調(diào)用搜索引擎的核心包c(diǎn)rawl對(duì)上述教育網(wǎng)絡(luò)資源地址集合庫(kù)進(jìn)行網(wǎng)絡(luò)地址狀態(tài)的檢查、更新和分析，其主要的操作有：①對(duì)每個(gè)網(wǎng)址進(jìn)行格式化和過(guò)濾，消除非法的網(wǎng)絡(luò)地址，設(shè)定每個(gè)網(wǎng)址的狀態(tài)，按照一定的方法進(jìn)行初始化分值；②合并消除重復(fù)的網(wǎng)址；③將網(wǎng)址的狀態(tài)、分值存入crawldb數(shù)據(jù)庫(kù)，與原數(shù)據(jù)重復(fù)部分需更新。

（3）創(chuàng)建抓取列表并生成對(duì)應(yīng)目錄

本步驟實(shí)現(xiàn)創(chuàng)建抓取網(wǎng)址的列表，并以時(shí)間為名存放在segments目錄下。其操作實(shí)現(xiàn)分為：①?gòu)纳鲜鯿rawldb數(shù)據(jù)庫(kù)中取出網(wǎng)址并進(jìn)行過(guò)濾；②對(duì)網(wǎng)址進(jìn)行排序，通過(guò)網(wǎng)址、鏈接數(shù)和hash宣發(fā)綜合進(jìn)行降序排序；③將排列列表寫入segments目錄中。至此，教育搜索引擎基本完成了網(wǎng)址內(nèi)容抓取的所有準(zhǔn)備工作。

（4）頁(yè)面內(nèi)容抓取

頁(yè)面內(nèi)容抓取功能是將網(wǎng)址打開(kāi)后的具體內(nèi)容抓取出來(lái)，存放在對(duì)應(yīng)的segment目錄下。其過(guò)程分為：①按照segments目錄下的抓取列表執(zhí)行抓取動(dòng)作；②抓取過(guò)程中頁(yè)面中的其他網(wǎng)址可能改變，此時(shí)更新crawldb數(shù)據(jù)庫(kù)中的網(wǎng)址；③為提高抓取速度，抓取程序啟動(dòng)多線程；④抓取操作過(guò)程中調(diào)用解析程序解釋抓回來(lái)的數(shù)據(jù)。通過(guò)網(wǎng)絡(luò)資源庫(kù)網(wǎng)址頁(yè)面的內(nèi)容抓取，至此將所有目標(biāo)資源庫(kù)的內(nèi)容已經(jīng)抓取到廣州市基礎(chǔ)教育網(wǎng)絡(luò)資源搜索引擎庫(kù)中。

（5）解釋抓取的文本和數(shù)據(jù)并存放

解釋操作主要完成對(duì)抓取回來(lái)的頁(yè)面進(jìn)行文本和數(shù)據(jù)的解釋分析并歸檔存放到segments對(duì)應(yīng)的文件夾中。具體來(lái)說(shuō)，其操作為：①整理由抓取程序反饋的數(shù)據(jù)，將頁(yè)面內(nèi)容分為數(shù)據(jù)和文本兩部分；②數(shù)據(jù)主要是頁(yè)面的題名、作者、日期、鏈接等內(nèi)容；③文本主要指頁(yè)面中的文本內(nèi)容。

（6）更新網(wǎng)絡(luò)資源地址集合

根據(jù)segments目錄下面的解釋分析出來(lái)的內(nèi)容，對(duì)crawldb數(shù)據(jù)庫(kù)進(jìn)行更新，為下一輪抓取做準(zhǔn)備工作。

（7）索引前的狀態(tài)更新

更新linkDB，為接下來(lái)建立文本內(nèi)容和數(shù)據(jù)內(nèi)容的索引工作提供準(zhǔn)備。

（8）索引過(guò)程

為給網(wǎng)絡(luò)資源學(xué)習(xí)使用者提供方便，本步驟主要是將抓取回來(lái)的數(shù)據(jù)轉(zhuǎn)換成文本，分析文本，并將分析過(guò)的文本保存到數(shù)據(jù)庫(kù)中。其實(shí)現(xiàn)過(guò)程為：①索引前，將數(shù)據(jù)轉(zhuǎn)換成文本字符流；②對(duì)數(shù)據(jù)索引前，進(jìn)行預(yù)處理，使之更加合適被索引；③將分析過(guò)的文本保存到數(shù)據(jù)庫(kù)中。搜索引擎挖掘策略通過(guò)上述八個(gè)步驟的操作，實(shí)現(xiàn)了廣州市基礎(chǔ)網(wǎng)絡(luò)資源庫(kù)搜索引擎的建立。

2.緩存技術(shù)挖掘策略的實(shí)現(xiàn)

廣州市教育科研網(wǎng)內(nèi)的用戶在訪問(wèn)教育網(wǎng)絡(luò)資源時(shí)，首先判斷是否符合資源描述數(shù)據(jù)庫(kù)。如果符合，則實(shí)現(xiàn)訪問(wèn)路徑重定向，把存放在系統(tǒng)或緩存中的文件路徑返回給用戶，用戶可以直接從內(nèi)網(wǎng)下載所需資源，否則再通過(guò)互聯(lián)網(wǎng)獲取。在減少網(wǎng)絡(luò)出口帶寬負(fù)擔(dān)的同時(shí)，大大改善了用戶的體驗(yàn)。其實(shí)現(xiàn)過(guò)程分為：①網(wǎng)絡(luò)資源使用者向源外網(wǎng)服務(wù)器發(fā)起請(qǐng)求，請(qǐng)求被重定向子系統(tǒng)捕獲；②重定向子系統(tǒng)針對(duì)所有用戶的請(qǐng)求進(jìn)行解析，統(tǒng)計(jì)當(dāng)前的網(wǎng)絡(luò)熱點(diǎn)內(nèi)容；③當(dāng)該資源達(dá)到了設(shè)定的熱點(diǎn)內(nèi)容閾值，且沒(méi)有被緩存系統(tǒng)緩存，將請(qǐng)求轉(zhuǎn)發(fā)至緩存子系統(tǒng)的資源管理設(shè)備；④資源管理模塊解析用戶請(qǐng)求，如符合系統(tǒng)緩存策略，則將該下載任務(wù)分發(fā)至當(dāng)前性能最優(yōu)的緩存服務(wù)器；⑤緩存服務(wù)器沒(méi)有保存該內(nèi)容，向負(fù)載均衡模塊請(qǐng)求用戶下載信息；⑥資源管理設(shè)備返回相應(yīng)的文件索引信息；⑦緩存服務(wù)器向外網(wǎng)的源服務(wù)器發(fā)出請(qǐng)求；⑧外網(wǎng)服務(wù)器返回該資源對(duì)應(yīng)的下載地址給緩存服務(wù)器；⑨緩存服務(wù)器向外網(wǎng)服務(wù)器節(jié)點(diǎn)請(qǐng)求內(nèi)容；⑩緩存服務(wù)器從外網(wǎng)服務(wù)器節(jié)點(diǎn)下載文件內(nèi)容。

四、網(wǎng)絡(luò)學(xué)習(xí)資源挖掘策略應(yīng)用效果分析

廣州市教育科研網(wǎng)內(nèi)用戶對(duì)教育網(wǎng)絡(luò)資源的檢索需求量比較大。通過(guò)實(shí)施教育網(wǎng)絡(luò)資源挖掘策略前后的記錄比照分析發(fā)現(xiàn)，利用搜索引擎和緩存系統(tǒng)，可以為用戶提供快速的網(wǎng)絡(luò)資源精準(zhǔn)定位服務(wù)，能極大改善用戶訪問(wèn)或下載網(wǎng)絡(luò)資源的體驗(yàn)，從而提高資源的利用率，并有效減輕教育科研網(wǎng)出口的負(fù)擔(dān)。

1.搜索引擎應(yīng)用效果分析

廣州市教育搜索引擎在2011年投入使用后，研究者對(duì)其檢索的關(guān)鍵詞做了技術(shù)統(tǒng)計(jì)發(fā)現(xiàn)：通過(guò)廣州市教育科研網(wǎng)進(jìn)行的信息搜索中，66%是搜索網(wǎng)絡(luò)學(xué)習(xí)資源，平均每天超過(guò)1千次；搜索其他類型資源的比例為44%。此外，通過(guò)對(duì)檢索分詞的分析，用戶對(duì)網(wǎng)絡(luò)信息資源的檢索技能欠佳，主要表現(xiàn)在關(guān)鍵詞的選擇不恰當(dāng)以及不會(huì)熟練使用高級(jí)檢索功能，導(dǎo)致出現(xiàn)誤檢或漏檢等現(xiàn)象，沒(méi)有達(dá)到預(yù)期的檢索效果。教育搜索引擎的精準(zhǔn)檢索，大大提高了網(wǎng)絡(luò)學(xué)習(xí)資源的精準(zhǔn)定位，從而提高了資源的利用率。

2.緩存應(yīng)用效果分析

緩存系統(tǒng)動(dòng)態(tài)搜集了12個(gè)區(qū)的教育網(wǎng)絡(luò)資源，到目前為止共緩存的容量超過(guò)13T容量的資源。在此基礎(chǔ)上，緩存系統(tǒng)平臺(tái)利用緩存技術(shù)對(duì)被挖掘出來(lái)資源的路徑、文件名等進(jìn)行梳理，并分類整合，形成緩存文件推送和分享平臺(tái)。基于本平臺(tái)，廣州市教育科研網(wǎng)用戶可以快速地發(fā)現(xiàn)網(wǎng)內(nèi)其他用戶關(guān)注的熱點(diǎn)教育資源，快速下載熱點(diǎn)文件，也可以分享自己的網(wǎng)絡(luò)學(xué)習(xí)資源。緩存系統(tǒng)從2011年12月到2014年7月，文件分享平臺(tái)訪問(wèn)人數(shù)已達(dá)到563179人次。在異構(gòu)環(huán)境下，緩存策略的實(shí)施能通過(guò)文件的索引重構(gòu)、分類推送、熱門分享等手段有效地解決學(xué)習(xí)者資源索引困難等問(wèn)題，大大提高了網(wǎng)絡(luò)學(xué)習(xí)資源使用率。

五、結(jié)論

研究在云服務(wù)的支持下，通過(guò)搜索引擎技術(shù)和緩存系統(tǒng)平臺(tái)技術(shù)的挖掘策略，有效地解決了教育網(wǎng)絡(luò)學(xué)習(xí)資源在使用中存在的索引困難、查找困難等使用問(wèn)題，從效果分析來(lái)看，云服務(wù)支持下的網(wǎng)絡(luò)學(xué)習(xí)資源挖掘策略，能較好地解決廣州市基礎(chǔ)教育網(wǎng)絡(luò)學(xué)習(xí)資源利用率不高的問(wèn)題，提高網(wǎng)絡(luò)學(xué)習(xí)資源的利用率。隨著人們對(duì)網(wǎng)絡(luò)資源的日益依賴，基礎(chǔ)教育網(wǎng)絡(luò)資源呈爆炸性增長(zhǎng)的態(tài)勢(shì)。本研究提出了在海量的教育網(wǎng)絡(luò)資源中能快速、準(zhǔn)確查找的兩種方法，但隨著互聯(lián)網(wǎng)絡(luò)的發(fā)展，研究在如何保證資源的正確性、準(zhǔn)確性、可用性等方面沒(méi)有做相關(guān)研究，一定程度上也阻礙了網(wǎng)絡(luò)學(xué)習(xí)資源的進(jìn)一步利用，這是本研究的不足之處。下一步，研究者針對(duì)網(wǎng)絡(luò)學(xué)習(xí)資源的利用和推廣做進(jìn)一步研究。

作者：伍曉峰 單位：廣州體育職業(yè)技術(shù)學(xué)院