支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺建設

　　【摘要】 大數(shù)據(jù)實驗平臺為大數(shù)據(jù)實驗教學提供了有力支撐。隨著移動設備的不斷普及，如何在輕量級終端上支持大數(shù)據(jù)實驗成為一個重要難題，而IPv6技術的應用為解決該問題提供了可能。提出了支持IPv6輕量級終端的大數(shù)據(jù)實驗平臺架構(gòu)，支持輕量級終端對大數(shù)據(jù)平臺云端集群的快速交互，實現(xiàn)在各類型輕量級終端設備上遠程進行大數(shù)據(jù)實驗的目標，從而突破大數(shù)據(jù)實驗教學的時空局限性。

　　高建良; 高俊; 段桂華， 工業(yè)和信息化教育 發(fā)表時間：2021-10-22

　　【關鍵詞】大數(shù)據(jù)平臺;實驗教學;IPv6技術;輕量級終端;人工智能;交叉學科

　　0 引言

　　數(shù)據(jù)科學與大數(shù)據(jù)技術人才培養(yǎng)需要加強大數(shù)據(jù)實驗教學[1]。在大數(shù)據(jù)實驗教學中，實驗環(huán)境通常運行在大數(shù)據(jù)集群上以處理海量數(shù)據(jù)。搭建集群的過程主要包括Spark、HBase、Hadoop等多種自動化和開源軟件的設計安裝，煩瑣的配置工作量大[2]。

　　為了解決高校的大數(shù)據(jù)實驗環(huán)境基礎構(gòu)建煩瑣困難的問題，已經(jīng)出現(xiàn)了不少商用大數(shù)據(jù)實驗平臺。例如，按照數(shù)據(jù)挖掘、大數(shù)據(jù)平臺與算法及行業(yè)實戰(zhàn)數(shù)據(jù)分析3個層次來構(gòu)建的大數(shù)據(jù)實驗平臺。一站式大數(shù)據(jù)實驗平臺集分布式實驗集群、主流平臺及教程、培訓于一體，緩解了配置難的痛點。但是，目前高校大數(shù)據(jù)實驗教學依然存在一些問題。一方面，高校的大數(shù)據(jù)實驗教學局限于僅在高校機房中配置大數(shù)據(jù)實驗平臺以完成教學及學習任務，時間地點不靈活，存在時空局限性問題。另一方面，隨著智能手機和平板電腦等輕量級移動設備的遍及，基于移動設備的學習資源設計已成為移動學習研究的方向之一[3-4]。若能借助移動智能設備，構(gòu)建支持輕量級移動終端的大數(shù)據(jù)實驗平臺，便可以突破大數(shù)據(jù)實驗的時空局限。因此，針對支持輕量級終端的大數(shù)據(jù)實驗平臺進行研究，提出支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺的解決方案。

　　1 大數(shù)據(jù)實驗平臺的背景和構(gòu)建意義

　　平臺建設是大數(shù)據(jù)落地的關鍵之所在[5]。呂云翔等人探究與實現(xiàn)了大數(shù)據(jù)在線學習網(wǎng)站以提升大數(shù)據(jù)學習的效率[6]。為了促進學生的大數(shù)據(jù)實踐，楊丹等人研究了“大數(shù)據(jù)技術”課程實驗教學環(huán)境的構(gòu)建[7]，趙亮、陳志奎設計了基于 Hadoop的大數(shù)據(jù)算法庫教學實驗平臺[8]。

　　大數(shù)據(jù)實驗平臺在線上學習和資源配置上具備極大優(yōu)勢。大數(shù)據(jù)實驗平臺不僅能減輕教師的實驗授課負擔，同時也能為學生的實驗學習提供保障。一方面，對于剛接觸大數(shù)據(jù)學習的學生來說，其在正確配置大數(shù)據(jù)實驗環(huán)境并且理解配置參數(shù)上存在困難。另一方面，很多學生選擇使用筆記本計算機進行實驗，但筆記本計算機的性能一般不足以支撐分布式實驗環(huán)境的搭建。目前學生的大數(shù)據(jù)實驗多數(shù)在虛擬機上完成，但是因為內(nèi)存、CPU等受限，無法給虛擬機分配足夠多的資源，學生只能以單機實驗為主，難以完成多機集群部署，給大數(shù)據(jù)學習帶來很大的困擾。

　　大數(shù)據(jù)實驗平臺功能強大，可以滿足教師實驗授課與學生學習的全部需求。云端的虛擬化大數(shù)據(jù)實驗平臺啟動快、占用資源少，可以在有限的物理資源上創(chuàng)建多個虛擬化的實驗機環(huán)境，并可遠程訪問，完成包括單機與集群環(huán)境下的大數(shù)據(jù)實驗。學生不需要搭建實驗環(huán)境，也無須等候?qū)嶒炇野才牛恍璧卿浽破脚_即可進行實驗;教師也可通過平臺方便獲知學生實驗情況，大數(shù)據(jù)實驗平臺主要功能如表1所示。

　　但是現(xiàn)有的大數(shù)據(jù)實驗平臺在遠程訪問和設備支持上存在不足。一方面，目前很多高校的內(nèi)部網(wǎng)站僅支持校內(nèi)網(wǎng)訪問，因此需要解決大數(shù)據(jù)實驗平臺的校外訪問問題;另一方面，智能手機、計算機等移動設備的數(shù)量逐年增長，智能終端已經(jīng)融入每個人的生活當中。隨著智能終端的不斷遍及，探討移動環(huán)境下的課程學習模式十分必要。

　　2 IPv6技術支持多終端大數(shù)據(jù)實驗平臺

　　構(gòu)建支持輕量級移動終端的大數(shù)據(jù)實驗平臺的困難在于如何建立與識別每臺移動終端與實驗平臺之間的連接。IPv6技術是很好的解決方案， IPv6技術有以下3方面優(yōu)點。

　　(1)擁有巨大的地址空間。IPv6能夠確保每個輕量級移動終端獲得其唯一的IP地址。隨著移動終端數(shù)量的爆發(fā)性增長，IPv6成為解決終端設備地址問題的根本途徑[9]。IPv6規(guī)定IP地址長度為 128位Bit，理論上存在2128-1個不同的IPv6地址，這使每個輕量級的移動設備都能擁有全球唯一的 IP地址成為可能。因此，借助IPv6技術，可以很好地建立與識別每臺移動終端設備與大數(shù)據(jù)實驗平臺間的連接。

　　(2)具有可靠的安全性。IPv6能夠保證數(shù)據(jù)傳輸中的數(shù)據(jù)安全可靠。IPv6網(wǎng)絡層可以加密用戶的傳輸數(shù)據(jù)并校驗IP報文，實現(xiàn)對通信端的驗證，極大地提高了網(wǎng)絡的安全性。IPv6根據(jù)密碼生成地址，能夠較大限度確保地址不被偽造[10]。因此，IPv6的安全性可以保證數(shù)據(jù)在傳輸過程中不被截獲和丟失，實現(xiàn)輕量級終端對大數(shù)據(jù)實驗平臺的安全訪問與數(shù)據(jù)傳輸。

　　(3)具備高效的數(shù)據(jù)傳輸速率。IPv6能夠保證數(shù)據(jù)傳輸速率的高效性。與需要大量冗長數(shù)據(jù)的IPv4相比，IPv6的固定報頭非常短，可以有效地提高網(wǎng)絡數(shù)據(jù)傳輸?shù)男省；诰垲愒瓌t的 IPv6地址分配方式，使用路由表中的一條記錄便可表示路由器的一片子網(wǎng)，從而減少路由器中路由表的長度，提高路由器轉(zhuǎn)發(fā)數(shù)據(jù)包的速度。因此，可以憑借IPv6高效的數(shù)據(jù)傳輸速率實現(xiàn)輕量級終端與大數(shù)據(jù)平臺云端集群的快速交互。

　　3 支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺

　　3.1  支持IPv6終端的大數(shù)據(jù)實驗平臺簡介

　　為了突破大數(shù)據(jù)實驗平臺的時空限制以滿足實時使用的問題，筆者提出構(gòu)建支持輕量級 IPv6終端的大數(shù)據(jù)實驗平臺，如圖1所示。支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺借助IPv6安全性高、地址廣泛和傳輸速度快的特點，利用云平臺與IPv6技術的結(jié)合，將輕量級終端(便攜式移動終端)納入平臺服務范圍內(nèi)，通過配置云平臺以支持IPv4/IPv6的雙棧網(wǎng)絡傳輸，實現(xiàn)輕量級終端對大數(shù)據(jù)實驗平臺的遠程訪問，省去用戶在終端上安裝實驗環(huán)境等煩瑣操作，同時突破時空訪問局限性，極大地提高大數(shù)據(jù)實驗平臺的使用便利性。

　　支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺主要分為3個模塊：輕量級終端、互聯(lián)網(wǎng)傳輸層和服務器集群端。輕量級IPv6終端主要包括手機、平板計算機和筆記本計算機等移動終端，以及用來發(fā)送終端傳輸信息的IPv6路由器。服務器集群端包括集群搭建的Master節(jié)點、Slave節(jié)點(如支持 Spark、Hadoop、Kafka等)、分布式資源管理器及用來接收終端傳輸信息的IPv6路由器;在輕量級終端和服務器集群之間的傳輸層通過使用支持 IPv4/IPv6的雙棧網(wǎng)絡傳輸，實現(xiàn)輕量級終端和服務器集群終端之間信息的穩(wěn)定傳輸，保證信息完整性和安全穩(wěn)定性。

　　3.2  支持IPv6終端的大數(shù)據(jù)實驗平臺架構(gòu)

　　支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺架構(gòu)如圖2所示，其主要包括3個部分：App應用客戶端、數(shù)據(jù)傳輸層和服務端。

　　(1)App應用客戶端。客戶端上的功能模塊主要分為代碼提交模塊、數(shù)據(jù)提交模塊和數(shù)據(jù)可視化模塊，以分別執(zhí)行代碼編輯、數(shù)據(jù)導入及數(shù)據(jù)可視化等功能。用戶通過支持IPv6的各類型輕量級終端(移動設備)下載大數(shù)據(jù)實驗應用客戶端，并在客戶端上完成用戶注冊和用戶登錄，通過支持IPv6的數(shù)據(jù)傳輸層建立與大數(shù)據(jù)實驗平臺的連接，實現(xiàn)與大數(shù)據(jù)集群數(shù)據(jù)交互。

　　(2)數(shù)據(jù)傳輸層。數(shù)據(jù)傳輸層主要包括支持IPv6的路由器和網(wǎng)絡，涉及基于IPv6的數(shù)據(jù)傳輸、地址轉(zhuǎn)換及隧道技術，以建立服務端與客戶端間數(shù)據(jù)傳輸?shù)臉蛄海ＷC服務端的大數(shù)據(jù)實驗平臺與輕量級移動終端間的安全高效傳輸。客戶端通過發(fā)送訪問請求和IP地址，經(jīng)由支持IPv6的路由器接收解析客戶端請求的數(shù)據(jù)，并發(fā)送到互聯(lián)網(wǎng)的傳輸層。傳輸層根據(jù)訪問地址IP找到服務端的大數(shù)據(jù)平臺設備所在的網(wǎng)絡接口，經(jīng)由服務端的IPv6路由器接收解析該訪問請求，并建立客戶端與服務端間的連接。

　　(3)服務端。服務端主要涉及大數(shù)據(jù)實驗平臺的服務器集群，主要為客戶端提供大數(shù)據(jù)實驗的資源服務。服務端的集群設備分為主節(jié)點設備和從節(jié)點設備。大數(shù)據(jù)實驗平臺的服務端支持基于YARN的資源管理系統(tǒng)、基于Kafka的流數(shù)據(jù)處理、基于Spark的數(shù)據(jù)處理及基于SparkML的機器學習。在數(shù)據(jù)存儲方面，支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺支持HDFS文件系統(tǒng)、HBase、 Redis、MySQL數(shù)據(jù)庫等來存儲和緩存各種類型數(shù)據(jù)。同時，大數(shù)據(jù)實驗平臺具有基于ElasticSearch 的數(shù)據(jù)檢索模式，保證大數(shù)據(jù)實驗的資源配置和大數(shù)據(jù)學習內(nèi)容的豐富性。

　　4 結(jié)語

　　大數(shù)據(jù)實驗環(huán)境配置復雜，對計算機性能要求較高。構(gòu)建支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺不僅可以解決實驗環(huán)境的設備性能制約問題，同時能夠滿足在各類型輕量級終端設備上進行平臺訪問的需求，突破大數(shù)據(jù)實驗平臺訪問的時空限制。支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺可為培養(yǎng)大數(shù)據(jù)應用型人才提供重要保障，滿足師生多元化與多終端的需求。