基于 Python 的人機對話自然語言處理

　　摘 要：本文調用了 Python 功能豐富的第三方庫 jieba 以及 TextBlob，利用其強大的函數方法讀取了存于 Text 文檔中的科幻文學人機對話以及 Siri 和 Cleverbot 的對話文本并進行了分析;隨后借助 Excel 實現了對于量化數據的可視化分析，并結合自然語言處理和語用學理論提出了一種強人工智能的語言模式，最終實現了一次完整的基于 Python 的自然語言處理，為人工智能中的人機對話領域的研究者提供了一種分析文本的可能思路。

　　李軒宇; 李御龍， 科學技術創新 發表時間：2021-08-12

　　關鍵詞：Python3.7;自然語言處理;可視化分析;人機對話;語用學

　　1 選題背景與意義

　　十三五期間，我國公布了《新一代人工智能發展規劃》，該規劃描述了三個主要發展階段，確定了至 2030 年使中國成為人工智能世界主要創新中心的目標。

　　實現強人工智能人機對話的關鍵是理解并處理自然語言，但想要完成這一目標，除了語料數據的支撐，同樣需要人工智能擁有情感交流的能力。根據傳播學的信息交互理論，人與人之間的內容溝通大約只占 20%，而情感溝通要占到 80%。因此，如何深層次地理解語境并進行合適的情感交流，是人機對話領域的重點。基于 Python 的英語自然語言處理已存有較多研究，但語料文本多出于網絡[1]，在科幻類文學中的人機對話領域，目前尚無成熟的研究。

　　在此背景下，本文將以文學文本中的人機對話為語料，基于 Python 的自然語言處理功能來分析文學作品中人機對話，并結合語用學理論，以此來整合出一種強人工智能的語言模式。

　　2 Python 自然語言處理需求分析

　　在對于科幻類文學中人機對話進行自然語言處理的過程中含有兩個關鍵步驟，其一是讀取文本并進行相關統計，其二是對其內容進行分析。

　　就第一部分而言，考慮到目標是文本分析，因此選擇是在自然語言處理領域已經較為成熟的 jieba 庫。基礎編程思路是利用 jieba 庫內置的豐富方法，如 lcut 函數，來進行分詞與詞頻統計等一系列相關處理。在具體讀取過程中，可利用 Python 的列表與字典功能對文本內容進行轉存[2]。

　　在進行第二部分時，考慮到 SnowNLP 和 NLTK 庫并不具備處理大量復雜的英語語言文本的能力，因此本文選擇了在英語語言國家更為常見的 TextBlob 庫[3]。統計完成后，本文將在運行結果的基礎上對于原始文本的數據進行分析，并基于文學文本內容的情感得分和主客觀得分定義兩項新的評分，即 “禮貌值”與“合作值”。

　　3 關鍵代碼說明以及代碼測試

　　3.1 所使用第三方庫介紹

　　如前所述，本文最重要的環節是文本處理，而在實現需求的過程中將主要調用 Python 的兩個第三方庫，分別為 jieba 庫與 TextBlob 庫，本部分將簡述這兩個庫的功能以及在本項目中所起到的具體作用。本部分代碼所調用第三方庫名稱以及應用：

　　(1)jieba 庫：對原文文本實現分詞處理并進行統計詞頻

　　jieba 庫是一款優秀的 Python 第三方分詞庫，支持三種分詞模式，函數簡單，容易上手。

　　(2)TextBlob 庫：統計分析文本內容的情感傾向得分

　　TextBlob 是用 Python 編寫的開源文本處理庫，可以用來執行很多自然語言處理的任務，比如，短語提取、詞匯標注、情感分析、語法分析、情感分析與添加語言新模型，等等[4]。

　　3.2 代碼設計

　　本部分將介紹代碼的兩個主體部分，其功能分別為統計詞頻和分析文本情感傾向。礙于篇幅所限，本部分只介紹重要代碼與編程思想，部分代碼將略去不表。

　　下述 def 代碼(1- 25 行)功能為統計詞頻，具體實現過程中調用了 jieba 庫[5]，隨后簡單使用 cut 方法設置停用詞并利用列表功能進行詞頻統計，本部分代碼的輸出文件將會是一個存有詞頻的 Text 文檔。代碼 26- 30 行的功能為分析文本內容極性(即情感積極 / 消極程度)以及文本主客觀程度，在代碼中分別定義為“Emotion”與“Subjectivity”。此處代碼意在簡要說明 TextBlob 庫中重要的 sentiment 方法與 polarity 方法。

　　4 數據的可視化分析

　　4.1 對于科幻小說中人機對話的分析數據

　　本部分以 Python 的 TextBlob 庫所得出的源文本情感得分和主客觀程度得分為基礎，分別對于科幻類文學中的 AI、iPhone 助手 Siri 以及人工智能機器人 Cleverbot 在相同對話中所做出的回答進行了文本分析。為了使得數據更加直觀，本部分選取了科幻類文學文本中較有代表性的 30 個問題，分別令人工智能 Siri 和 Cleverbot 進行回答，結合科幻類文學中的人機對話，利用 Excel 進行數據的可視化分析。

　　分析結果表明，Siri 和 Cleverbot 的情感得分分布圍繞著兩條基本線：- 3.125 和 0(最大值為 10 而最小值為 - 10)。即 Siri 在面對多個問題時采取了“回避策略”，即對問題表示不知道答案，這也是現有人工智能在人機對話中的常見策略;與之相比，人工智能 Cleverbot 則試圖在回答問題時保持絕對理智，盡量不夾帶情感。與之相比，科幻類文學中的 AI 則盡量與對話人保持相接近的情感傾向。

　　而在主客觀程度的得分上可以的出類似的結論，即科幻類文學中的 AI 盡量與源問題中的主客觀程度保持一致，而 Siri 與 Cleverbot 的回答得分分布依然圍繞著兩條基本線：6.875 和 0 (最大值為 10 而最小值為 0)。即 Siri 的回答更為主觀，而 Cleverbot 則盡量保持絕對客觀。這一點其實也與兩款人工智能的市場定位有關：Siri 的 市 場 定 位 是“私 人 辦 公 助 手”;而 Cleverbot 則是用于智能對話的機器人。故此，Siri 的回答會基于 “為 iPhone 用戶提供個性化的幫助”而變得更加“私人化”，而 Cleverbot 則采取了“理智回答”方案。

　　4.2 禮貌值與合作值

　　參考前部分的數據分析結果，可得出四項分析內容的平均分：

　　如上表所示，四項內容在情感內容平均分上相差不大，雖然可從主客觀得分上判斷出 Siri 和 Cleverbot 的明顯不同，但由于源問題各不相同，很難單一用平均分進行判斷。故此，本項目引用自定義的兩個評分項，分別為合作值“C”與禮貌值“P”，其定義式如下：

　　其主要數據對比為情感得分與主客觀得分的差值，即反應兩者之間的極性。禮貌值與合作值的平均分如下：

　　5 人機對話自然語言處理以及語用學分析結果

　　1983 年，Leech 在《語用學原則》一書中提出了禮貌原則，其中包括兩條重要準則，一致原則與同情原則[6]。即減少自己與別人在觀點上的不一致[7]。除此之外，格萊斯 1975 年在“邏輯與會話(Logic and Conversation)”一文中指出了合作原則的原則，其中包括量準則、關聯準則以及方式準則，即避免言語晦澀，邏輯要簡潔清晰[8]。

　　基于前文分析，可以得出結論，科幻類文學中的“強人工智能”不論是在情感還是主客觀程度上都傾向于與對話者保持一致，但現有的人工智能則傾向于在對話中采納以“回避”為主的消極主觀態度(例如 Siri)或以“不犯錯”為主的中性客觀態度(例如 Cleverbot)。實際上，人工智能 AI 的對話原則與語用學的兩大原則，即“禮貌原則”與“合作原則”[9- 10]，不謀而合，亦即是說，這兩條原則可以成為人工智能語言模式中的一部分。具體到人機對話領域中，人工智能應當盡量在對話時與對方在情感與語言極性上保持一致，同時使得自己的話語與對方在邏輯、主客觀程度和信息量上達到態度一致，圖 1。

　　6 結論

　　本文調用了 Python 的 jieba 庫詞頻統計、TextBlob 庫情感分析以及 re 庫 Python 辦公自動化等多種功能，實現了一次完整的基于 Python 的自然語言處理，為人工智能中人機對話領域的研究者提供了一種分析文本的可能思路。但文章中尚存有不少課繼續探究之處。首先，自然語言處理并非只能局限于 Python，目前這一領域的研究已經較為成熟，在經過外文文獻閱讀后可以得到更多的研究視角;其次，TextBlob 庫以及 SnowNLP 庫只是 Python 強大第三方庫中的冰山一角，倘若對于 Python 加以更富有創造性的使用，勢必可以獲得更加客觀且更富有統計學意義的分析結果，而更加前沿的研究，則需要未來更加深入且不間斷地探索與思考。