c7娱乐

網站首頁 收藏網站 關于我們 OA系統
資訊動態
News
當前位置:首頁 > 資訊動態 > 行業動態 > 正文 行業動態
什麽是自然語言處理?它到底有何用武之地?
发布日期:2021-04-29 19:16:37    浏览次数:97

“自然语言处理” (Natural Language Processing,简称NLP) 是近年来科技界最热门的词语之一,也是当下人工智能研究最熱門的領域之一。自然語言處理推動著語言智能的持續發展和突破,並越來越多地應用于各個行業。正如國際知名學者周海中先生曾經所言:“自然語言處理是極有吸引力的研究領域,它具有重大的理論意義和實用價值。”

c7娱乐

那么,自然语言处理究竟是什么? 它到底有什么用武之地?这些问题值得人们探讨和关注。所谓自然语言处理,是计算机科学领域与人工智能领域中的一个重要方向;它研究能实现人与计算机之间用自然语言进行有效通信的各種理論和方法。自然語言處理主要應用于機器翻譯、語音識別、知識回答、自動摘要、輿情監測、觀點提取、知識庫構建、文本語義對比、深度學習算法、語音識別與合成等方面。因此,自然語言處理有著革命性的理論意義,也有著十分重要的實用價值。

实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义,也能以自然语言文本来表达给定的意图、思想等;前者称为自然语言理解,后者称为自然语言生成。因此,自然语言处理大体包括了自然语言理解和自然语言生成两个部分。因为处理自然语言的关键是要让计算机“理解”自然语言,所以通常把自然语言理解视为自然语言处理, 也称为计算语言学。它的终极目标是用自然语言与计算机进行通信,使人们可以用自己最习惯的语言来使用计算机,而无需再花大量的时间和精力去学习不很自然和习惯的各种计算机语言。

自然語言處理是人工智能中最爲困難的問題之一。美國微軟公司創始人比爾·蓋茨先生曾經表示,“語言理解是人工智能領域皇冠上的明珠”。前微軟公司全球執行副總裁沈向洋先生也在公開演講時說:“懂語言者得天下……下一個十年,人工智能的突破在自然語言的理解……人工智能對人類影響最爲深刻的就是自然語言方面”。由于理解自然語言需要關于外在世界的廣泛知識以及運用操作這些知識的能力,所以自然語言處理也被視爲解決人工智能完備(AI-complete)的核心問題之一。可見自然語言處理是目前人工智能領域中的關鍵技術,對它的研究也是充滿魅力和挑戰的。

自然語言處理的基本任務包括正則表達式、分詞、詞法分析、語音識別、文本分類、信息檢索、問答系統——如對一些問題進行回答或與用戶進行交互——機器翻譯等;常用的模型則有馬科夫模型、樸素貝葉斯、循環神經網絡等。自然語言處理要使用語言知識,如UNIX的wc程序可以用來計算文本文件中的字節數、詞數或行數;當用它來計算字節數和行數時,wc只用于進行一般的數據處理,但當用它來計算一個文件中詞的數目時,就需要關于“什麽是一個詞”的語言知識,這時wc也就成爲了一個自然語言處理系統。

目前存在的問題主要有兩個方面:一方面,迄今爲止的語法都限于分析一個孤立的句子,上下文關系和談話環境對本句的約束和影響還缺乏系統的研究,因此分析歧義、詞語省略、代詞所指、同一句話在不同場合或由不同的人說出來所具有的不同含義等問題,尚無明確規律可循,需要加強語用學的研究才能逐步解決。另一方面,人理解一個句子不是單憑語法,還運用了大量的有關知識,包括生活知識和專門知識,這些知識無法全部貯存在計算機裏。因此一個書面理解系統只能建立在有限的詞彙、句型和特定的主題範圍內;計算機的貯存量和運轉速度大大提高之後,才有可能適當擴大範圍。

無論實現自然語言理解,還是自然語言生成,都遠不如人們原來想象的那麽簡單,而是十分困難的。從現有的理論和技術現狀看,通用的、高質量的自然語言處理系統,仍然是較長期的努力目標,但是針對一定應用,具有相當自然語言處理能力的實用系統已經出現,有些已商品化,甚至開始産業化。典型的例子有:多語種數據庫和專家系統的自然語言接口、各種機器翻譯系統、全文信息檢索系統、自動文摘系統等。自然語言處理系統的算法是基于機器學習,特別是統計機器學習;許多不同類的機器學習算法已應用于自然語言處理任務。

深度學習在自然語言處理中的應用非常廣泛,可以說橫掃自然語言處理的各個方面,從底層的分詞、語言模型、句法分析等到高層的語義理解、對話管理、知識問答等方面幾乎都有深度學習的模型,並且取得了不錯的效果。有關研究已從傳統的機器學習算法轉變成更有表現力的深度學習模型,如卷積神經網絡和回歸神經網絡。不過,目前的深度學習技術還不具備理解和使用自然語言所必需的概念抽象和邏輯推理能力,還有待今後進一步的研究。

总而言之,随着互联网的普及和海量信息的涌现,作为人工智能的核心技術,自然语言处理有着极为广阔的用武之地,并扮演着越来越重要的角色。毫无疑问,自然语言处理将在社会发展和科技进步的过程中发挥越来越重要的作用。

文/馮芸、潘蓉(作者單位分別爲南京大學軟件學院、福州大學至誠學院)

鄂公网安备 42018502002582号

友情链接:乐橙官网lc18  51计划网  乐橙游戏平台  欧冠外围平台