热搜:区块链应用比特币人工智能

区块链媒体
我要投稿
链头条 /人工智能 /语言处理

人工智能自然语言这几个点一定要get到

评论量评论量(10)
浏览量浏览量(1099)
来源:语言处理
2017-11-2313:21

科幻片里的机器人与人类的自由对话,我们在电影里已经看得多了。仿佛这样一个场景,在科技飞速发展,各种高逼格所谓的人工智能概念走向现实的今天,不是个大不了的事情。然而,我们静下心来仔细琢磨一下会发现,即便是我们人类自己,在跨区域跨国家跨种族的对话中,也还是存在着沟通上的困难。更何况与一台机器进行自由对话呢?

人工智能自然语言处理

自然语言处理就是用人工智能来处理、理解以及运用人类语言。它体现了真正意义上的“人工智能”,只有当计算机具备了处理自然语言的能力时,才算实现了真正的智能。

自然语言处理技术在生活中应用广泛,例如机器翻译、手写体和印刷体字符识别、语音识别后实现文字转换、信息检索、抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等。它们分别应用了自然语言处理当中的语法分析、语义分析、篇章理解等技术,是人工智能界最前沿的研究领域。时至今日AI在这些技术领域的发展已经把识别准确率从70%提高到了90%以上,但只有当准确率提高到99%及以上时,才能被认定为自然语言处理的技术达到人类水平,这仍然是巨大的困难和挑战。

自然语言处理存在哪些主要困难?

自然语言处理的困难关键在于消除歧义问题,如词法分析、句法分析、语义分析等过程中存在的歧义问题,简称为消歧。而正确的消歧需要大量的知识,包括语言学知识(如词法、句法、语义、上下文等)和世界知识(与语言无关)。由于歧义的存在给自然语言处理带来两个主要困难。

首先,当语言中充满了大量的歧义,分词难度很大,同一种语言形式可能具有多种含义。特别是在处理中文单词的过程中,由于中文词与词之间缺少天然的分隔符,因此文字处理比英文等西方语言多一步确定词边界的工序,即“中文自动分词”任务。通俗地说就是要由计算机在词与词之间自动加上分隔符,从而将中文文本切分为独立的单词。例如 “昨天有沙尘暴”这句话带有分隔符的切分文本是“昨天|有|沙尘暴”。自动分词处于中文自然语言处理的底层,意味着它是理解语言的第一道工序,但正确的单词切分又需要取决于对文本语义的正确理解。这形成了一个“鸡生蛋、蛋生鸡”的问题,成为自然语言处理的第一条拦路虎。

除了在单个词级别分词和理解存在难度外,在短语和句子级别也容易存在歧义。例如 “出口冰箱”可以理解为动宾关系(从国内出口了一批冰箱),也可以理解为偏正关系(从国内出口的冰箱);又如在句子级别,“做化疗的是她的妈妈”可以理解为她妈妈生病了需要做化疗,也可以理解为她妈妈是医生,帮别人做化疗。

其次,消除歧义所需要的知识在获取、表达以及运用上存在困难。由于语言处理的复杂性,合适的语言处理方法和模型难以设计。

在试图理解一句话的时候,即使不存在歧义问题,我们也往往需要考虑上下文的影响。所谓的“上下文”指的是当前所说这句话所处的语言环境,包括说话人所处的环境,或者是这句话的前几句话或者后几句话等。以“小A打了小B,因此我惩罚了他”为例。在其中的第二句话中的“他”是指代“小A”还是“小B”呢?要正确理解这句话,我们就要理解上句话“小A打了小B”意味着“小A”做得不对,因此第二句中的“他”应当指代的是“小A”。由于上下文对于当前句子的暗示形式是多种多样的,因此如何考虑上下文影响问题是自然语言处理中的主要困难之一。

此外,正确理解人类语言还要有足够的背景知识,特别是对于成语和歇后语的理解。比如在英语中“The spirit is willing but the flesh is weak.”是一句成语,意思是“心有余而力不足”。但是曾经某个机器翻译系统将这句英文翻译到俄语,然后再翻译回英语的时候,却变成了“The Voltka is strong but the meat is rotten.”,意思是“伏特加酒是浓的,但肉却腐烂了”。导致翻译偏差的根本问题,在于机器翻译系统对于英语成语并无了解,仅仅是从字面上进行翻译,结果失之毫厘,谬之千里。

自然语言处理要达到人类水平,最大困难就在于消除歧义,它的根源是人类语言的复杂性和语言描述的外部世界的复杂性。人类语言承担着人类表达情感、交流思想、传播知识等重要功能,因此需要具备强大的灵活性和表达能力,而理解语言所需要的知识又是无止境的。

当一个真正意义上的机器人能流畅无误的与你交流,经得起玩笑与黑色幽默的考验,甚至能分析你言语中的谎言成分。阿西莫夫的三定律还能禁锢住机器人的自我升级吗?




免责声明:本文仅代表作者本人观点,并不代表链头条之观点,链头条对作者观点不承担任何担保责任。
顶(0)
踩(0)
收藏
举报
文章标签:

10条评论/10人参与

最新评论
倾城

2017-12-2109:56:20

一些常见的翻译工具也会出现这种常识性的错误,翻译出来意思差之千里,自然语言的不断完善是比较有挑战的。

顶(0)
|
踩(0)
yayajing

2017-12-1515:35:58

如何让机器理解人这是一个大问题,即使有人工智能语言也很难做到

顶(0)
|
踩(0)
zhangshuo

2017-12-0902:47:27

不久的将来就会在我们的身边了。

顶(0)
|
踩(0)
shike324

2017-12-0902:19:23

看看哈,总觉的离我很远呢。

顶(0)
|
踩(0)
Q7874491

2017-12-0901:33:01

会不会以后会成为机器人的时代呀。

顶(0)
|
踩(0)
e13017505908

2017-12-0900:37:22

以前在电影里才能看到,没想到现实中就有啦。

顶(0)
|
踩(0)
yingrang

2017-12-0823:43:50

原来都是真的呀,还真是没有想到的哈。

顶(0)
|
踩(0)
bimei86

2017-12-0820:54:17

了解的很是具体的呀,果然是高手呀。

顶(0)
|
踩(0)
qiaofan3504

2017-12-0819:26:27

原来如此的呀,真是受益不小的。

顶(0)
|
踩(0)
mouke6522675

2017-12-0817:21:28

机器人能发展成现在这样就很是了不起啦。

顶(0)
|
踩(0)
提示
X
收藏成功
提示
X
取消成功
举报原因
X

链头条建立于2017年,聚焦于区块链,区块链+,物联网,AI人工智能等多领域的新闻报道与深度解读,新鲜、及时、准确,为广大行业参与者提供专业、准确、快速、有价值的前沿科技资讯服务,同时向中国大众普及专业的区块链、区块链+、物联网、AI人工智能领域的知识,与同行一起推动中国区块链,区块链+,物联网,AI人工智能领域方面的快速成长。

商务合作
业务垂询业务垂询 400—101—6364

版权所有 © 上海米灿信息科技有限责任公司

阿里云提供计算与安全服务

沪ICP备17012875号-3