热搜: 数字货币 中本聪 区块链应用 比特币 艾达币

区块链媒体
  • 数字货币 333333
  • 中本聪 100000
  • 区块链应用 4560
  • 比特币 752
  • 艾达币 453
我要投稿
链头条 /人工智能 /语言处理

人工智能自然语言这几个点一定要get到

评论量评论量(10)
浏览量浏览量(1446)
来源:语言处理
2017-11-2313:21

科幻片里的机器人与人类的自由对话,我们在电影里已经看得多了。仿佛这样一个场景,在科技飞速发展,各种高逼格所谓的人工智能概念走向现实的今天,不是个大不了的事情。然而,我们静下心来仔细琢磨一下会发现,即便是我们人类自己,在跨区域跨国家跨种族的对话中,也还是存在着沟通上的困难。更何况与一台机器进行自由对话呢?

人工智能自然语言处理

自然语言处理就是用人工智能来处理、理解以及运用人类语言。它体现了真正意义上的“人工智能”,只有当计算机具备了处理自然语言的能力时,才算实现了真正的智能。

自然语言处理技术在生活中应用广泛,例如机器翻译、手写体和印刷体字符识别、语音识别后实现文字转换、信息检索、抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等。它们分别应用了自然语言处理当中的语法分析、语义分析、篇章理解等技术,是人工智能界最前沿的研究领域。时至今日AI在这些技术领域的发展已经把识别准确率从70%提高到了90%以上,但只有当准确率提高到99%及以上时,才能被认定为自然语言处理的技术达到人类水平,这仍然是巨大的困难和挑战。

自然语言处理存在哪些主要困难?

自然语言处理的困难关键在于消除歧义问题,如词法分析、句法分析、语义分析等过程中存在的歧义问题,简称为消歧。而正确的消歧需要大量的知识,包括语言学知识(如词法、句法、语义、上下文等)和世界知识(与语言无关)。由于歧义的存在给自然语言处理带来两个主要困难。

首先,当语言中充满了大量的歧义,分词难度很大,同一种语言形式可能具有多种含义。特别是在处理中文单词的过程中,由于中文词与词之间缺少天然的分隔符,因此文字处理比英文等西方语言多一步确定词边界的工序,即“中文自动分词”任务。通俗地说就是要由计算机在词与词之间自动加上分隔符,从而将中文文本切分为独立的单词。例如 “昨天有沙尘暴”这句话带有分隔符的切分文本是“昨天|有|沙尘暴”。自动分词处于中文自然语言处理的底层,意味着它是理解语言的第一道工序,但正确的单词切分又需要取决于对文本语义的正确理解。这形成了一个“鸡生蛋、蛋生鸡”的问题,成为自然语言处理的第一条拦路虎。

除了在单个词级别分词和理解存在难度外,在短语和句子级别也容易存在歧义。例如 “出口冰箱”可以理解为动宾关系(从国内出口了一批冰箱),也可以理解为偏正关系(从国内出口的冰箱);又如在句子级别,“做化疗的是她的妈妈”可以理解为她妈妈生病了需要做化疗,也可以理解为她妈妈是医生,帮别人做化疗。

其次,消除歧义所需要的知识在获取、表达以及运用上存在困难。由于语言处理的复杂性,合适的语言处理方法和模型难以设计。

在试图理解一句话的时候,即使不存在歧义问题,我们也往往需要考虑上下文的影响。所谓的“上下文”指的是当前所说这句话所处的语言环境,包括说话人所处的环境,或者是这句话的前几句话或者后几句话等。以“小A打了小B,因此我惩罚了他”为例。在其中的第二句话中的“他”是指代“小A”还是“小B”呢?要正确理解这句话,我们就要理解上句话“小A打了小B”意味着“小A”做得不对,因此第二句中的“他”应当指代的是“小A”。由于上下文对于当前句子的暗示形式是多种多样的,因此如何考虑上下文影响问题是自然语言处理中的主要困难之一。

此外,正确理解人类语言还要有足够的背景知识,特别是对于成语和歇后语的理解。比如在英语中“The spirit is willing but the flesh is weak.”是一句成语,意思是“心有余而力不足”。但是曾经某个机器翻译系统将这句英文翻译到俄语,然后再翻译回英语的时候,却变成了“The Voltka is strong but the meat is rotten.”,意思是“伏特加酒是浓的,但肉却腐烂了”。导致翻译偏差的根本问题,在于机器翻译系统对于英语成语并无了解,仅仅是从字面上进行翻译,结果失之毫厘,谬之千里。

自然语言处理要达到人类水平,最大困难就在于消除歧义,它的根源是人类语言的复杂性和语言描述的外部世界的复杂性。人类语言承担着人类表达情感、交流思想、传播知识等重要功能,因此需要具备强大的灵活性和表达能力,而理解语言所需要的知识又是无止境的。

当一个真正意义上的机器人能流畅无误的与你交流,经得起玩笑与黑色幽默的考验,甚至能分析你言语中的谎言成分。阿西莫夫的三定律还能禁锢住机器人的自我升级吗?




免责声明:本文仅代表作者本人观点,并不代表链头条之观点,链头条对作者观点不承担任何担保责任。
顶(0)
踩(0)
收藏
举报
文章标签:

10条评论/10人参与

最新评论
倾城

2017-12-2109:56:20

一些常见的翻译工具也会出现这种常识性的错误,翻译出来意思差之千里,自然语言的不断完善是比较有挑战的。

yayajing

2017-12-1515:35:58

如何让机器理解人这是一个大问题,即使有人工智能语言也很难做到

zhangshuo

2017-12-0902:47:27

不久的将来就会在我们的身边了。

shike324

2017-12-0902:19:23

看看哈,总觉的离我很远呢。

Q7874491

2017-12-0901:33:01

会不会以后会成为机器人的时代呀。

e13017505908

2017-12-0900:37:22

以前在电影里才能看到,没想到现实中就有啦。

yingrang

2017-12-0823:43:50

原来都是真的呀,还真是没有想到的哈。

bimei86

2017-12-0820:54:17

了解的很是具体的呀,果然是高手呀。

qiaofan3504

2017-12-0819:26:27

原来如此的呀,真是受益不小的。

mouke6522675

2017-12-0817:21:28

机器人能发展成现在这样就很是了不起啦。

提示
X
收藏成功
提示
X
取消成功
举报原因
X
  • 商务合作 chendandan@chaintiao.com
  • 业务垂询 400-101-6364
  • 版权所有 © 上海米灿信息科技有限责任公司  
  • 阿里云提供计算与安全服务
  • 沪ICP备14049888号-1 

微信公众号

官方微博