信息化 频道

IBM百年回顾:电脑沃森

  2011年2月,IBM电脑沃森将在Jeopardy!电视问答秀中对抗两位最大的全能冠军选手,让我们共同见证这一历史时刻。电脑沃森运行IBM研究中心开发的DeepQA软件。尽管这个项目的重大挑战是在Jeopardy!中获胜,但沃森的更大目标是创造新一代技术,以比标准搜索技术更有效的方式从非结构化数据中找出答案。

电脑沃森的问世

  沃森在理解复杂问题并找出非常好的答案方面表现优秀。IBM的科学家们认为,沃森实际上并没有思考能力。15年来在IBM研究中心研究自然语言问题并从非结构化信息中寻找答案的DavidFerrucci说:“我们的目标并非建立一个人脑模型,而是设计出一台能够更有效地理解自然语言并做出互动的电脑,而不一定与真人的行为方式相同。”

  电脑从不善于寻找答案。搜索引擎不会回答问题-它们只是提供数千个与关键字匹配的搜索结果。长期以来,大学研究人员和企业工程师致力于开发问答软件,但最好的结果也只是理解并回答简单、直接的问题(伊丽莎白泰勒共获得多少次奥斯卡奖?),而且错误几率一般会达到近三分之一。这并没有太大用处,远远不能击败Jeopardy冠军。

  这个电视节目中的问题充满了微妙区别、双关语和脑筋急转弯-这些方面能让真人感到兴奋,但电脑却对此无能为力。对于Jeopardy!节目提示“成就亚瑟米勒伟大戏剧的14世纪中有颜色的瘟疫”的正确回答是“什么是推销员的黑色死亡?”得出这个答案的唯一方式是将多个来源的信息综合在一起,因为确切的答案并不可能随处可见。

  沃森运行于一组Power750计算机上-十个机架容纳90台服务器,共有2880个处理器内核运行DeepQA软件和存储器。它的容量相当于大约一百万册书籍的信息。在多年内,沃森吸收了大量信息,包括商业信息文本,例如《世界百科全书》,而且包括允许随意复制的内容,例如维基百科和“古登堡计划”(ProjectGutenberg)的书籍。

  在对沃森提出问题后,100多种算法会以不同方式分析问题,并寻找多个似乎准确的不同答案-所有这些都同时进行。而另一组算法对答案进行排序和打分。对于每个可能的答案,沃森将寻找可能支持或者反驳这个答案的证据。对于数百个可能的答案中的没一个,沃森都寻找一些证据,然后利用火速百种算法对证据支持答案的程度进行评分。具有非常好的证据评估结果的答案将获得最高的可信度。评分最高的答案会成为最终答案。然而,在Jeopardy!节目中,如果评分最高的可能答案不足以为沃森提供足够的可信度,沃森会决定不按抢答器,并避免在打错时损失奖金的风险。电脑沃森在大约三秒内完成所有这些工作。

  到2010年末,在位于纽约约克城高地的IBM研究中心举行的节目演练中,沃森在找出正确答案方面表现优秀,在与Jeopardy!往届冠军的竞赛中,沃森获胜的几率大约是70%。在2011年初,沃森战胜了Jeopardy!超级明星KenJennings和BradRutter。沃森采用的问答技术预计将实现商用。IBM研究中心负责人JohnKelly对《纽约时报》表示:“我希望创造出能够进入其它零售行业的产品,比如运输业。在时间至关重要而且需要向一线决策人提供先进信息的任何领域,电脑需要超越仅仅作为后端办公室计算机器的角色,而为决策人提供更好的智能化能力。”

  促进世界转型

  在寻找问题的答案时,您通过什么方式?如果与目前的大多数人一样,您打开电脑、手机或移动设备,将问题输入到搜索引擎,您会看到许多网站链接,您有可能会找到答案。如果这种方式行不通,您会修改搜索条件,直到得到答案。从电话铃响起到赶往图书馆找到答案,我们经历了很长时间。

  但如果您只是向电脑提出问题,然后就能得到确切答案,而不是一个文档或网站列表,情况又会怎样呢?问答(QA)计算系统的开发目的是理解以自然语言提出的简单问题,并以文本形式提供答案。您提问“俄罗斯首都是哪里?”电脑根据已经装入的信息而回答“莫斯科”。

  IBM正努力进一步提升这种能力,因此开发了沃森,使其能够理解词语所隐含的确切含义,区分相关和不相关的内容,并且最终给出可信的准确答案。由于对语言的深入理解,沃森可以处理并回答更复杂的问题,包括自然语言中常见的双关语、反语和谜语。2011年2月14-16日,IBM沃森将参加竞赛,在Jeopardy!的三场比赛中对决节目历史上最成功的两位选手:KenJennings和BradRutter。

  技术突破

  要想成功地在Jeopardy!上与选手竞赛,沃森必须分析每个问题,确定准确的问题,分析可用于提炼确切答案的内容,并且根据发现的支持信息和反驳信息而快速计算答案的可信度。

  在分析问题和确定非常好的答案的过程中,沃森采用先进的自然语言处理、信息检索、知识表示和论证、机器学习技术和开放域问答技术。沃森的核心是采用IBMDeepQA技术实现假设生成、大量证据收集、分析和打分。它的内部已经装载了数百万份文档,包括词典、百科全书、分类学、宗教文本、小说、戏剧和其它参考资料,可用于构建自己的知识。

  与只能理解基本问题并以相关文档列表形式返回答案的搜索引擎不同,沃森可以理解以自然语言提出的问题,并返回直接回答问题的准确答案。沃森不依赖单一算法,而是利用数百种算法寻找备选答案,对这些答案进行打分,收集每个备选答案的更多支持性证据,并使用复杂的自然语言处理技术深入地评估这些证据。独立得出同样答案的算法越多,可信度就越高。沃森对每个备选答案的所有证据进行权衡,以识别出非常好的答案,并确定该答案的可信度。如果可信度足够高,沃森就会按下抢答器回答问题。

  沃森的技术有望通过逐步改进而投入商用,是多个行业实现转型。例如,在医疗行业中,它可以作为一种在线工具,帮助专业医疗人员制定诊断方案。医生可以输入一组症状和医疗记录,并接受可能的诊断,帮助医生确定最终诊断和治疗方案。零售商可以利用该技术帮助购物人员找到确切的商品。对于旅行者来说,它可以帮助规划最可行的度假方案或交通路线。

  “挑战在于构建一个与以前不同的系统,在确定自然语言问题的准确答案以及计算答案中的准确可信度方面,能够与人脑的能力相抗衡。这种可信度处理能力是关键所在。它区分了IBM的方法与传统的搜索方法,而且是将问答技术用于商业应用的关键。”

  ________________________________________

  DavidFerrucci博士

  DeepQA/Watson项目首席调查员

  “IBM开发计算系统,在美国大受欢迎的智力竞赛节目Jeopardy!中挑战真人”

  2009年4月27日

  文化影响

  沃森已经在逐步进入我们的电脑、电视和广播中。您可以在家中与沃森一同在Jeopardy!中角逐。或者观看NOVA电视纪录片,更多地了解沃森的开发经过。

  参加沃森常识挑战

  您是否希望在Jeopardy!节目中挑战沃森?参加一个常识比赛游戏,看您是否能击败电脑,同时了解沃森分析问题和答案的方法。

  “地球上最聪明的机器”

  PBS科学系列NOVA介绍了“地球上最聪明的机器”。这个纪录片时间长达一个小时,内容包括人工智能(AI)、IBM沃森的发展以及在Jeopardy!节目中的竞赛。

  团队

  如果没有最关键的资产-几十万IBM员工的集体思想资产,任何产品、想法或成绩都不可能实现。专业知识、技术能力、冒险意识和IBM员工的奉献精神成就了公司多年来无以计数的转型创新。欢迎认识为这个“进步徽标”做出贡献的团队成员。

团队一览

  DavidFerrucci博士

  DavidFerrucci毕业于曼哈顿大学,获得了生物学学士学位,并于1994年获得伦斯勒理工学院知识表示和论证专业博士学位。他的背景是人工智能,特别是知识表示和论证。Ferrucci领导T.J.Watson研究中心的语义分析和集成部门,并且是DeepQA项目的首席调查员。之前,Ferrucci是UIMA(现在已成为OASIS标准)和Apache开源项目(文本和多模分析集成)的首席架构师。UIMA用于实施可扩展DeepQA。目前,他带领实施一个专门构建沃森的项目。沃森是一个计算机系统,能够理解语言,并参加Jeopardy!节目。他的团队也在开发DARPA机器阅读程序,使DeepQA能够更深入地理解自然语言内容。Ferrucci博士荣获了2010CMEGroupFredArditti创新奖,因为正如CME集团名誉主席兼竞争市场顾问委员会(CMAC)副主席LeoMelamed说:“DavidFerrucci在智能系统设计与架构方的专注精神和贡献证明了这个奖项对其工作的认可。

团队一览

  算法团队

  负责沃森DeepQA架构的IBM员工包括:BranimirBoguraev、EricBrown、JenniferChu-Carroll、BonaventuraCoppola、JamesFan、DavidGondek、AdityaKalyanpur、AdamLally、AnthonyLevas、MichaelMcCord、BillMurdock、SiddharthPatwardhan、JohnPrager、ChangWang、ChrisWelty和WlodekZadrozny。

团队一览

  战略团队

  负责沃森在Jeopardy!比赛过程中的游戏和博弈策略的小组,成员包括JamesFan、DavidGondek、JonLenchner、JohnPrager和GerryTesauro。

团队一览

  系统团队

  该团队为沃森设计POWER7内核的复杂系统,成员包括:EricBrown、JaroslawCwiklik、PabloDuboue、EddieEpstein、TongFin、BhavaniIyer、AdamLally、BurnLewis和MarshallSchor。

团队一览

  语音团队

  开发沃森语音和话音识别能力的IBM研究人员包括AndyAaron、RaulFernandez、BhuvanaRamabhadran、AndrewRosenberg、RobertoSicconi和MariaSmith。

团队一览

  注解团队

  为沃森的搜索数据库开发分类法的语言学家包括MattMulholland和KarenIngraffea。

团队一览

  中国研究院团队

  主要负责沃森将不同来源的数据结合在一起的团队成员包括LeiZhang、YuanNi、YuePan和ZhaoMingQiu。

 

团队一览

  日本研究院团队

  该团队帮助开发一个系统,使沃森能够将问题中的词汇与含义对应起来。团队成员包括HiroshiKanayama和KohichiTakeda。

团队一览

  海法研究院团队

  该团队负责优化沃森DeepQA架构的搜索流程,成员包括:DavidCarmel和DafnaSheinwald。

团队一览

  项目管理团队

  该团队管理沃森研究团队和Jeopardy!制作人员之间的关系,成员包括JimDePiante和DavidShepler。

团队一览

  应用团队

  该团队负责开发将DeepQA技术应用于解决实际问题的系统,成员包括:SugatoBagchi、MikeBarborak、AnthonyLevas、ErikMueller和WlodekZadrozny。

  成就现代企业

团队一览

0
相关文章