人工智能第二部(人工智能应用技术)
知识图谱定义
知识图谱(Knowledge Graph)本质上就是一种基于图的数据结构构成的语义网络。
知识图谱的基本单位是实体(Entity)-关系(Relationship)-实体(Entity)或实体-属性-属性值构成的三元组。
三元组是知识图谱的基本表达形式,包含实体、概念、属性、属性值、关系等元素。
实体:具有可区别性且独立存在的事物。
概念:具有同种特性的实体构成的集合。
属性:指实体具有的特征、特性、特点。
属性值:指实体指定属性的值。
关系:指实体之间的关联描述。
知识图谱以实体或概念作为节点,关系或属性作为边,形成语义知识网络图。
我们来简单看一下学习人工智能的知识图谱。
知识图谱的发展历程
知识图谱的发展大概经历了从20世纪50年代开妈的基础概念阶段、知识工程阶段、WEB1.0阶段、WEB2.0阶段和目前的知识图谱阶段。
知识图谱发展历程
知识图谱的构建
搭建知识图谱从数据源开始,经历了知识抽取、知识融合、知识加工等步骤。
知识图谱构建过程
原始的数据通过知识抽取或数据整合的方式转换为三元组形式,然后三元组数据再经过实体对齐,加入数据模型,形成标准的知识表示,过程中如产生新的关系组合,通过知识推理形成新的知识形态,与原有知识共同经过质量评估,完成知识融合,最终形成完整形态上的知识图谱。
知识抽取
知识抽取主要按照自然语义中的主谓宾语法进行抽取,分为实体抽取、关系抽取、属性抽取和事件抽取等。
知识抽取示例
实体抽取:从信息源中识别并提取实体,常用方法有基于规则与词典、基于统计机器学习、面向开放域抽取方法等。
关系抽取:从信息源中抽取实体间的关系,常用的方法有监督学习方法。
属性抽取:对信息源中实体的特征和性质进行抽取,常用的方法有监督学习方法。
事件抽取:从信息源中识别并抽取出事件信息,如发生的时间、地点、参与角色以及与之相关的动作或者状态的改变等,常用的方法有深度学习、神经网络方法等。
知识融合
知识融合是指融合来自多个数据来源的关于同一个实体或概念的描述信息,对来自不同数据源的知识在统一规范下进行异构数据整合、消歧。
知识融合示例
知识融合大体过程为:实体对齐->属性融合->值规范化。
实体对齐:识别不同来源的统一实体。
属性融合:识别同一属性的不同描述。
值规范化:规范化到统一格式。
知识加工
经过知识抽取和知识融合,实体和本体从信息源中被识别、抽取,并且消岐、统一,此时得到的关联数据是对客观事实的基本表达,但客观事实还不是知识图谱需要的知识体系,想要获得结构化的知识网络,还需要经过本体构建、知识推理和质量评估等知识加工过程。
知识加工示例
本体构建:实体并列关系相似度计算、实体上下位关系抽取以及本体的生成。
知识推理:从知识库中已有的实体关系数据出发,经过计算机推理,建立实体间的新关联,从而拓展和丰富知识网络。
质量评估:对知识的可信度进行量化,通过舍弃置信度较低的知识,可以保障知识库的质量。
图谱应用
目前,我们经常用到的基于知识图谱的应用有搜索、推荐、问答、决策等。
搜索
互联网小常识:CMIP 优点:每个变量不仅传递消息,而且还完成一定的网络管理任务,这样可减少管理者的负担并减少网络负载;安全性高,它拥有验证、访问控制和安全日志。缺点:占用资源多、MIB过于复杂,在CMIP之上缺少可一直使用的API以及相应的产品价格高。
传统搜索是基于关键词索引,内容不精准,缺乏关联性。通过引入知识图谱,实现对结构化数据以及非结构化数据的知识图谱化,实现对查询内容的精准化、关联化搜索。
互联网小常识:路由器的可靠性与可用性表现在:设备冗余、热拔插组件、无故障工作时间、内部时钟精度等方面。路由器的冗余表现在:接口冗余、电源冗余、系统板冗余、时钟板冗余、整机设备冗余等方面。
推荐
如传统的电商平台,缺乏用户行为数据,推荐算法很难发挥作用。基于知识图谱的推荐,利用知识推理引擎构建推理、推荐规则,实现对人、货、场景的关联推荐。
问答
传统的问答,能够实现短句式的多轮问答,但面向多条件、关联复杂问句时,基于知识图谱的问题能够很好的解决这类关联问答问题。
决策
传统决策系统,是基于专家经验的辅助决策。基于知识图谱的辅助决策系统,可以构建专家经验知识图谱,使辅助决策系统越用越聪明。
图谱实例
2020年以来,新冠肺炎席卷全球,我们基于国家卫生健康委发布的《新型冠状病毒肺炎诊疗方案(试行第八版)》、《新型冠状病毒肺炎重型、危重型病例诊疗方案(试行第二版)》,来构建新冠肺炎诊疗知识图谱。
通过自然语言处理NLP和机器学习,建立起实体(Entity)-关系(Relationship)-实体(Entity)的新冠肺炎诊疗知识图谱。
新冠肺炎诊疗知识图谱(素材来自:omaha)
例如,从孟浩然写的诗和写孟浩然的诗来构建知识图谱,分析其来龙去脉。
知识图谱资源
对知识图谱感兴趣的研究者,可关注知识图谱顶级学术会议的相关文章。
ACL
EMNLP
ICDE
ICDM
ICLR
ICML
WWW
ISWC
IJCAI
AAAI
COLING
KR
KDD
CIKM
NAACL
WSDM
SIGMOD
……
知识图谱常用的开放数据集:
Yago
Wikidata
Google Knowledge Graph
WordNet
Concept Graph
ConceptNet
BabelNet
DBpedia
……
互联网小常识:在一些中高端交换机中,通常把交换表保存在CAM(content-addressable memory)中,可以通过交换机的show cam命令查看,大中型为show cam dynamic ,小型为show mac-address-table。
免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186