大家好,欢迎来到IT知识分享网。
目录
一、大数据
1、概念
大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2、特点
Volume(体积):指的是数据体量巨大,从TB级别跃升到PB级别(1PB=1024TB)、 EB级别(1EB=1024PB),甚至于达到ZB级别(IZB=1024EB)。 (B—>KB—>MB—>GB—>TB—>PB—>EB—>ZB)
Variety(品种):指的是数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。
Value(价值):指的是价值密度低。价值密度的高低与数据总量的大小成反比。
Velocity(速度):指的是处理速度快。这是大数据区分于传统数据挖掘的最显著特征。
Veracity(真实性):指的是数据来自于各种、各类信息系统网络以及网络终端的行为或痕迹。(数据来源)
3、架构
4、应用
5、关键环节
大数据所涉及的技术很多,主要包括数据采集、数据存储、数据管理、数据分析与挖掘4个环节
(1)HDFS:分布式文件系统,大数据存储技术,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。在最流行的开源大数据Hadoop中,Hadoop分布式文件系统HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。
(2)HBase:分布式面向列的开源数据库,大数据存储技术不同于一般的关系数据库,是非结构化数据存储的数据库。
(3)MapReduce:大数据管理技术,一种编程模型,主要思想:概念“Map(映射)”和“Reduce(归约)”。大数据管理主要用的了分布式并行处理技术,编程人员借助MapReduce可以在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。
(4)Chukwa:用于监控大型分布式系统的数据收集系统。继承了Hadoop的可伸缩性和鲁棒性。
(5)Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
(6)Kafka 是一种高吞吐量的分布式发布订阅消息系统
(7)Producer:负责发布消息到Kafka broker
(8)Consumer:消息消费者,向Kafka broker读取消息的客户端。
(9)Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
(10)Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
(11)Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。
典型例题一
【答案】C
【解析】生产者和消费者不能直接通信,需要借助kafka平台
典型例题二
【答案】A
【解析】大数据技术见课件内容。
二、云计算
1、云计算的特点
其中,按需服务就是说“云”是一个庞大的资源池,用户按需购买;
云可以像自来水、电、煤气那样计费。通过网络提供可动态伸缩的廉价计算能力,其通常具有下列 特点:
- ◆超大规模—“云”具有相当的规模。
- ◆虚拟化:云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”, 而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一部手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。
- ◆高可靠性:“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性, 使用云计算比使用本地计算机可靠。
- ◆通用性:云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个 “云”可以同时支撑不同的应用运行。
- ◆高可扩展性:“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。
- ◆按需服务:“云”是一个庞大的资源池,用户按需购买;云可以像自来水、电、煤气那样计费。
- ◆极其廉价
- ◆潜在危险性
2、云计算的模式
云计算的三种服务类型。
(1) 基础设施即服务(IaaS)—提供给消费者的服务是对所有设施的利用,包括处理、存储、网络和其它基本的计算资源,用户能够部署和运行任意软件,包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施,但能控制操作系统的选择、储存空间、部署的应用,也有可能获得有限制的网络组件(例如,防火墙,负载均衡器等)的控制。向用户提供计算机能力、存储空间等基础设施方面的服务。(自己动手做)
(2)平台即服务(PaaS)—平台通常包括操作系统、编程语言的运行环境、数据库和Web服务器,用户在此平台上部署和运行自己的应用。用户不能管理和控制底层的基础设施,只能控制自己部署的应用。向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。(自助服务)
(3)软件即服务(SaaS)—-向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS一般采用Web技术和SOA架构,通过 Internet向用户提供多租户、可定制的应用能力,大大缩短了软件产业的渠道链条,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。(直接拿成品)
3、云计算的核心和关键技术
云计算关键技术包括网格计算和虚拟化两种。
①网格计算是一种计算能力提升的方式,其原理是依据并行计算理论,通过任务分解,将子任务分布式提交到其他服务器上运行,以获得更强大计算能力。网格计算的基础技术就是Web Services。云计算的平台技术,主要依赖于SOA
②虚拟化是基础设施的虚拟化,核心是传统已经成熟的集群计算和分区计算的结合。包括基础设施的虚拟化、网络虚拟化(VPN)和存储虚拟化(SAN/NAS)等技术
4、云计算的应用
③云计算的应用—-公有云、私有云、混合云
- ●公有云的,面向公众的,任何人都可以在云端申请资源,通常有公有云的运营商来建立维护,如阿里云
- ●私有云,是单位自建和自己管理,单位自己使用,如某医院自建的云,医院的各种服务器都在自己的云中跑业务。
- ● 混合云是上面两种的结合
典型例题
【答案】C
【解析】云计算模式。
三、物联网
1、概念
(1)物联网的概念
物联网是指通过信息传感设备,按约定的协议,将任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络。
(2)物联网的含义
物联网就是物物相连的互联网。这有两层意思:
其一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;
其二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信,也就是物物相息。
2、两项关键技术
3、物联网架构
物联网从架构上面可以分为感知层、网络层和应用层。
(1)感知层
负责信息采集和物物之间的信息传输,
① 信息采集的技术包括传感器、条码和二维码、 RFID射频技术、音视频等多媒体信息,
② 信息传输包括远近距离数据传输技术、自组织组网技术、协同信息处理技术、信息采集中间件技术等传感器网络。
感知层是实现物联网全面感知的核心能力,是物联网中包括关键技术、标准化方面、产业化方面亟待突破的部分,关键在于具备更精确、更全面的感知能力,并解决低功耗、小型化和低成本的问题。
③、RFID和条形码的区别
▓射频识别(Radio Frequency Identification,RFID)技术,又称为无线射频识别,是一种通信技术,可通过无线电信号识别特定目标并读写相关数据,而无须在识别系统与特定目标之间建立机械或光学接触。
▓ RFID具有远距离读取、高存储容量、成本高、可同时被读取、难复制、可工作于各种恶劣环境等特点;条形码具有容量小、成本低、容易被复制、构造简单、灵活实用等特点
(2)网络层
是利用无线和有线网络对采集的数据进行编码、认证和传输,广泛覆盖的移动通信网络是实现物联网的基础设施,是物联网三层中标准化程度最高、产业化能力最强、最成熟的部分,关键在于为物联网应用特征进行优化和改进,形成协同感知的网络。
网络层可包括:互联网;有线、无线通信网;各种私有网络;网络管理系统和云计算平台等。
(3)应用层
提供丰富的基于物联网的应用,是物联网发展的根本目标,将物联网技术与行业信息化需求相结合,实现广泛智能化应用的解决方案集,关键在于行业融合、信息资源的开发利用、低成本高质量的解决方案、信息安全的保障以及有效的商业模式的开发。
各个层次所用的公共技术包括编码技术、标识技术、解析技术、安全技术和中间件技术。
四、移动互联网
1、概念
(1)移动互联网一般是指用户用手机等无线终端,通过3G、4G或者WLAN等速率较高的移动网络接入互联网,可以在移动状态下(如在地铁、公交车上等)使用互联网的网络资源。从技术层面的定义:以宽带IP为技术核心,可以同时提供语音、数据、多媒体等业务的开放式基础电信网络
(2)移动互联网=移动通信网络+互联网内容和应用,它不仅是互联网的延伸,而且是互联网的发展方向。其核心是互联网,一般认为移动互联网是桌面互联网的补充和延伸,应用和内容是移动互联网的根本。
2、特点
(1)移动互联网不仅具有传统互联网应用的简单复制和移植,还具有如下新特征:接入移动性、时间碎片性、生活相关性、终端多样性
(2)移动互联网技术体系涵盖六大技术产业领域:关键应用服务平台、网络平台技术、移动智能终端软件平台技术、移动智能终端软件平台技术、移动智能终端硬件平台技术、移动智能终端原材料元器件技术和安全控制技术。
3、关键技术
- ①架构技术SOA:Service Oriented Architect,面向服务的架构,粗粒度、松耦合服务架构,服务之间通过简单、精确定义接口进行通信,不涉及底层编程接口和通讯模型,Web Service是目前实现SOA的主要技术。
- ②页面展示技术Web2.0:严格来说不是一种技术,而是互联网思维模式。
- ③页面展示技术HTML5:在原有HTML基础上扩展了API,使Web应用成为RIA,最大优势可以在网页上直接调试和修改。具有高度互动性、丰富用户体验以及功能强大的客户端。
- ④主流开发平台Android:特点入门容易,因为Android的中间层多以Java实现,指令相对减少、开发相对简单,而且开发社群活跃,开发资源丰富。—词的本义指“机器人”,是–种基于Linux的自由及开放源代码的操作系 统,主要用于移动设备
- ⑤主流开发平台IOS:一个非开源的操作系统,开发人员必须加入苹果开发者计划,需要付款以获得苹果的批准,开发语言是Objective-C、C、和C++,开发难度大于Android。
- ⑥主流开发平台Windows Phone:微软一款手机操作系统,开发技术:C、C++、C#等
Web1.0和Web2.0的区别
典型例题
【答案】A
【解析】HTML5概念
五、人工智能AI技术
1、特点
定义
人工智能是赋予机器同人的能力,进行更深度的维度思考能力
人工智能是高效能自动化处理人的思维、决策、问题求解和学习的技术
人工智能是计算模型研究智能行为
人工智能是提升理解、推理和未知行为的可能性的计算
人工智能是计算机程序智能化执行人或动物的行为的任务
2、人工智能发展规则
《新一代人工智能发展规划》中原文。
战略目标分三步走:
第一步,到2020年人工智能总体技术和应用与世界先进水平同步,人工智能产业成为新的重要经济增长点,人工智能技术应用成为改善民生的新途径,有力支撑进入创新型国家行列和实现全面建成小康社会的奋斗目标。
第二步,到2025年人工智能基础理论实现重大突破,部分技术与应用达到世界领先水平,人工智能成为带动我国产业升级和经济转型的主要动力,智能社会建设取得积极进展。
第三步,到2030年人工智能理论、技术与应用总体达到世界领先水平,成为世界主要人工智能创新中心,智能经济、智能社会取得明显成效,为跻身创新型国家前列和经济强国奠定重要基础。
3、人工智能主要成果
(1)语音识别技术:将人类的语音中的词汇内容转换为计算机可读的输入
(2)计算机视觉:从图像中识别物体、场景和活动的能力
(3)机器学习:研究计算机怎么模拟或实现人类的学习行为,以获取新的知识或技能
(4)机器人技术:将机器改造成能和人类一起工作,能在不同环境完成不同任务
(5)自然语言处理:计算机处理、理解以及运用人类语言
(6)人工智能包含了自识别和自学习能力。
(7)机对弈最流行的是AlphaGo,是有自学习能力。 自动驾驶也是需要自识别和自学习。 人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。
(8)自动工程:自动驾驶、印钞工厂和猎鹰绘图。
(9)知识工程:以知识本身为处理对象,研究如何运用人工智能和软件技术,设计、构造和维护知识系统包含:专家系统、智能搜索引擎、计算机视觉和图像处理、机器翻译和自然语言理解、数据挖掘和知识发现等等。
4、人工智能应用
- ◆智能工程
- ◆智能机器人
- ◆智能物流
- ◆智能家居
- ◆智能手机应用
六、区块链技术
1、概念
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。
所谓共识机制是区块链系统中实现不同之间建立信任、获取权益的数学算法。
特征:开放,共识,去中心化、去信任机制,交易透明,双方匿名, 不可篡改,可追溯
2、技术应用
- ◆ (1)区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构,并以密码学方式保证的不可篡改和不可伪造的分布式账本。主要解决交易的信任和安全问题,最初是作为比特币的底层技术出现。
- ◆ (2)为了解决“双花”问题 剔除交易风险(电子货币被复制或盗版)
- ◆ (3)解决拜占庭将军问题
- ◆ (4)拜占庭将军问题的本质:如何让众多完全平等的节点针对某一状态达成共识
- ◆ (5)数值货币、智能合约(一套以数字形式定义的承诺,包括合约参与方可以在上面执行这些承诺的协议通俗讲智能合约就是能够自动执行合约条款的计算机程序)
- ◆ (6)商品防伪和食品安全的溯源,全生命周期的记录
- ◆ (7)版权确权等
3、核心技术
(1)分布式账本/去中心化
● 区块链是一个分布式账本,一种特殊的分布式数据库链表中有多个存储节点,类似于网状图,没有中心节点,数据不一致时,以“少数服从多数”原则执行,如果要篡改里面的数据,除非篡改51%的结点,篡改单一结点无效。
(2)哈希加密/防篡改
区块链采用区块+链式的存储结构,每一个区块的生成,含有上一个区块的HASH信息,从而连贯起来每个链中记录了本块HASH和上一块的HASH和交易,这样彼此连贯起来。
(3) 非对称加密/数字签名
每一笔交易都用数值签名的方式进行签名,保证交易的真实性
(4)共识算法(博弈论)/全民记账
一般有POW(工作量证明)、Pos(权益证明)等比特币采用了POW(工作量证明),争夺记账权,争夺记账权=挖矿计算出来的账单节点哈希值前13个字符为0,则符合规则,得到
记账权;有一个节点计算出结果,则广播消息告知其它节点,其它节点更新数据。
4、区块链的特点
- (1)去中心化:使用分布式核算和存储,不存在中心化的硬件或管理机构,任意节点的权利和义务都是均等的,系统中的数据块由整个系统中具有维护功能的节点来共同维护。
- (2)自治性:区块链采用基于协商一致的规范和协议,使得整个系统中的所有节点能够在去信任的环境自由安全的交换数据,使得对“人”的信任改成了对机器的信任,任何人为干预不起作用。
- (3)集体维护:新产生的区块需要经过对等网络大部分节点验证数据有效性,保证区块链数据的冗余和有效性,这种集体维护防止了集权式的管理可能带来的专政。
- (4)开放性:系统是开放的,除了交易各方的私有信息被加密外,区块链的数据对所有人公开,任何人都可以通过公共接口查询区块链数据和开发相关应用因此整个系统信息高度透明。
- (5)安全性:数据在多个节点存储了多份,篡改数据得改掉51%节点的数据,这太难。同时还有其它安全机制,比如比特币的每笔交易,都由付款人用私钥签名,证明确实是他同意向某人付款,其它人无法伪造。
- (6)匿名性:节点之间的交换遵循固定的算法,其数据交互是无需信任的(区块链中的程序规则会自行判断活动是否有效),因此交易双方无须通过公开身份取得对方信任,对信用的积累非常有帮助
- (7)完全透明:整个系统的动作规则(算法)、数据(账本)都是公开透明的,可随时审计的。
七、互联网+
1、概念
“互联网+”就是“互联网+各个传统行业”,但这并不是简单的两者相加,而是利用信息通信技术以及互联网平台,让互联网与传统行业进行深度融合,创造新的发展生态。
它代表一种新的社会形态,即充分发挥互联网在社会资源配置中的优化和集成作用,将互联网的创新成果深度融合于经济、社会各域之中,提升全社会的创新力和生产力,形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。
2、特征
(1)“互联网+”代表着一种新的经济形态,它指的是依托互联网信息技术实现互联网与传统产业的联合,以优化生产要素、更新业务体系、重构商业模式等途径来完成经济转型和升级。
“互联网+”计划的目的在于充分发挥互联网的优势,将互联网与传统产业深入融合,以产业升级提升经济生产力,最后实现社会财富的增加。 如,滴滴打车、美团外卖、共享单车等
(2)互联网+有六大特征:一是跨界融合、二是创新驱动、三是重塑结构、四是尊重人性、五是开放生态、六是连接一切。
3、发展趋势
(1)2015年3月,首次提出“互联网+”的概念,提出要推动移动互联网、云计算、大数据、物联网等与现代制造业结合,促进电子商务、工业互联网和互联网金融健康发展。“互联网+”成为两化融合的升级版本。
(2)制造业服务化是“互联网+制造”的重要方向。制造业服务化就是制造企业为了获取竞争优势,将价值链由以制造为中心向以服务为中心转变。
制造业服务化有两个层次:
- 一是投入服务化,即服务要素在制造业的全部投入中占据着越来越重要的地位;
- 二是业务服务化,也可称为产出服务化,即服务产品在制造业的全部产出中占据越来越重要的地位
(3)《关于深化“互联网+先进制造业”发展工业互联网的指导意见》中原文。
顺应世界“互联网+”发展趋势,充分发挥我国互联网的规模优势和应用优势,推动互联网由消费领域向生产领域拓展,加速提升产业发展水平,增强各行业创新能力, 构筑经济社会发展新优势和新动能。
- 坚持改革创新和市场需求导向,突出企业的主体作用,大力拓展互联网与经济社会各领域融合的广度和深度。
- 着力深化体制机制改革,释放发展潜力和活力;
- 着力做优存量,推动经济提质增效和转型升级;
- 着力做大增量,培育新兴业态,打造新的增长点;
- 着力创新政府服务模式,夯实网络发展基础,营造安全 网络环境,提升公共服务水平。
4、两化融合
两化融合是工业化和信息化的融合:
- (1)一是指信息化与工业化发展战略的融合,即信息化发展战略与工业化发展战略要协调一致,信息化发展模式与工业化发展模式要高度匹配,信息化规划与工业化发展规划计划要密切配合
- (2)二是指信息资源与材料、能源等工业资源的融合,能极大节约材料、能源等不可再生资源。
- (3)三是指虚拟经济与工业实体经济融合,孕育新一代经济的产生,极大促进信息经济、知识经济的形成与发展;四是指信息技术与工业技术、IT设备与工业装备的融合,产生新的科技成果。形成新的生产力。
典型例题一
【答案】B
【解析】互联网+有六大特征:一是跨界融合 二是创新驱动 三是重塑结构 四是尊重人性 五是开放生态 六是连接一切。
典型例题二
【答案】C
八、智慧中国和智慧城市
“智慧中国”就是在中国范围内充分借助虚拟化、云计算、物联网、SOA架构等基础技术,结合各业务系统,涉及到智能楼宇、智能家居、路网监控、食品药品管理、智能医院、城市生命线管理、票证管理、家庭护理、个人健康与数字生活等诸多领域,按照数字化、网络化、智能化构建城市发展的智慧环境,构建全新的、绿色、智能的和可持续发展的城市形态,从而最终形成“智慧”的中国。
智慧城市
1、概念
智慧城市是利用新一代信息技术来感知、监测、分析、整合城市资源,对各种需求做出迅速、灵活、准确反应,为公众创造绿色、和谐环境,提供泛在、便捷、高效服务的城市形态。智慧城市建设主要包括以下几部分:
- 首先,通过传感器或信息采集设备全方位地获取城市系统数据;
- 其次,通过网络将城市数据关联、融合、处理、分析为信息;
- 第三,通过充分共享、智能挖掘将信息变成知识;
- 最后,结合信息技术,把知识应用到各行各业形成智慧。
2、五层参考模型和三个支撑体系
智慧城市建设参考模型的五层
智慧城市建设参考模型包括有依赖关系的五层和对建设有约束关系的三个支撑体系。
其中这五层具体如下:
- 物联感知层
- 提供对城市环境的智能感知能力,利用信息采集设备、传感器、监控摄像机、GPS等,实现对城市基础设施、大气环境、交通、公共安全等信息的采集、识别和监测。
- 通信网络层
- 以互联网、电信网、广播电视网、城市专用网、无线网络(如Wi-Fi)、移动4G为主要接入网,组成网络通信基础设施。
- 计算与存储层
- 包括软件资源、计算资源和存储资源
- 数据及服务支撑层
- 利用SOA(面向服务的体系架构)、云计算、大数据等技术,通过数据和服务的融合,支撑承载智慧应用层中的相关应用,提供应用所需的各种服务和共享资源。
- 智慧应用层
- 各种基于行业或领域的智慧应用及应用整合,如智慧交通、智慧园区、智慧社区等。
三个支撑体系
典型例题一
例题:智慧城市建设参考模型()利用SOA(面向服务的体系架构)、云计算、大数据等技术,承载智慧应用层中的相关应用,提供应用所需的各种服务的共享资源。
- A.通信网络层
- B.计算与存储层
- C.系统分析
- D.数据及服务支撑层
【答案】D
典型例题二
例题:智能制造是制造技术发展的必然趋势,从理论上来讲,( )是智能制造的核心。
- A. 制造机器人
- B. CPS
- C. 互联网
- D. 3D打印
【答案】B (常识题)
九、数据仓库
1、数据仓库的特点
- 面向主题:据按主题组织;
- 集成的:消除了数据源中的不一致性,提供整个企业的一致性全局信息。
- 相对稳定的:主要进行查询操作,只有少量的修改和删除操作。
- 反应历史变化的:记录了企业从过去某一时刻到当前各个阶段的信息,可对发展历程和未来趋势做定量的分析和预测。
2、数据挖掘分类
数据挖掘:从海量数据中提取或挖掘知识的过程,分类、聚类、关联规则和离群点分析是数据挖掘的重要功能。
- ▓分类是找出描述和区分数据类的模型,以便能够使用模型来预测类标号未知的对象,典型的方法:决策树(ID3、C4\5、K最近邻、贝叶斯、人工神经网络、支持向量机(SVM))
- ▓聚类:按物以类聚的方法,K-means发现相关的观测值组群,使组内的观测值尽量相似,相似的即为一类。常见有K-means和Apriori
- ▓序列模式分析:侧重点是分析数据间的前后因果关系。
- ▓关联分析:挖掘出隐藏在数据间的相互关系。
- ▓离群点分析:异常检测,其目标是发现与大部分其他对象不同的对象。
- ▓回归分析:确定两种或以上的变量相互依赖的定量关系的一种统计分析方法。
K-means和DBSCAN 二者的区别:
二者都是聚类的方法
- 前者基于对象之间的聚类进行聚类,需输入聚类的个数;
- 后者基于密度进行聚类,可以处理大小和不同形状的簇,需确定阈值。
二者聚类的结果均与输入参数有关,当分布密度变化较大时,二者都不合适。
3、数据挖掘的方法
- 决策树:构建树结构进行分析
- 神经网络:类似统计学中的判别、回归、聚类等功能
- 遗传算法:三个基本过程:繁殖(选择)——> 交叉——> 变异
- 关联规则挖掘算法(数据之间存在关系的规则)
十、商业智能和虚拟化
1、概述
- ▓ 商业智能系统主要用于决策分析,商业智能系统应具有的主要功能:数据仓库、数据ETL、数据统计输出(报表)、分析功能。
- ▓ OLAP是数据仓库系统的一个主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。OLAP提供多维数据管理环境,其典型的应用是对商业问题的建模与商业数据分析。
2、应用
OLAP也被称为多维分析。OLAP有多种实现方法,根据存储数据的方式不同可以分为ROLAP、MOLAP和HOLAP。
- ROLAP表示基于关系数据库的OLAP实现
- MOLAP表示基于多维数据组织的OLAP实现。
- HOLAP表示基于混合数据组织的OLAP实现。
3、主要阶段
▓ 商业智能系统主要用于决策分析,其主要处理过程包括四个主要阶段:
- 数据预处理:通过数据抽取、转换和装载实现企业原始数据的初步整合。
- 建立数据仓库是后续数据处理的基础
- 数据分析是体现系统智能的关键,主要采取联机分析处理和数据挖掘的技术
- 数据展现主要完成数据处理结果的可视化
4、主要实现步骤
实施商业智能的步骤:
典型例题
【答案】B
【解析】OLAP是多维度的数据分析。
5、虚拟化
- 虚拟化:Vmware,vmbox,ctlix软件,是做云计算的核心技术。 虚拟化是通过软件把一些硬件资源整合到一起。(提高资源利用率,一台电脑闲置可以虚拟成三台电脑,把几台合并成一台通过软件来实现)
- 虚拟计算:在计算机领域,虚拟化这种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,抽象、封装、规范化并呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来使用这些资源。
典型例题
【答案】A
【解析】虚拟专用网指的是在公用网络上建立专用网络的技术。 因为VPN网络结点之间没有传统专网所需的端到端的物理链路,而是架设在公共网络上临时的、安全的连接,所以称其为“虚拟”专用网。
虚拟VPN可以在保护数据安全传输的前提下,用低廉的成本在公共网络上快速建立安全连接。VPN技术可以使用户无论在公司还是家里,只要可以连接互联网就可以方便安全地访问内网资源。
十一、第五代移动通信技术(5G)
1、概述
第五代移动通信技术简称5G或5G技术,是最新一代蜂窝移动通信技术,也是即4G(LTE-A、WiMax)、3G(UMTS、LTE)和2G(GSM)系统之后的延伸。
5G的性能目标是高数据速率、减少延迟、节省能源、降低成本、提高系统容量和大规模设备连接。
5G网络的主要优势在于,数据传输速率远远高于以前的蜂窝网络,最高可达10Gbit/s,比当前的有线互联网要快,比先前的4G LTE蜂窝网络快100倍。另一个优点是较低的网络延迟(更快的响应时间),低于1毫秒,而4G为30-70毫秒。
2、5G的特点
- 1、峰值速率需要达到Gbit/s的标准,以满足高清视频,虚拟现实等大数据量传输。
- 2、空中接口时延水平需要在1ms左右,满足自动驾驶,远程医疗等实时应用。
- 3、超大网络容量,提供千亿设备的连接能力,满足物联网通信。
- 4、频谱效率要比LTE提升10倍以上。
- 5、连续广域覆盖和高移动性下,用户体验速率达到100Mbit/s。
- 6、流量密度和连接数密度大幅度提高。
- 7、协同化,智能化水平提升,表现为多用户,多点,多天线,多摄取的协同组网,以及网络间灵活地自动调整。
- 8、5G区别于前几代移动通信的关键,是移动通信从以技术为中心逐步向以用户为中心转变的结果。
3、5G关键技术
▓ 超密集异构网络:在未来 5G 网络中, 减小小区半径, 增加低功率节点数量,是保证未来 5G 网络支持 1 000 倍流量增长的核心技术之一 。因此, 超密集异构网络成为未来 5G 网络提高数据流量的关键技术。
▓ 自组织网络技术:解决的关键问题主要有以下 2点:
- ①网络部署阶段的自规划和自配;
- ②网络维护阶段的自优化和自愈合。
▓ 内容分发网络:是在传统网络中添加新的层次,即智能虚拟网络。会对未来 5G 网络的容量与用户访问具有重要的支撑作用。
▓ 设备到设备通信 (D2D): 是一种基于蜂窝系统的近距离数据直接传输技术。具有潜在的提升系统性能、 增强用户体验、 减轻基站压力、 提高频谱利用率的前景。因此,D2D 是未来 5G 网络中的关键技术之一。
▓ M2M通信:主要是指机器对机器、 人与机器间以及移动网络和机器之间的通信, 它涵盖了所有实现人、 机器、系统之间通信的技术。作为物联网最常见的应用形式, 在智能电网、 安全监测、城市信息化、 环境监测等领域实现了商业化应用。
▓ 信息中心网络 (ICN):指的信息包括实时媒体流、网页服务、多媒体通信等,而信息中心网络就是这些片段信息的总集合。因此,ICN 的主要概念是信息的分发、 查找和传递,不再是维护目标主机的可连通性。
4、5G的应用领域
5G的主要应用领域有
- 车联网与自动驾驶
- 外科手术
- 智能电网
典型例题
【答案】B
【解析】5G的特点是高速率,低延迟,理论的速率可以达到10Gbps,用户体验的速率为1Gbps。且最长传送距离可达2公里。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/156043.html