半岛官方新闻
半岛官方体育编制集成蕴涵哪些因素?怎样贯通?
系统集成作为一种新兴的服务方式,是近年来国际信息服务业中发展势头最猛的一个行业。系统集成的本质就是最优化的综合统筹设计,一个大型的综合计算机网络系统,系统集成包括计算机软件、硬件、操作系统技术、数据库技术、网络通讯技术等的集成,以及不同厂家产品选型,搭配的集成,系统集成所要达到的目标-整体性能最优,即所有部件和成分合在一起后不但能工作,而且全系统是低成本的、高效率的、性能匀称的、可扩充性和可维护的系统,为了达到此目标,系统集成商的优劣是至关重要的。 [2]
每一个系统集成厂商对系统集成的概念都有自己的理解,虽然侧重点不同,但本质上是相同的,都是按照用户的需求,对众多的技术和产品合理地选择最佳配置的各种软件和硬件产品与资源,形成完整的、能够解决客户具体应用需求的集成方案,使系统的整体性能最优,在技术上具有先进性,在实现上具有可行性,在使用上具有灵活性,在发展上具有可扩展性,在投资上具有受益性。系统集成已经成为提供整体解决方案、提供整套设备、提供全方位服务的代名词。 [2]
所谓系统集成,就是在纵向持续深化、横向不断整合的基础上,为客户在产品级上提供个技术标准匹配、技术接口完整、技术装备合理、工程造价经济的解决方案,所形成的系统应是先进的、开放的、资源共享的。 [2]
广义上讲,系统集成包括人员的集成、组织机构的集成、设备的集成、系统软件的集成、应用软件的集成和管理方法的集成等多方面的工作。狭义上讲,系统集成就是系统平台的集成。系统集成应用功能集成、网络集成、软件界面集成等多种集成技术。系统集成实现的关键在于解决系统之间的互联和互操作性问题,它是一个多厂商、多协议和面向各种应用的体系结构。这需要解决各类设备、子系统间的接口、协议、系统平台、应用软件等与子系统、建筑环境施工配合、组织管理和人员配备相关的一切面向集成的问题。 [2]
技术集成能力,即从系统的角度,为客户需求提供相应的系统模式,以及实现该系统模式的具体技术解决方案和运作方案的能力。 [2]
对供货商提供产品的性能、技术指标应有全面的掌握,并能够对其性能进行适应性改进。 [2]
应能够对所提出的系统方案的性能及可靠性、可用性、可维护性和安全性(RAMS),以及与其他系统的匹配性兼容性和对环境的影响进行量化的评估。这些评估将贯穿于整个项目的生命周期。 [2]
为单系统调试和系统间的互联、互通调试提供标准、内容、程序及技术手段。 [2]
系统集成商将为用户提供从方案设计开始,经过产品优选、施工、软硬件平台配置、应用软件开发,到售后培训、咨询和技术支持等一揽子服务,使用户能得到一体化的解决方案。 [2]
2:系统集成不是选择最好的产品的简单行为,而是要选择最适合用户的需求和投资规模的产品和技术。 [3]
3:系统集成不是简单的设备供货,它体现更多的是设计、调试与开发的技术和能力。 [3]
4:系统集成包含技术、管理和商务等方面,是一项综合性的系统工程。技术是系统集成工作的核心,管理和商务活动是系统集成项目成功实施的可靠保障。 [3]
5:性能性价比的高低是评价一个系统集成项目设计是否合理和实施是否成功的重要参考因素。 [3]
总而言之,系统集成是一种商业行为,也是一种管理行为,其本质是一种技术行为。 [3]
随着系统集成市场的规范化、专用化的发展,系统集成商将趋于以下三个方向发展: [4]
以原始厂商的产品为中心,对项目具体技术实现方案的某一功能部分提供技术实现方案和服务,即产品系统集成。 [4]
对客户系统项目提供咨询(项目可行性评估、项目投资评估、应用系统模式、具体技术解决方案)。如有可能承接该项目,则负责对产品技术服务型和应用产品开发型的系统集成商进行项目实现招标、并负责项目管理(承包和分包)。 [4]
表现在与用户合作共同规划设计应用系统模型,与用户共同完成应用软件系统的设计开发,对行业知识和关键技术具有大量的积累,具有一批懂行业知识又懂计算机系统的两栖专业人员。为用户提供全面系统解决方案,完成最终的系统集成。 [4]
以当前系统集成市场的结果看,用户均看中应用产品开发型的系统集成商。能够提供组织合理,管理有效,技术有保障的系统集成是成功的关键。 [4]
设备系统集成,也可称为硬件系统集成,它是指以搭建组织机构内的信息化管理支持平台为目的,利用综合布线技术、安全防范技术、通信技术、互联网技术等进行机车设计、安装调试、界面定制开发和应用支持。 [5]
应用系统集成是以系统的高度为用户需求提供应用的系统模式,以及实现该系统模式的具体解决方案和运作方案。应用系统集成又称为行业信息化解决方案集成。 [5]
系统集成必须坚持一定的原则,主要包括实用性原则、经济性原则、先进性原则、成熟性原则、标准性原则、安全性原则、可靠性原则、开放性原则和可扩展性原则。 [6]
(1)实用性和经济性原则。硬件的发展远远快于软件的发展,充分利用原有系统的硬件资源,尽量减少硬件投资,充分利用原有系统的软件资源和数据资源,使其规范化。 [6]
(2)先进性和成熟性原则。硬件以及软件在数年内不应落后,选用成熟的技术,符合国际标准化的设备,确保设备的兼容性。 [6]
(3)安全性和可靠性原则。安全性是指网络系统的安全性和应用软件的安全性,开发的应用软件系统的安全性,防止非法用户越权使用系统资源。可靠性是指系统是否要长期不间断地运行,数据是否需要双机备份或分布式存储,故障后恢复的措施等。 [6]
(4)开放性和可扩展性原则。选择具有良好的互联性、互通性及互操作性的设备和软件产品,应用软件开发时应注意与其他产品的配合,保持一致性。特别是数据库的选择,要求能够与异种数据库的无缝连接。集成后的系统应便于今后需求增加而进行扩展。 [6]
(5)标准性原则。由国家制定的计算机软件开发规范详细规定了计算机软件开发中的各个阶段以及每一个阶段的任务、实施步骤、实施要求、测试及验收标准、完成标志及交付文档。使得整个开发过程阶段明确、任务具体,真正成为一个可以控制和管理的过程。同样,采用科学和规范化的指导和制约,使得开发集成工作更加规范化、系统化和工程化,可大大提高系统集成的质量。 [6]
在总体设计中,对各系统的接口进行了定义,这是系统总体集成的基本依据。 [7]
进行系统的总体集成时,首先应做好各建设单元内部的集成工作,然后按照不同系统建设单元的接口定义,按照由强至弱耦合或运行制约的先后顺序进行不同建设单元的集成各建设单元内部各个系统之间的集成,应参照本总体设计中的接口定义方式,对建设单元内部各个子系统的接口进行明确定义,并在此基础上,进行单元内部集成不同单元之间的集成,可以采用两种集成顺序,这两种顺序可能交叉并存:耦合度的强弱、运行前提的制约。具体单元间的集成可以采用分解集成的方式。即将本单元与其他单元集成的部分分解出来,以一个分解单位的形式进行与相关单元的集成,以降低集成的复杂度,并有利于问题的定位。在各个分解单位完成与特定集成目标的集成后,再进行本集成单元与相关单元间的总体集成测试。 [7]
系统集成技术人员不仅要精通各个厂商的产品和技术,能够提出系统模式和技术解决方案。更要对用户的业务模式、组织结构等有较好的理解。同时还要能够用现代工程学和项目管理的方式,对信息系统各个流程进行统一的进程和质量控制,并提供完善的服务。 [8]
信息系统集成(System Integration)指将多个独立的系统或服务相互连接的过程,目标是将多个有关联或存在冗余的独立模块,整合后以一个协调运行的整体提供服务,从而发挥整体效益,减少重复建设。
企业信息化建设是一个循序渐进、且不断加深和扩张的过程。假设企业第一年建设了WMS仓储管理系统用于协调库存成本,第二年计划建设SCM供应链管理系统用于管理上下游关系,SCM与WMS之间需要打通才能实现订单数据的顺序流转。
这些系统当然可以通过人工方式连接,如SCM系统接受订单后由专人去WMS系统中查询库存数量并进行分配,但问题在于既增加了人力成本,又容易误操作导致生产事故,这时信息系统集成就成为了企业内部运营的刚需。
再举个非常通俗的例子,手机上每下载一个新APP,都需要先录入个人信息,下载100个APP则需要录入100次,但大部分信息都是重复数据,如果可以将新APP与已注册的个人信息连通,只需填写一次信息就可以用于所有APP的注册。而对于APP来说,如果能减少注册所需的时间,也可以让用户更快体验核心功能,提升转化率。所以我们可以看到从某个时刻起,大部分APP都支持通过微信或QQ一键注册,这就是一个典型的集成问题。当然对比而言,企业级别涉及的集成场景更加复杂,影响范围也更广。
将来自不同数据源的数据整合在一起,形成一个统一的数据视图或数据仓库,方便对数据进行分析和利用。例如,将来自不同部门或系统的数据整合到一个数据仓库中,供企业进行决策分析。
将不同的业务流程或业务系统整合在一起,实现业务的协同和优化。例如,将订单管理、库存管理和物流管理等不同的业务系统整合在一起,形成一个完整的供应链管理系统。
将多个独立的系统通过接口进行连接和通信,实现数据交换和功能调用。例如,将企业内部的系统与供应商或客户的系统进行接口集成,实现订单、支付等信息的自动化交互。
基于面向服务架构(SOA),将不同的服务组件整合在一起,形成一个可复用、可组合的服务体系。例如,将身份认证、支付、地理位置等不同的服务整合在一起,供开发人员进行快速应用开发。
这些集成方式并非相互独立,常常要组合使用,企业需要结合自身需求、系统规模及复杂度来选择适合的集成方式。目前主流的集成解决方案中往往兼顾上述几种方式,但可能略有侧重。
如ETL(数据抽取、转换和加载)平台专注于大规模数据集成、数据同步;ESB(企业服务总线)平台更偏向应用集成,且支持高度定制化,可以根据企业当下需求做完美匹配,但在运维成本和拓展性方面具有劣势;iPaaS(集成平台即服务)平台也可以处理数据集成和应用集成的问题,且在低成本、云环境部署、快速集成和灵活性等方面具备优势,是综合性价比较优的选择。
相比ERP(企业资源计划)、CRM(客户关系管理)等业务型系统,系统集成平台往往是更加“低调”的信息化建设对象,容易被企业忽略。但过往种种案例警醒着我们,集成平台的引入宜早不宜迟!
大型企业通常拥有多个系统、应用和数据源,这些系统之间缺乏标准化的接口和协议,导致IT架构非常复杂。引入集成平台可以帮助企业实现不同系统之间的无缝连接和协同工作,提高效率和降低成本。
大型企业往往面临复杂的业务流程和管理需求,需要整合不同的系统和数据源来完成业务流程。引入集成平台可以支持复杂的业务流程集成和优化,提高业务效率和质量。
大型企业可能涉及多个地区、国家或部门,需要整合来自不同地区或部门的数据和系统。引入集成平台可以帮助企业实现跨地区和部门的协同工作,并提供一致的视图和服务。
中小企业通常面临资金有限、人力资源匮乏的挑战,难以承担昂贵的IT系统和开发费用。引入集成平台可以降低IT系统的运营成本,并提供快速、灵活的开发和集成服务。
中小企业通常在业务增长阶段需要整合多个系统和数据源,但缺乏专业的技术和经验。引入集成平台可以提供专业的技术支持和开发工具,帮助企业快速实现多系统集成和业务增长。
中小企业的技术需求相对简单,通常需要实现基本的数据共享和业务流程优化。引入集成平台可以提供简单易用的集成方案和工具,帮助企业快速实现业务优化和效率提升。
不管对大型企业还是中小企业,更快引入集成平台意味着提前解决前期系统割裂式建设过程的“负债”,以更健康和稳定的IT结构迎接新需求和新变化。
另一方面,集成平台将隐藏在业务系统背后的“暗流”——API及自动化流程集中管理起来,沉淀企业IT资产,减少重复开发,越早引入意味着更快降低前期的重复成本。
选择合适的企业级集成平台需要综合考虑多个因素,包括集成需求分析、可拓展性与灵活性、半岛官方体育安全性与可靠性、易用性等。得帆云iPaaS融合集成平台是融合数据集成ETL、应用集成ESB、能力开放API三个核心引擎为一体的企业级集成平台;旨在为企业重新定义集成,降低企业集成成本,提升集成效率,再结合得帆丰富的集成实施经验和实施能力,为企业提供产品+实施的全方位集成解决方案。
得帆云iPaaS融合集成平台提供全域集成方案,能够同时满足应用集成和数据集成,能够打通多个系统之间的连接,将不同应用和数据进行整合,实现信息的共享和流动,提高业务效率和数据价值。
得帆云iPaaS融合集成平台提供300+的应用系统、技术协议层面的连接器,为企业提供各类业务系统、各类底层协议的连接支撑。连接器可以通过图形化的方式拓展开发,使得企业能够根据具体需求灵活扩展新的系统连接器,帮助企业快速响应市场需求,实现更广泛的集成范围。
对于与外网系统对接,及内部系统之间安全审计等需求,得帆云iPaaS融合集成平台提供了访问控制、身份认证、数据加密等20+的流控策略功能,可以保护集成过程中的数据和信息安全,确保企业数据的隐私保护和合规性。
所有在平台中运行的API,都经过平台的全面深度监控,对于API运行的步骤、传输时间、报文大小、报文详情等均可以进行监控统计,方便进行异常排查及问题分析。同时,平台也提供异常诊断和预警通知功能,帮助企业提前预防和应对潜在的风险,进一步提升集成的稳定性和对接效率。
得帆云iPaaS融合集成平台支持JAVA、JS、Python等多种编程语言,半岛官方体育并且提供低代码开发方式,使得不同人群可以选择适合自己的开发方式。技术人员可以根据自己的使用习惯结合不同语言、脚本连接器开发API,实现零成本转换;非技术人员或技术人员在编写简单接口时,可以通过表单快速开发或拖拉拽低代码的方式开发API,加快开发效率,降低开发门槛。
系统集成是指将计算机软件、硬件、网络通信等技术和产品集成为能够满足用户特定需求的信息系统,包括总体策划、设计开发、实施、服务及保障。
网络协议是为计算机网络中进行数据交换而建立的规则、标准或约定的集合。网络协议由三个要素组成,分别是语义、语法和时序。
ISO:国际标准化组织;CCITT:国际电报电话咨询委员会;联合制定的开放系统互联参考模型(OSI),OSI采用了分层的结构化技术,从下到上共分七层:
(1)物理层:该层包括物理连网媒介,如电缆连线连接器。具体标准有RS232、V.35、RJ-45、FDDI。
(2)数据链路层:它控制网络层与物理层之间的通信。它的主要功能是将从网络层接收到的数据分割成特定的可被物理层传输的帧。常见的协议有IEEE 802.3/.2、HDLC、PPP、ATM。
(3)网络层:其主要功能是将网络地址(例如,IP地址)翻译成对应的物理地址(例如,网卡地址),并决定如何将数据从发送方路由到接收方。在TCP/IP协议中,网络层具体协议有IP、ICMP、IGMP、IPX、ARP等。
(4)传输层:主要负责确保数据可靠、顺序、无错地从A点传输到B点。如提供建立、维护和拆除传送连接的功能;选择网络层提供最合适的服务;在系统之间提供可靠的透明的数据传送,半岛官方体育提供端到端的错误恢复和流量控制。在TCP/IP协议中,具体协议有TCP、UDP、SPX。
(5)会话层:负责在网络中两节点之间建立和维持通信,以及提供交互会话的管理功能,如三种数据流方向的控制,即一路交互、两路交替和两路同时会话模式。常见的协议有RPC、SQL、NFS。
(6)表示层:如同应用程序和网络之间的翻译官,在表示层,数据将按照网络能理解的方案进行格式化;这种格式化也因所使用网络的类型不同而不同。表示层管理数据的解密加密、数据转换、格式化和文本压缩。常见的协议有JPEG、ASCII、GIF、DES、MPEG。
(7)应用层:负责对软件提供接口以使程序能使用网络服务,如事务处理程序、文件传送协议和网络管理等。在TCP/IP协议中,常见的协议有HTTP、Telnet、FTP、SMTP。
IEEE 802规范包括:802.1(802协议概论)、802.2(逻辑链路控制层LLC协议)、802.3(以太网的CSMA/CD载波监听多路访问/冲突检测协议)、802.4(令牌总线Token Bus协议)、802.5(令牌环Token Ring协议)、802.6(城域网MAN协议)、802.7(FDDI宽带技术协议)、802.8(光纤技术协议)、802.9(局域网上的语音/数据集成规范)、802.10(局域网安全互操作标准)、802.11(无线局域网WLAN标准协议)。
FDDI光纤分布式数据接口是于20世纪80年代中期发展起来一项局域网技术,它提供的高速数据通信能力要高于当时的以太网(10MB/s)和令牌网(4或16Mb/s)的能力。广域网协议包括:PPP点对点协议、ISDN综合业务数字网、xDSL(DSL数字用户线路的统称:HDSL、SDSL、MVL、ADSL)DDN数字专线、FR帧中继、ATM异步传输模式。
TCP/IPInternet是一个不受政府管理和控制的、包括成千上万相互协作的组织和网络的集合体。TCP/IP协议是Internet的核心。
在应用层中,定义了很多面向应用的协议,应用程序通过本层协议利用网络完成数据交互的任务。这些协议主要有FTP、TFTP、HTTP、SMTP、DHCP、Telnet、DNS和SNMP等。
FTP(file transport protocol,文件传输协议)是网络上两台计算机传送文件的协议,运行在TCP之上,是通过Internet将文件从一台计算机传输到另一台计算机的一种途径。FTP的传输模式包括Bin(二进制)和ASCLL(文本文件)两种,除了文本文件之外,都应该使用二进制模式传输。FTP在客户机和服务器之间需建立两条TCP连接,一条用于传送控制信息(使用21号端口),另一条用于传送文件内容(使用20号端口)。l TFTP(Trivial file transfer protocol,简单文件传输协议)是用来在客户机与服务器之间进行简单文件传输的协议,提供不复杂、开销不大的文件传输服务。TFTP建立在UDP(User Datagram protocol,用户数据报协议)之上,提供不可靠的数据流传输服务,不提供存取授权与认证机制,使用超时重传方式来保证数据的到达。
HTTP(Hypertext transfer protocol,超文本传输协议)是用于从务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,使网络传输减少。HTTP建立在TCP之上,它不仅保证计算机正确快速地传输超文本文档,还确定传输文档中的哪一部分,以及哪部分内容首先显示等。
SMTP(Simple mail transfer protocol,简单邮件传输协议)建立在TCP之上,是一种提供可靠且有效的电子邮件传输的协议。SMTP是建模在FTP文件传输服务上的一种邮件服务,主要用于传输系统之间的邮件信息,并提供与电子邮件有关的通知。
DHCP(Dynamic host configuration protocol,动态主机配置协议)建立在UDP之上,基于客户机/服务器模型设计的。所有的IP网络设定数据都由DHCP服务器集中管理,并负责处理客户端的DHCP要求;而客户端则会使用从服务器分配下来的IP环境数据。DHCP通过租约(默认为8天)的概念,有效且动态地分配客户端的TCP/IP设定。当租约过半时,客户机需要向DHCP服务器申请续租;当租约超过87.5%时,如果仍然没有和当初提供IP的DHCP服务器联系上,则开始联系其他DHCP服务器。DHCP分配的IP地址可以分为三种方式,分别是固定分配、动态分配和自动分配。
Telnet(远程登录协议)是登录和仿真程序,建立在TCP之上,它的基本功能是允许用户登录进入远程计算机系统。以前,Telnet是一个将所有用户输入送到远程计算机进行处理的简单的终端程序。目前,它的一些较新的版本是在本地执行更多的处理,可以提供更好的响应,并且减少通过链路发送到远程计算机的信息数据。
DNS(Domain Name System,域名系统)在Internet上域名与IP地址之间是一一对应的,域名虽然便于人们记忆,但机器之间只能互相认识IP地址,他们之间的转换工作称为域名解析,域名解析需要由专门的域名解析服务器来完成,DNS就是进行域名解析的服务器。DNS通过对用户友好的名称查找计算机和服务。当用户在应用程序中输入DNS名称时,DNS服务可以将此名称解析为与之相关的其他信息,例如,IP地址。SNMP(simple network Management protocol,简单网络管理协议)是为了解决internet上的路由器管理问题而提出的,它可以在IP、IPX、AppleTalk和其他传输协议上使用。SNMP是指一系列网络管理规范的集合,包括协议本身、数据结构的定义和一些相关概念。目前,SNMP已成为网络管理领域中事实上的工业标准,并被广泛支持和应用,大多数网络管理系统和平台都是基于SNMP的。
传输层主要有两个传输协议,分别是TCP和UDP,这些协议负责提供流量控制、错误校验和排序服务。
TCP是整个TCP/IP协议族中最重要的协议之一,它在IP协议提供的不可靠数据服务的基础上,采用了重发技术,为应用程序提供了一个可靠的、面向连接的、全双工的数据传输服务。TCP协议一般用于传输数据量比较少,且对可靠性要求高的场合。
UDP是一种不可靠的、无连接的协议,可以保证应用程序进程间的通信,与TCP相比,UDP是一种无连接的协议,它的错误检测功能要弱得多。可以这样说,TCP相比UDP是一种无连接的协议,它的错误检测功能要弱得多。可以这样说,TCP有助于提供可靠性,而UDP则有助于提高传输速率。UDP协议一般用于传输数据量大,对可靠性要求不是很高,但要求速度快的场合。(3) 网络层协议
1. IP所提供的服务通常认为是无连接的和不可靠的,他将差错检测和流量控制之类的服务授权给了其他的各层协议,这正是TCP/IP能够高效率工作的一个重要保证。网络层的功能主要由IP来提供,除了提供端到端的分组分发功能外,IP还提供很多扩充功能,这使得很大的IP数据包能以较小的分组在网络上传输。
2. ARP用于动态地完成IP地址向物理地址的转换。物理地址通常是指计算机的网卡地址,也称为MAC地址,每块网卡都有唯一的地址;RARP用于动态完成物理地址向IP地址的转换。
3. ICMP是一个专门用于发送差错报文的协议,由于IP协议是一种尽力传送的通信协议,即传送的数据可能丢失、重复、延迟或乱序传递,所以需要一种尽量避免差错并能在发生差错时报告的机制,这就是ICMP的功能。
4. IGMP允许Internet中的计算机参加多播,是计算机用做向相邻多目路由器报告多目组成员的协议。多目路由器是支持组播的路由器,它向本地网络发送IGMP查询,计算机通过发送IGMP报告来应答查询。多目路由器负责将组播包转发到网络中所有组播成员。
网络互连设备有中继器(实物物理层协议转换,在电缆间转换二进制信号)、网桥(实现物理层和数据链路层协议转换)、路由器(实现网络层和以下各层协议转换)、网关(提供从最底层到传输层或以上各层的协议转换)和交换机等。
网络服务器是指在网络环境下运行相应的应用软件,为网上用户提供共享信息资源和各种服务的一种高性能计算机(或计算机集群),英文名称叫作Server(Cluster)。而集群对客户端而言,逻辑上仍是一台计算机。
采用NAS技术的存储设备不再通过I/O总线附属于某个特定的服务器,而是通过网络接口与网络直接相连,由用户通过网络访问。NAS存储设备类似于一个专用的文件服务器,它去掉了通用服务器的大多数计算功能,而仅仅提供文件系统功能,从而降低了设备的成本。
SAN是通过专用交换机将磁盘阵列与服务器连接起来的高速专用子网。它没有采用文件共享存储方式,而是采用块(block)级别存储。SAN是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统,
①FC SAN:FC(Fiber channel,光纤通道)和SCSI接口一样,最初也不是为硬盘设计开发的接口技术,而是专门为网络系统设计的,随着存储系统对速度的需求,才逐渐应用到硬盘系统中。光纤通道的主要特性有:热插拔性、高速宽带、远程连接、连接设备数量大等。FC SAN由三个基本的组件构成,分别是接口(SCSI、FC)、连接设备(交换机、路由器)和协议(IP、SCSI)。
②IP SAN:IP SAN是基于IP网络实现数据块级别存储方式的存储网络。由于设备成本低,配置技术简单,可共享和使用大容量的存储空间。
③IB SAN:IB(InfiniBand,无限宽带)是一种交换结构I/O技术,其设计思路是通过一套中心机构(IB交换机)在远程存储器、网络以及服务器等设备之间建立一个单一的连接链路,并由IB交换机来指挥流量。这种结构设计得非常紧密,大大提高了系统的性能、可靠性和有效性,能缓解各硬件设备之间的数据流量拥塞。
1.3.5网络接入技术目前,接入Internet的主要方式可分为两个大的类别,即有线接入与无线接入。其中,有线接入方式包括PSTN、ISDN、ADSL、FTTx+LAN和HFC等,无线接入方式包括GPRS、3G和4G接入等。
俗称“一线通”半岛官方体育,是在电话网络的基础上构造的纯数字方式的综合业务数字网,能为用户提供包括语音、数据、图像和传真等在内的各类综合业务。l
:非对称数字用户线路的服务端设备和用户端设备之间通过普通的电话线连接,无需对入户线缆进行改造,就可以为现有的大量电话用户提供ADSL宽带接入。l
:实现高速以太网的宽带技术常用的方式是FTTx+LAN(光纤+局域网),根据光纤深入用户的程度,可以分为五种,分别是FTTC(光纤到路边)、FTTZ(光纤到小区)、FTTB(光纤到楼)、FTTF(光纤到楼层)和FTTH(光纤到户)。l HFC接入:同轴光纤技术是将光缆敷设到小区,然后通过光电转换节点,利用有线电视(CATV)的总线式同轴电缆连接到用户,提供综合电信业务的技术。l 无线接入:无线网络是指以无线电波作为信息传输媒介。无线网络既包括允许用户建立远距离无线连接的全球语音和数据网络,也包括为近距离无线连接进行优化的红外线技术及射频技术,与有线网络的用途十分类似,最大的不同在于传播媒介的不同。
和网络实施三个阶段。(1) 网络规划:网络规划包括网络需求分析、可行性分析和对现有网络的分析与描述。① 需求分析:需求分析的基本任务是深入调查用户网络建设的背景、必要性、上网的人数和信息量等,然后进行纵向的、更加深入细致的需求分析和调研。
② 可行性分析:通常从技术可行性、经济可行性、操作可行性等方面进行论证。
③ 对现有网络的分析与描述:如果是在现有网络系统的基础上进行升级,那么,网络规划阶段的一项重要工作就是对现有网络进行分析。
网络中直接面向用户连接或访问网络的部分称为接入层,将位于接入层和核心层之间的部分称为分布层或汇聚层。
目的是允许终端用户连接到网络。汇聚层是核心层和接入层的分界面,完成网络访问策略控制、数据包处理、过滤、寻址,以及其他数据处理的任务。网络主干部分称为核心层,核心层的主要目的在于通过高速转发通信,提供优化、可靠的骨干传输结构,因此,核心层交换机应拥有更高的可靠性,性能和吞吐量。网络设计工作包括:
确立网络的物理拓扑结构是整个网络方案规划的基础,物理拓扑结构的选择往往和地理环境分布、传输介质与距离、网络传输可靠性等因素紧密相关。选择拓扑结构时,应该考虑的主要因素有:地理环境、传输介质与距离以及可靠性。b.
主干网技术的选择,要根据以上需求分析中用户方网络规模大小、网上传输信息的种类和用户方可投入的资金等因素来考虑。c.
根据网络规模的大小、网络用户的数量,来选择对外连接通道的技术和带宽。e.
无线网络的出现就是为了解决有线网络无法克服的困难。无线网络首先适用于很难布线的地方或者经常需要变动布线结构的地方。另外,因为无线网络支持十几公里的区域,因此对于城市范围的网络接入也能适用,可以设想一个采用无线网络的ISP可以为一个城市的任务角落提供高速互联网接入。f. 网络安全设计:网络安全是指网络系统的硬件、软件及其系统中的数据受到保护,不因偶然的或者恶意的原因遭受到破坏、更改、泄露,系统连续可靠正常地运行,网络服务不中断。信息安全的基本要素如下:a) 机密性:确保信息不暴露给未授权的实体或进程。
b) 完整性:只有得到允许的人才能修改数据,并且能够判别出数据是否已被篡改。
c) 可用性:得到授权的实体在需要时可访问数据,即攻击者不能占用所有的资源而阻碍授权者的工作。
g. 设备选型:网络通信设备选型包括核心交换机选型、汇聚层/接入层交换机选型、远程接入与访问设备选型。网络安全设备选型包括防火墙选型、入侵检测设备选型、信息加密设备选型、身份认证设施选型等。
目前,常见的数据库管理系统主要有Oracle、MySQL、SQL Server、MongoDB等,这些数据库中,前三种均为关系型数据库,而MongoDB是非关系型数据库。
MySQL:是一个关系型数据库管理系统,目前属于Oracle旗下产品。MySQL是目前最流行的关系型数据库管理系统之一,大量小型Web应用都采用该数据库管理系统。
SQL Server:是微软公司的数据库产品,SQL Server的分布式体系结构把应用程序对数据库的访问和数据库引擎分离开来。
。由C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。
OLAP服务器:对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。并具体实现可分为:
。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中。
前端工具:主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。1.3.9 中间件技术
目前还没有对中间件形成一个统一的定义,下面是两种现在普遍比较认可的定义:
②中间件是一种独立的系统软件和服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信。
从中间件的层次上来划分,可分为底层型中间件、通用型中间件和集成型中间件三个大的层次。
(1) 底层型中间件的主流技术有JVM(java虚拟机)、CLR(公共语言运行库)、ACE(自适配通信环境)、JDBC(Java数据库连接)和ODBC(开放数据库互连)等,代表产品主要有SUN JVM和Microsoft CLR等。
可用性(availability)是系统能够正常运行的时间比例。经常用两次故障之间的时间长度或在出现故障时系统能够恢复正常的速度来表示。
计算机系统的可用性用平均无故障时间(MTTF)来度量,即计算机系统平均能够正常运行多长时间,才发生一次故障。系统的可用性越高,平均无故障时间越长。可维护性用平均维修时间(MTTR)来度量,即系统发生故障后维修和重新恢复正常运行平均花费的时间。系统的可维护性越好,平均维修时间越短。计算机系统的可用性定义为:MTTF/(MTTF+MTTR)*100%。由此可见,
所以,想要提高一个系统的可用性,要么提升系统的单次正常工作时长,要么减少故障修复时间。常见的可用性战术如下:
数据集成系统是为用户访问多个有效的、异构的数据源提供统一的应用系统,从而使用户真正将注意力集中在他们想要的特定结果上,而不必关心如何获得这些结果。
数据集成系统是一个三元组,其中:G是全局模式,S是数据源模式, M为全局模式和数据源模式之间的映射。在数据集成系统中,在创建虚拟的全局模式及其与下层数据源模式之间的“映射关系”后,用户在全局模式上提出“查询请求”,系统将查询请求按照映射关系转换为对应下层数据源模式的“子目标” (称之为“查询重写”),而后进入子目标的“执行”,重写和执行过程中都可能存在“优化”,子目标并不是直接运行在下层数据源系统内,而是通过一个“封装器”间接地和下层数据源交流,最后系统将每个子目标执行结果整合为统一结果,按照用户要求或系统设置格式提供给用户。
语义联系是多模式应用(数据集成、语义Web、数据移植、实体整合等)中的一个基础性问题, 在数据集成系统中它是用户查询和下层数据源数据建立联系的唯一桥梁。
使用最多的语义联系方式是采用映射, 其终极目的就是获得一个正确的、满足应用要求的映射。映射语义就是对两个模式之间的元组所实施的约束,决定了在给定映射下哪些元组对可以共存。一个映射能否满足特定的主题要求必须具备三个条件:清晰语义,对不完整信息的适应性和允许模式异构。映射有三个重要的属性:查询回答能力,映射推理能力和映射整合能力。
显然,实际中的映射是不精确的,也是不确定的。因此目标就是要找到一个“最好”的映射,或者“最有效”的映射。这个研究结论对于指导寻找映射非常有价值。目前对于映射性质的研究,主要是基于有明确定义的模式之间的映射,对于在集成应用系统中存在音乐、拓片、电影等无具体的模式定义的情况仍然需要进一步研究。
模式只是一个象征性符号,并不能完全表达出它所代表对象的全部含义,所以完全自动地建立语义联系是不可能的。建立语义联系在现实中大多通过人工完成,但这个过程是一个劳动力密集型且容易出错的工作。
模式是指和某个结构联系的元素的集合,映射是两个模式中有映射关系的规则集合,意味着一个模式中某些特定的元素映射到另一个模式中某些特定的元素。一个映射关系必须存在两个部分:映射的元素和映射元素之间的映射描述。
匹配就是找到分布在两个不同模式中的元素之间的某种映射关系的行为,可以理解为将两个模式作为参数输入,输出结果是它们之间的映射关系的函数,输出的结果为匹配结果,每个匹配结果中的元素都表示一个输入参数中有特定的元素和另一个输入参数中某些特定的元素存在逻辑上的对应关系,这些对应关系的语义就是通过映射元素的映射描述来表达的。所以关键是寻找匹配方法,而这个方法的目标应该是自动的、精确的、广泛适应的。映射可以分为两个阶段:首先找到下层数据源模式与全局模式之间的映射;其次在全局模式中描述这些映射。
显然无法利用数学公式或者数学方法来对两个模式之间的对应关系进行计算,只能利用模式本身所蕴涵的语义和数据来寻找二者之间的对应关系。尽可能多地挖掘这些信息,并对这些信息正确加以运用是匹配的核心。从目前研究看,使用到的信息可以分为几类:1)模式信息, 包括模式的结构、关系类型、注释和描述、元素名称、元素数据类型、约束条件、关键字属性、外键属性、命名空间、所在域等;2)实例/内 容信息;3)辅助信息, 包括字典、先前的成功映射、用户输入、应用领域规范等。
匹配算法除了利用不同种类的信息外,也对这些信息采用了两种不同的使用方式:一种只根据单一信息标准完成匹配,如以名字的相似程度作为标准;另一种则综合多种信息标准来完成匹配。这些匹配算法找到的匹配结果就是映射,考虑到精度问题,多数作为候选映射供手工选择或调整,它们可能带有0 ~ 1之间的某个权值作为匹配精度。为了提高匹配的精确度,有些匹配方案会将多个不同匹配算法得到的匹配结果再进行综合整理后提供给用户。
查询重写是利用语义联系,将建立在全局模式上的查询用(且仅用)下层数据源的资源描述来重新表述。全局模式采用不同的描述方式对应着不同的查询重写方式,前面提到LAV方式引入了一个关键难题:利用视图来回答查询的问题。该问题在不同的应用领域有不同的侧重点, 它有三种输出结果:最终查询结果、查询计划和查询重写形式。
数据集成中的查询重写有几个特点需要注意:第一是涉及的视图数量非常多;其次视图定义中可能包含非常复杂的谓词逻辑;第三数据源的数据往往是不完整的,即数据源只包含部分满足视图定义的数据。
(1)Bucket algorithm:算法主要的想法是先单独考虑每个子目标,确定哪些视图和子目标相关,从而达到显著减少重写个数的目的。算法分为两个阶段,第一阶段确定bucket中的视图;第二阶段根据bucket中的视图写出查询重写表达式。在第一阶段中算法为每个子目标创建一个bucket存放与该子目标相关的视图。算法通过两个步骤确定视图和子目标相关:1)检查视图定义和子目标参数表是否存在某种一致性;2)检查查询和视图是否兼容。两个条件均满足则把视图放到bucket中,重复数据只出现一次。第二阶段中组合这些bucket中的视图。每次从每个bucket中取出一个视图组合形成一个候选的查询重写(不重复),检测它是否为查询的重写形式,最后将所有检测通过的重写结果联合起来就是原查询的最大包含查询重写,但不一定是等价重写。Bucket算法的优点是在算法的早期就充分利用信息去掉了很多后面需要考虑的候选重写,其缺陷是第二阶段所产生的笛卡儿乘积数仍然很多,而对每个重写均要进行包含检测。
(2)Inverse rules algortihm:算法思想是构建一个由反转视图定义后形成特殊规则的集合。反转规则是将LAV的描述方式变换成GAV的描述方式,查询可以按照反转规则直接展开,返回的是最大包含重写。算法最大的优点是概念非常清楚而且很容易模型化,另外获得最大包含重写的时间开销是相对于视图和查询大小的多项式。该算法的缺点有两个:反转规则会包含一些对查询没有意义的视图,需要在算法中利用单独过程来消除无用视图;没有充分利用已经物化的视图,从而丧失了很多计算上的优势。
2)数据源是自治的,其状态是动态变化的,故优化器不能获取足够的统计信息,而且历史统计数据很难具有直接的参考价值;
3)数据源分布在广阔地理空间中,其传输延迟、异常等无法把握,即使采用了最好的执行方案,也完全可能因为数据延迟而变得不可行;
4)下层数据源数据表现形式多样结构化,半结构化,甚至无结构,故其执行查询的能力也大不相同等。
正是这些特点使得查询优化和执行变得非常困难,传统的优化技术已经无法适应这样的环境。另外,数据集成的查询优化和传统数据库查询优化目标并不相同,后者是从整体上来优化查询的执行,而前者由于应用了大量的数据源,重写后形成的子查询数量非常多,对这些计划评估的开销巨大,不是每一个计划都去执行,可能在执行的过程中用户对已经返回的结果满意了就会终止执行,或者计划执行过程中达到了某种资源限制或阈值而结束执行,所以尽快获得第一批结果非常重要,优化的目标不是要求整个查询的代价最小,而是要尽可能快地返回尽可能多的结果。这也造成了数据集成的优化和传统数据库优化有着本质上的区别。
查询优化是非常关键的步骤,一个没有优化的计划也许根本就不能获得结果,优化方法可分为本地执行方案和分布式(多节点)执行方案两类,这两类又可细分为适应性优化策略和非适应性优化策略。
由于数据集成环境中数据源的远程分布、自治等特点,使得非适应性优化并不能从根本上提高执行效率,优化方案必须随着环境变化而作出相应调整,这就是适应性优化方案,是目前研究得最多的,也应该是最有前途的方案。不管是本地执行的优化还是分布在网络中多个节点执行的优化均可以采用适应性策略。
近来研究者们已经将优化的目光放在网络分布式执行方面了,但几个方面仍然需要足够重视:第一是主动优化的概念。除了被动利用各数据资源的数据和能力,也需要主动挖掘网络和数据资源的潜力,如将部分数据内容复制到其他节点以加速访问(数据分布问题),或者对某些功能强大而且持久有效的节点赋予更多的访问优先级等。第二是挖掘传统技术潜力。比如建立辅助手段来保证传统优化数据的可用性。第三是运用分布式计算。比如异地计算将结果传回本地而不是把数据取回本地等。