省警务云计算平台视频资源整合方案.docx
- 文档编号:5289608
- 上传时间:2023-05-08
- 格式:DOCX
- 页数:88
- 大小:6.47MB
省警务云计算平台视频资源整合方案.docx
《省警务云计算平台视频资源整合方案.docx》由会员分享,可在线阅读,更多相关《省警务云计算平台视频资源整合方案.docx(88页珍藏版)》请在冰点文库上搜索。
省警务云计算平台视频资源整合方案
省警务云计算平台视频资源整合方案
1项目背景与必要性分析
1.1城市安防与云计算
城市公共场所往往有成千上万路监控摄像头遍布街头,昼夜不停地监视和录像,在改善社会治安的同时,也产生出海量的视频数据需要监控管理平台存储和处理。
要对这些海量视频通过人工进行重点图像的抓拍,困难很大。
首先,需要对所有的视频录像进行逐帧浏览,才能发现重点图像,这无疑工作量巨大,甚至犹如大海捞针。
其次,即使找到了重点图像,人工抓拍,并且要记录下对应的原始视频图像的时间点等,也是工作量很大,效率很低。
由于人的生理特征所限,长时间观看视频录像,容易产生视觉疲劳,还有可能漏掉重要图像和线索。
理想情况是一旦有重要事件发生,系统就可在事后能快速查找到线索。
针对上述海量监控视频录像的事后分析,传统以人海战术为主的视频线索查找,显然不能满足高效查找,正面临巨大挑战,急需一种更为高效的、自动的、智能的系统实现上述需求。
目前,基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。
通过视频浓缩摘要,缩短视频事件的播放时间,通过目标内容识别、分类等实现快速查找事件线索,缩小查看范围的功能,这些都极大地减轻警方刑侦人员的工作负荷,海量视频分析功能的实现和应用将大大提高监控效率。
国内外很多公司以及机构都在这一领域投入了大量的研究,将云计算,智能识别等技术联系在一起,更好的为安防服务。
充分利用云计算的海量数据计算能力和智能的处理能力,不仅能大大缩小了对于各类事件的事后取证所需要的时间,提高了取证效率,而且对于各种突发事件的预防、响应都起到了积极有效的作用。
1.2山东省安防现状分析
山东省公安厅贯彻执行“平安城市”方针,目前全省已先后建立了110余万台监控摄像机,为全省人民的安全提供着保障,但同时,如此庞大且分散的监控体系也带来了巨大的挑战。
矛盾主要集中在:
Ø海量视频需要存储,但现有存储空间严重不足;
Ø视频码率清晰度不断提升,但传输网络带宽资源不足;
Ø小块区域集中管理,但跨区域调用视频困难;
Ø监控还未达到智能化程度,时效性不强,多用于事后回调;
在之前的建设与管理中,省厅已打造了一个视频资源共享平台,实现了将8万路视频资源的整合和统一管理,取得了很大的成功。
但与全省110万的总量相比,仍有许多工作要做,并且还需要进一步将社会上的视频资源也纳入到整个监控体系中来。
1.3项目必要性
公共区域视频监控系统的建设是平安城市建设必不可少的重要组成部分,其视频监控资源的整合、优化以及利用程度是城市信息化程度的重要标志之一,大部分的公共区域中已建成大量、属于各个部门、基于不同制式标准、不同设备、不同平台的视频监控系统,但目前这些资源并没有得到有效整合,无法跨平台、跨部门进行集中优化处理,这就造成了城市现有视频资源利用率低、重复建设、缺乏统一调度等不良现象,本项目基于这个现状旨在建设一个统一的、城市级的视频监控平台,将城市现有的视频监控资源有效整合起来,并在此基础上针对各类城市管理中的应用需求,实现高效实用的业务应用。
通过构建cVideo综合视频监控云平台(以下简称“平台”),将城市可利用的全部视频资源经过优化、整合及智能处理后,透明地呈现给使用者,为城市管理提供有力支撑。
“平台”在现有信息化建设基础上,集成现有视频监控资源,建设大规模视频实时接入处理分析监控平台,实现与现有平台,网络摄像机、以及新建监控设备的对接,实现上万路的视频接入。
对上述视频监控平台的视频接入后,要求实现转码处理、智能识别、解码上墙和数据存储回看等功能,以满足不同终端的访问需求、实现车流统计等交通数据的提取、对关键数据进行存储、以及实现大屏控制等功能。
实现从传统的模式向云模式的转换,并可以带来巨大的获益。
1.3.1从信息孤岛到全局统筹的转变
针对山东省现在已有的图像平台,需要对省市两级主要平台完成升级改造,确保实现公安视频图像信息共享平台之间的联网互通,同时兼容各地承建的视频监控系统和平台,以提升整个山东省公安图像信息的共享度。
“平台”将散落在各个派出所或者小区域中的“信息孤岛”相互连接,构成由省厅统一管理的四级大平台,使视频数据能够互通共享,并以此为基础构建丰富多彩的上层应用。
1.3.2从人工监控到智能安防的转变
在实现互联之后,我们仍会发现新的问题。
目前,成千上万路监控摄像头遍布街头,昼夜不停地监视和录像,在改善社会治安的同时,也产生出海量的视频数据需要监控管理平台处理。
要对这些海量视频通过人工进行重点图像的抓拍,困难很大。
首先,需要对所有的视频录像进行诸秒浏览,才能发现重点图像,这无疑工作量巨大,甚至犹如大海捞针。
其次,即使找到了重点图像,人工抓拍,并且要记录下对应的原始视频图像的时间点等,也是工作量很大,效率很低。
由于人的生理特征所限,长时间观看视频录像,容易产生视觉疲劳,还有可能漏掉重要图像和线索。
因此,用机器代替人工(机器结合人工),是必然的趋势,通过智能地图像识别算法,将“可疑”的视频筛选出来,如此一来可以大幅降低人为的干预度,提升监管效率。
1.3.3从事后分析到事中追踪的转变
一般针对事件可以分为事前预防、事中跟踪和事后取证。
理想的情况是:
一旦有重要事件发生,系统就可在很短时间内查找到线索并定位,而目前海量监控视频大多以录像的形式用于事后调取和回看,并且主要以传统人海战术的视频线索查找,显然不能满足高效查找,正面临巨大挑战,急需一种更为高效的、自动的、智能的系统实现上述需求。
目前,基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。
通过视频浓缩摘要,缩短视频事件的播放时间,通过目标内容识别、分类等实现快速查找事件线索,缩小查看范围的功能,这些都极大地减轻警方刑侦人员的工作负荷,海量视频分析功能的实现和应用将大大提高监控效率。
国内外很多公司以及机构都在这一领域投入了大量的研究,将云计算,智能识别等技术联系在一起,更好的为安防服务。
通过对云计算的海量数据计算能力的充分利用,提供智能识别所需的处理能力。
这样不仅能大大缩小了对于各类事件的事后取证所需要的时间,提高了取证效率,而且对于各种突发事件的预防、响应都起到了积极有效的作用。
1.3.4从独立应用到综合联动的转变
在现有的条件下,视频监控大多数时间是以一个单独的应用呈现,或是通过大屏进行实时监控,也可能是通过电脑终端进行监控管理。
然而随着信息化程度的不断提升,单一的监控已然无法满足用户的需求,具有联动功能的综合型平台愈发成为转变的方向。
因此,需要实现将警务综合平台与视频结合应用相互结合,整合成一共公共的基础平台,以更好地提供各类上层应用系统的使用。
同时,从视频、声音、图像到信息提取、资料汇聚再到上层应用,无一不有大数据穿插其中,如何应对如此海量的信息和数据,如何将这些数据变成可以有效利用的宝贵资源也成为了日渐热议的话题。
2平台架构设计
根据省厅已有建设情况和对实际需求的深入分析,本方案利用cStor云存储和JobKeeper云调度技术构建统一的cVideo云视频监控管理平台软件,部署在标准X86服务器集群上,通过对已有监控资源的整合,实现海量高清视频监控的数据存储和智能处理。
2.1网络架构
2.1.1网络拓扑
针对山东省的实际情况,多级cVideo云视频监控系统采用分布式架构,分级管理和部署。
以街道派出所为单位,初期拟定每个所部署一台“minicloud”(“minicloud”迷你云微型数据仓库将在下面的章节中进行详细描述),用于视频数据的保存,从区级到市级再到省级分别部署cVideo系统,cVideo系统的架构会在2.2中进行具体描述。
。
整个“平台”构建于视频专网之上,其中,省级中心处于核心地位,部署元数据服务器,以统一管理元数据信息,各派出所则使用“minicloud”中的三个互为冗余的节点担当存储节点的角色。
“平台”遵循“就近接入、本地存储、中心统筹、权限管理”的方针,随着存储容量需求的增加,只需在容量不足的派出所增加存储节点(服务器)即可,十分方便。
而区县级和市级主要负责对区域视频的汇聚和处理,部署cVideo系统,并将处理后得到的信息提供给各上层应用服务。
cVideo云视频监控平台针对省级的建设方案采用多级部署的方式,大致拓扑如下图所示:
图2-1cVideo多级部署概要图
初步预计每个派出所需要存储的监控摄像机按100路左右,平均码流按2Mbps计算,则存放半个月需要的存储容量约为:
2/8*3600*24*15*100=32.4TB
“minicloud”是由三台服务器所组成的小型云平台,能够存储的总容量为:
9*3*3=81TB
为了保证数据的可靠性,对数据进行1:
1备份后,可用容量为:
40.5TB,可以满足初期的需求。
随着使用和前端设备的增设,容量需求会愈发增加,这时我们同样提供了机架式的扩展方案,当存储容量不足时,只需在“minicloud”下新增存储节点(服务器),系统容量会自动增加,实现扩容十分方便。
前端监控设备所采集到的视频数据保存在所属的“minicloud”中,或经过接入服务器,接入所属区级的cVideo监控平台中进行管理和处理,各级客户端访问相应中心服务器,按需操作和调控。
云处理服务器提供空前的数据处理能力,提供诸如视频转码、内容识别等海量数据的处理支持。
查看历史视频时,接入云存储遵守分区接入、分局接入和就近接入原则,考虑到突发事件会致使查看视频记录的人员增多,分布式部署可以很好地缓解接入压力。
2.1.2数据安全网闸
考虑到公安网、图像专网、社会公网之间安全性和保密性的问题,cVideo监控平台在实际布设过程中,也会遵循跨网络必须经过网闸的规则,示意图如下:
图2-2cVideo网络隔离概要图
本次建设的cVideo云视频监控平台位于视频专网,以确保带宽的通常及视频的实时性。
对于社会上公网中的监控前端设备,纳入平台管理后在专网入口处也会设立网闸机制,进行物理隔离,保证进入专网的数据均为符合要求的。
公安人员办公环境为公安内网,当需要访问视频专网的图像信息时,视频图像数据会经过网闸检测,确保安全后放可接入公安内网中,并且从公网到公安网经过了两重网关的监管,使公安网的安全性进一步提升。
图2-3网闸设置保证数据安全
但进行网闸设置势必会对带宽有所限制,因此为了保证网络互联互通的同时,保证系统的安全性需对视频数据进行云转码传输。
由于视频转码计算量很大,单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。
cVideo研发了云端转码技术,将视频转码计算放大云端,实现整个系统内的实时视频转码,以满足用户对不同分辨率,不同码流,不同终端的使用需求。
图2-4转码前后视频对比
视频接入模块首先将不同厂家的前端设备接入进来,对于支持RTSP的采集设备,我们利用标准的流媒体协议接口实现视频和音频数据的传输。
对于不支持RTSP的采集设备,我们利用设备厂商提供的SDK进行接入。
然后在cProc云计算平台上利用高效的转码技术,将采集到的高清视频信号解码后再重新编码,在满足用户需求的同时降低对网络带宽的消耗。
同时将转码后的视频流推送给流媒体服务器分发出去。
图2-5云转码流程
2.2软件架构
2.2.1平台架构图
如下图所示,cVideo云视频监控平台是部署于标准X86服务器上的软件平台,主要由七个子系统组成:
前端设备、接入系统、处理系统、存储系统、流媒体服务器、中心调度系统和客户端。
这七个模块既相互独立,又协调统一,共同对外提供服务。
图2-6cVideo平台模块架构图
2.2.2前端设备
前端设备在中心服务器的调度下进行信息采集,以RTSP的形式传输给存储/处理服务器集群,或者以SDK的形式传输给接入服务器。
(前端设备包括:
模拟摄像机、网络摄像机、卡口设备、第三方平台等)
2.2.3接入服务器
整合各种前端设备,将不同厂家不同平台的前端设备通过RTSP标准流媒体协议或者SDK私有协议的方式接入本系统,以实现对多种前端摄像机和已有平台的统一接入,供本平台内其他模块统一调用,并以轮询的方式监听前端设备,如有异常则产生报警信号。
2.2.4中心服务器
平台的核心控制部分,实现了与客户端的信令交互、通过JobKeeper云调度系统来调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。
a)用户管理功能:
根据用户信息表,管理用户登录、用户的权限,可以管理用户信息、增删用户等。
b)前端信息采集设备管理功能:
根据摄像机和用户的权限,管理当前用户所能涉及的前端设备状态、节点运行状态,并进行实时的更新。
c)与用户和前端设备的信息交互功能:
更新前端信息,并根据客户需求进行对前端设备调度,以及对JobKeeper的任务分发。
同时,进行信息数据的处理,以完成整个平台的调度工作。
d)对服务器集群进行统一的调度管理,获取每台机器的运行状态。
根据机器的运行状态进行自动调度和部署,负载均衡,提高机器的使用率,进而提高服务器的梳理效率。
e)解决服务器集群信息处理的冗余状态,查错排错,保证系统的无人值守、自动生长的高效性。
2.2.5存储服务器集群
使用cStor云存储系统,提供统一的存储资源池,用以存储关键数据,提供历史视频的回看以及相关数据的下载服务。
同时,支持网络挂载盘符的模式,以满足整个平台中其他模块的存储需求。
2.2.6处理服务器集群
大致可以分为接入分析、数据处理和结果分发三个子模块,主要负责对完成对接入视频的各项处理任务,诸如:
内容识别、实时转码、录像存储等,再将处理好的结果发送至流媒体服务器和存储服务器。
2.2.7流媒体服务器
以流媒体服务器的形式对外提供标准的RTSP流媒体服务,用户根据相应的流媒体RTSP地址,即可实时地获取系统处理完后的实时视频数据,以供监控和远程访问。
采用虚拟IP技术,备份冗余机制,针对公网和内网不同的访问需求提供不同的码流推送。
2.2.8客户端
支持Windows、Linux、iOS、Android等主流操作系统,提供B/S和C/S架构客户端,控制视频解码上墙等,实现与用户的直接交互。
2.3平台联动调度
按2.2节中所说的架构,在实际应用中,经常会出现跨级的联动调度问题,下图展示了cVideo云视频监控平台多级联动调度的流程。
Ø上级中心总平台的接入服务器和下级子平台的中心服务器信令交互,上级平台的接入服务器相当于下级平台的一个超级管理员用户。
总平台通过接入服务器登陆到子平台,从而进行获取设备列表、获取设备信息、云台控制、获取流地址等操作。
Ø上下级平台的设备管理、用户管理、日志管理等功能相互独立,下级平台和第三方平台对“平台”的用户不可见,用户可以透明地访问各平台的前端监控设备资源(可以知道设备是属于哪个平台、哪个部门的,但不能直接登陆到下级平台或第三方平台)。
在“平台”用户视角,相当于所有下级平台和第三方平台的设备都是直接部署在此综合的云平台之上。
图2-7多级部署上级视频数据流对接
如上图所示,如果是上级中心总平台用户想查看某前端摄像机的实时视频,那么,该用户首先通过客户端或浏览器登陆平台,随后发出对某路视频的监控请求,中心调度系统会根据数据库里的摄像机设备信息将任务经由接入服务器发送给政务专网的中心调度系统,由其调度相应接入、处理服务器进行进入和转发处理。
该视频流经过子平台流媒体服务器转发至总平台,客户端得到该地址即可播放出实时视频流。
如果此时子平台的用户也想监控上述该路的实时视频,在请求该路监控时,子平台的中心服务器会自动发现该监控任务已由总平台用户发起过,只要经过总平台中心控制的许可,便可立即将流媒体服务器推送地址反馈给客户端,子平台用户的客户端则直接可以播放出该路实时视频流。
如下图所示:
图2-8多级部署下级视频数据流对接
2.4平台部署策略
针对山东省的实际情况,在之前的规划和管理过程中,部分区域已经实现了按区县为单位对现有视频做了集中管理和存储,而另一些则是完完全全的“信息孤岛”状态。
在“平台”的实施部署过程中,需要充分考虑到这些因素,以“不重建、多复用”为主旨,充分利用已有的平台和系统,实现对异构的监控体系的统一管理。
2.4.1区县未集中处理的视频
对于区县没有集中处理的视频,“平台”会按照2.1章节中的部署规则,给每个派出所部署一套minicloud,用其本地化保存视频数据,并接受省厅中心的直接管理,同时提供给上层应用和服务的支撑。
2.4.2区县已集中管理的视频
对于区县已经集中管理过的视频,“平台”则不会对该区域及其下属派出所新建设备,而是与该系统交互,通过其SDK进行对接和信息交互,获取需要的管理信息及视频流。
从用户的角度而言,呈现在面前的只是单纯的一个个独立的摄像机,用户不必关心前端的摄像机具体是从我们部署的minicloud中传输过来的,亦或是从已有区县系统中传输过来的,“平台”已经将中间过程透明化,以更贴近用户的使用习惯。
3平台模块技术描述
方案采用信令流和数据流分离的方式,在标准X86(X64)服务器集群上部署存储、处理、调度等软件系统,形成一个整体的云视频监控解决方案,实现对现有视频监控资源的整合。
采用云调度和云存储技术,有较高的扩展性和容错能力,解决服务器单点故障问题,降低升级和维护成本。
3.1IaaS层cStor云存储
3.1.1cStor云存储系统
3.1.1.1cStor简介
cStor云存储系统是9年来不断积累研发的高科技产品,是国内最早实现并保持领先的云存储系统,整套系统包括软件与硬件,是一个海量的云存储平台。
与传统的大规模存储系统相比,它具有构建成本低、性能高效可靠、使用简单方便的特点。
在需要存储大量数据(如视频数据、业务数据等)的应用场合,可以大幅提高存储系统性价比。
与目前国际上知名的云存储厂商相比,具有更高的性价比、更低的能耗、更加通用和更方便的使用模式。
图3-1cStor云存储系统
3.1.1.2cStor主要优势
Ø高可靠性
系统中采用廉价的大容量存储服务节点,通过cStor系统软件实现统一管理和容错,提供高效、稳定服务。
与使用专用服务器相比,可以将系统构建成本节省5-10倍以上,且规模越大,优势越明显。
在降低系统的构建成本的同时,系统的可靠性不仅没有收到影响,相反,通过一系列的可靠性保障机制,使得cStor系统具有高可靠性的特性。
在cStor云存储系统中,数据具有多个副本(默认情况下是2份,可以根据需要设置),任意节点出现故障,系统将会自动复制数据副本到新的节点上,不会丢失数据。
这样,在节点发生故障的情况下,也可以实现数据的无间断服务。
同时,元数据管理节点采用双机镜像模式容错,如果有一节点出现故障,另一节点自动接替。
Ø高性能
cStor采用控制流与数据流分离的技术,数据的存储或读取实际上是与各个存储节点上并行读写;这样随着存储节点数目的增多,整个系统的吞吐量和IO性能将呈线性增长。
同时,cStor采用负载均衡技术,自动均衡各服务器负载,使得各存储节点的性能调节到最高。
Ø在线伸缩
cStor云存储系统扩容非常方便,支持不停止服务的情况下,动态加入新的存储节点,无需任何操作,即实现扩容;同时,无需人为干预,也可以摘下任意节点,系统自动缩小规模而不丢失数据,存储在此节点上的数据将会重新备份到其他节点上。
Ø通用易用
cStor云存储系统提供标准POSIX接口,无论是哪种操作系统下的应用程序,都可以不经修改将云存储当成自己的海量磁盘来使用。
如:
同时,cStor也提供专用的API接口,供开发人员调用。
Ø智能管理
提供基于WEB的管理平台,所有的管理工作均由cStor管理模块自动完成,使用人员无需任何专业知识便可以轻松管理整个系统。
通过管理平台,可以对cStor中的所有节点实行无间断监控,用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况。
3.1.1.3cStor关键技术
Ø负载自动均衡技术
cStor采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在MasterServer上,文件则划分为多个chunk存储在不同的ChunkServer上。
MasterServer维护了一个统一的命名空间,同时掌握整个系统内ChunkServer的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据ChunkServer的磁盘使用情况、网络负担等情况,选择负担最轻的ChunkServer对外提供服务,自动均衡负载负担。
另外,当某有一个ChunkServer因为机器故障或者其他原因造成离线时,MasterServer会将此机器自动屏蔽掉,不再将此ChunkServer提供给客户端使用,同时存储在此ChunkServer上的数据也会自动的备份到其他可用的ChunkServer上,自动屏蔽ChunkServer故障对系统的影响。
Ø高速并发访问技术
客户端在访问cStor时,首先访问MasterServer节点,获取将要与之进行交互的ChunkServer信息,然后直接访问这些ChunkServer完成数据存取。
cStor的这种设计方法实现了控制流和数据流的分离。
Client与MasterServer之间只有控制流,而无数据流,这样就极大地降低了MasterServer的负载,使之不成为系统性能的一个瓶颈。
Client与ChunkServer之间直接传输数据流,同时由于文件被分成多个chunk进行分布式存储,Client可以同时访问多个ChunkServer,从而使得整个系统的I/O高度并行,系统整体性能得到提高。
通常情况下,系统的整体吞吐率与ChunkServer的数量呈正比。
Ø高可靠性保证技术
对于元数据,cStor通过操作日志来提供容错功能,当MasterServer发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。
为了防止MasterServer彻底死机的情况,cStor还提供了MasterServer远程的实时备份,这样在当前的MasterServer出现故障无法工作的时候,另外一台备MasterServer可以迅速接替其工作。
对于ChunkServer,cStor采用副本的方式实现容错。
每一个chunk有多个存储副本(默认为两个),分布存储在不同的ChunkServer上。
副本的分布策略考虑了多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。
对于每一个ChunkServer,必须将所有的副本全部写入成功,才视为成功写入。
在其后的过程中,如果相关的副本出现丢失或不可恢复等状况,MasterServer会自动将该副本复制到其他ChunkServer,从而确保副本保持一定的个数。
在有多个ChunkServer的情况下,任意损失一个节点,数据都不会丢失,而且随着ChunkServer数目的增多,整个系统的可靠性越大。
同时,系统除了支持传统的1:
1、1:
2的冗余备份技术外,也支持高效的N:
N+M的编码容错技术,即:
假设将原始文件切分为N个数据块,通过冗余编码技术,将其编码后增加了M个数据块,数据总量变成了N+M个数据块。
从中任意取出N个数据块即可将文件还原,进一步提升了空间利用率,确保数据安全可靠。
Ø高可用技术
系统中的所有服务节点均是通过网络连接在一起,由于采用了高可靠的容错机制,系统增减节点不必停止服务,可在线增减存储节点,存储节点和元数据节点间通过注册管理机制自适应管理,实现自动伸缩。
元数据服务器采用主备双机热备技术,主机故障,备机自动接替其工作,对外服务不停止;存储节点采用冗余备份机制,多个存储节点情况
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 警务 计算 平台 视频 资源整合 方案