上海数慧  数据与智慧的桥梁!

解决方案    The Solution
基于手机信令数据应用的大数据处理
现状背景

随着城市化进程的加快,国内几乎所有城市的人员出行特征、出行规律都在不断发生变化。为全面了解城市的交通特征情况,各大城市越来越重视交通调查工作,以获取最新的交通出行特征数据,支持城市的交通规划和管理。传统的居民出行调查方法存在如下困境,难以获得准确数据源:一是进行长时间的调查,如三个月或半年;二是进行较大空间范围的调查,如大城市、省甚至国家;三是得到的数据量充足,如用于生成较精确的OD矩阵;四是数据精确度,如获取准确的出行吋间、位置、路径数据;五是数据可靠性,如得到一天的人员准确出行数量。

另一方面,近年来随着移动互联网的兴起及成熟,各电信运营商所获取的手机信令数据,其中包含了丰富的位置信息(基站),通过对信令序列的分析,可以近似代表分析人的活动行为,尤其是随着3G,4G网络的成熟应用,通过手机信令数据研究个体活动的规律精度都有了很大程度的提高,各个城市的交通,规划,交管等部门,也包括高校学者,都对手机信令数据研究人的活动作出过一些尝试或者研究结果,由于信令数据天生具备大数据的特点,这也给各部门在研究思路和技术实施方面带来了巨大的难度,比如采用传统的数据库技术难以解决大量数据的存储及运算问题,采用片段数据,虽然也可以研究出一些规律,但也损失了长期,连续数据所反映的历史规律,如果能够更好的存储,处理,分析这些大数据,则成为各个部门所面对的难题。



建设目标

基于城市手机运行商(移动或者联通、电信)信令数据,采用Spark+Hadoop并行运算技术架构,开发实现居民职住及通勤分析系统,统计城市全域在交通小区、街道、组团等不同空间尺度下的人口、岗位分布情况,并得到各区域范围的通勤交换关系,为城市交通规划提供数据参考和决策支持,评估城市规划成效,提升城市规划的定量化、科学化水平。

具体目标包括:

1.  采用Spark+Hadoop技术,搭建一套大数据运算基础技术框架

本次大数据平台,在提供海量数据存储及分布式计算能力的同时,力求提高资源的利用率和数据共享能力。运行ETL作业引擎、Map/Reduce作业引擎以及SQLonHadoop引擎,通过多租户、多集群管理,支持面向作业和资源的协同调度。建立满足海量多样化数据采集、存储、分析、决策的大数据技术体系,以科学、高效、低成本方式,提供小众且专业精准化服务,为以后处理GPS、卡口等动态数据等打下技术基础。

2.  基于手机信令数据,建立一套手机信令数据处理流程框架

在本系统建设中,通过对手机信令的预处理(过滤、除噪、排序、关联等)、手机信令处理(时窗标准化、稳定点识别、OD的识别),将这些中间计算结果的数据都保存下来,有效实现数据复用;其次这些模块算法也可以复用,为后续类似“重要区域人流集散监测系统”、“重要断面人流监测系统”、“重要交通吸引点客流来源/去向监测系统”、“市域人流移动规律监测系统”等各类有关手机信令各类应用打下了坚实的基础。

3.  建立不同时间不同空间的人口分布、岗位分布、通勤交换的三个应用

根据业务需求,在大数据平台框架搭建三个应用,一种是人口分布,统计在不同时间段(过去一周、一月、半年、一年等)在某个区域(行政区、组团、交通小区)的居住人口、工作人口规律;还有一种是岗位分布,统计不同时间段、在不同空间范围的岗位分布情况;通勤交换分布,根据业务要求,统计不同组团、行政区域,上下班通勤规律,通勤频次,通勤时间等信息。

 



解决方案

以目标为导向,结合实际需求,对用户方进行广泛深入的现状调研,汇集交通模型数据、规划数据等海量数据资源。

同时,开展如下工作:

1.  大数据支撑环境建设

采用BigInsights大数据分析平台,搭建集群计算环境,为后续综合业务拓展和海量数据存储分析提供支持。

2.  手机信令处理平台建设

基于大量用户手机信令数据,进行海量数据的实时采集、预处理、业务模型分析。目前已经完成了联通手机信令的部署工作,后续所有数据均集成到大数据平台,开展“流处理”或“批量处理”,实现PB级别海量数据的实时分析。

3.  应用系统建设

建立不同时间不同空间的人口分布、岗位分布、通勤交换的三套应用系统。



建设成效

面对复杂的交通模型业务,以及海量的手机信令数据,传统的技术无法满足交通复杂模型的实时分析。基于此解决方案,不仅支持业务的灵活拓展,更体现了海量数据实时处理的优势,传统花费1个月的时间现在只需要2小时,大大提升了分析效率,带来了技术革命性的更新升级。

同时,在业务方面,可获得城市人口居住与就业情况、城市人口通勤活动情况以及职住指标评价信息,不仅为交通规划提供了辅助信息,更为城市定量研究和城市规划提供可靠的支持。



联系我们

  电话:021-61016225 021-61016226

  传真:021-61001383

  邮箱:hr-sh@dist.com.cn

  地址:中国(上海)自由贸易试验区张衡路1000弄58-59号

DIST上海数慧

Copyright © 2001-2016 上海数慧系统技术有限公司All rights reserved  沪ICP备05004315号

敬请期待

敬请期待

DIST上海数慧

021-61016225  021-61016226