第４１卷第２期２０１５年４月
兰州理工大学学报
Ｊｏｕｍａｌ０ｆＩａｎｚｈｏｕＩｈｉｖｅｒＳｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ
ＶＤＬ４１Ｎ０．２
Ａｐｒ．２０１５
文章编号：１６７３—５１９６（２０１５）０２＿０１１２－０４
基于大数据的智能交通体系架构
张
红１’２，王晓明１，曹洁２，朱昶胜２
（１．兰州理工大学电气工程与信息工程学院，甘肃兰州７３００５０；２．兰州理工大学计算机与通信学院，甘肃兰州７３００５０）
摘要：根据智能交通大数据处理的强实时性和高效性特点，构建基于大数据技术的智能交通数据处理平台，对其关
键技术和处理流程深入分析，并从方法论角度提出针对该平台的交通大数据处理体系架构，系统地从数据源、数据
处理、知识库和应用四个方面论述该架构的主要研究内容和架构所涉及的理论、方法与技术，为交通大数据的深入分析与处理奠定基础．
关键词：大数据；智能交通；Ｈａｄｏｏｐ；体系架构；分布式计算中图分类号：ＴＰ３９３
文献标识码：Ａ
Ａｒｃｈｉｔｅｃｔｕｌｌｅｏｆ
ＺＨＡＮＧ
（１．Ｃ０ｌｌｅｇｅ
ｉｎｔｅｌｌｉｇ锄ｔｔｒａｍｃｓｙｓｔｅｍｓｂ嬲ｅｄ蚰ｂｉｇ
ｄａｔａ
Ｈｏｎ９１”，ＷＡＮＧＸｉａｏ－ｍｉｎ９１，ＣＡ０Ｊｉｅ２，ＺＨＵＣｈａｎｇ－ｓｈｅｎ９２
７３００５０，Ｃｈｉｎａ；２．Ｃｏｌｌｅｇｅ
ｏｆＥｌｅｃｔｒｉ∞ｌ＆Ｉｎｆｏ册ａｔｉｏｎＥｌｌｇｉｎ神＾Ｔｌｇ，ＬａｎｚｈｏｕＵＩｌｉｖ．ｏｆＴｅｃ｝Ｌ，Ｉａｎｚｈｏｕ
ｒＩｉ∞ｔｉｏｎ，Ｌａ北ｈｏｕＵＴｌｉｖ．ｏｆＴｅ出，Ｌａｒ屹ｈｏｕ７３００５０，Ｃｈｉ眦）
ｏｆＣｏｍｐｕｔｅｒ＆伤ｍｍｕ—
Ａｂｓｔ髓ｃｔ：ｆｈｓｅｄ
ｉｎｇｆｌｏｗ
ｏｎ
ｓｔｒｏｎｇ
ｒｅａｌ＿ｔｉｍｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｈｉｇｈｅｆｆｉｃｉｅｎｃｙｏｆｔｒａｆｆｉｃｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ，ａ
ｏｎ
ｔｒａｆｆｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍｂａｓｅｄ
ａｒｅ
ｂｉｇｄａｔａｔｅｃｈｎｉｑｕｅｉｓｂｕ订ｔｕｐ，ａｎｄｉｔｓｋｅｙｔｅｃｈｎｉｑｕｅａｎｄ
ｐｒｏｃｅｓｓ—
ａｎａｌｙｚｅｄｉｎｄｅｔａｉｌ．Ａｎｄｔｈｅａｒｃｈｉｔｅｃｔｕｒｅｏｆｔｒａｆｆｉｃｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｉｓｐｒｏｐｏｓｅｄｆｏｒ
Ｔｈｅｍａｉｎｉｎｖｅｓｔｉｇａｔｉｏｎｔｏｐｉｃｓｏｆｔｈｉｓａｒｃｈｉｔｅｃｔｕｒｅａｎｄｉｔｓ
ｃｏｎ—
ｔｈｉｓｐｌａｔｆｏｒｍｆｒｏｍｍｅｔｈｏｄｏｌｏｇｉｃａｌｖｉｅｗ．
ｃｅｍｅｄ
ｔｈｅｏｒｙ，
ｍｅｔｈｏｄａｎｄｔｅｃｈｎｉｑｕｅ
ａｒｅ
ｄｉｓｃｕｓｓｅｄｉｎｃｏｎｎｅｃｔｉｏｎｗｉｔｈｄａｔａ
ａ
ｓｏｕｒｃｅ，
ｄａｔａｐｒｏｃｅｓｓｉｎｇ，
ｋｎｏｗｌｅｄｇｅｄａｔａｂａｓｅ，ａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅｓｙｓｔｅｍ，ｌａｙｉｎｇｏｆｔｒａｆｆｉｃｄａｔ色
ｆｏｕｎｄａｔｉｏｎｆｏｒｄｅｔａｉｌｅｄａｎａｌｙｓｉｓａｎｄｐｒｏｃｅｓｓｉｎｇ
ｌ‘碡ｙＶ川）ｒｄｓ：ｂｉｇｄａｔａ；ｉｎｔｅｌｌｉｇｅｎｔｔｒａｆｆｉｃ；Ｈａｄｏｏｐ；ｓｙｓｔｅｍａｒｃｈｉｔｅｃｔｕｒｅ；ｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔａｔｉｏｎ
信息通讯技术的发展，使交通运输从数据贫乏转向数据丰富的大数据时代，北京市６万余辆出租车一天就会产生数亿条ＧＰＳ数据，车牌识别、交通监控视频等数据量更大，交通相关的数据量级已从ＴＢ级别跃升到ＰＢ级别，对智能交通系统的运营和管理产生了巨大影响［１］．面对众多的交通大数据，如何对其进行准确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交通诱导和疏通以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核心内容［２］．
目前，国际智能交通领域的车路协同系统、公众出行便捷服务、车联网等热点技术领域都在广泛研究和应用大数据技术［３１；２０１３年１０月在日本举办
收稿日期：２０１４一０９一１６
的第２０届世界智能交通大会上，交通大数据的研究非常活跃．姜锋通过搭建４个节点的Ｈａｄｏｏｐ集群，对Ｗｅｂ日志文件进行处理，论证了Ｈａｄｏｏｐ系统在处理日志时的高效性［４］．北京交通大学岳建明从交通运行效率、交通安全水平、环境监测几个方面研究了大数据对智能交通的作用［５１；周为钢等提出了构建交通大数据处理平台的方案，并讲述了涉及到的核心技术［６］．宫夏屹综述了大数据平台技术，认为目前对大数据平台的研究主要基于Ｈａｄｏｏｐ平台且比较零散，还没有形成支撑大数据平台开发的相关技术体系［７］．可见，对交通大数据平台架构的研究比较少，所构建的平台也只是原型系统，缺乏系统的方法体系与应用．因此，对交通大数据平台架构的研究势在必行，急需一个新的大数据处理平台架构来支撑跨领域、异构交通大数据的管理、分析和处理．
本文系统地论述了构建基于大数据的智能交通体系平台和框架所涉及的理论、方法与技术．
基金项目：甘肃省自然科学基金（１０１０尉ＺＡ０４６），高校基本科
研项目（１２０３ＺＴＣｌ７９）
作者简介：张红（１９７７一），女，甘肃天水人，博士生，讲师．
万方数据
第２期张红等：基于大数据的智能交通体系架构
１大数据在智能交通领域的应用
交通大数据的活化应用对交通的发展将带来巨大的变化，这主要体现在大数据技术的实时性、分布性、高效性及预测性方面［８］．
１）实时性．传统的海量数据模糊查询和统计分析无法达到交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得更加合理．
２）分布性．传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通紧急事件中多方协作、快速处置．
３）高效性．高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力．伦敦市利用大数据减少了交通拥堵时间，提高了交通运转效
率［６｜．
４）预测性．大数据技术较高的预测能力可降低交通状态误报和漏报的概率，通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时对交通的动态性进行实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开拥堵路段．
大数据对交通的巨大影响除了以上几个方面外，对交通环境的安全性也有巨大影响．大数据的实时性和可预测性以及综合的决策模型有助于提高交通安全系统的数据处理能力．大数据快速整合各个传感器数据，结合车辆运行轨迹数据，综合分析车辆行驶安全性，为应急决策提供辅助，提高应急救援能力，有效降低交通事故的发生［９］．由此可见，大数据技术的出现及应用能够有效地解决智能交通面临的好多难题，为了利用大数据技术，深人挖掘交通数据的潜在价值，需要一个数据管理平台来处理各种类型和规模的数据．
２交通大数据处理平台
交通大数据处理基本流程与传统数据处理流程基本相似，整个处理流程可以概括为数据采集、数据导人和预处理、数据存储、数据处理和结果展现［１０１．由于交通大数据要处理大量的、非结构化的数据，如视频数据及监控数据，而且要求处理的强实时性，所以在各个处理环节中采用ＭａｐＲｅｄｕｃｅ分布式计算
万方数据
框架以及实时流数据处理计算框架，数据存储用支持文本和图像存储，面向列、可伸缩，支持事务以及Ｂ树范围查询和排序的分布式数据库ＨＢａｓｅ和分布式文件存储系统ＨＤＦＳ（Ｈａｄｏｏｐ
ＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅ
Ｓｙｓｔｅｍ）［１１－１２］．依据大数据处理流程及交通数据处理的特性，整个平台的构建分两部分，依次为对交通大数据离线批处理、深度挖掘的Ｈａｄｏｏｐ生态系统和对交通大数据进行强实时流式计算的ｓｔｏｒｍ处理系统，平台搭建如图１所示．
：
唾一陵昌曩
．・一……………………………………’，．一………………‘・～１
ｉＨａｄｏｏｐ分布式离线批处理｛ｉｓｔｏ肌实时流计算ｊ
ｉ＼竺竺兰／ｊ
使用构建在Ｈａｄｏｏｐ生态系统上的分布式日志处理系统Ｃｈｕｋｗａ收集交通数据源，用数据同步工具Ｓｑ∞ｐ实现各种交通数据源和Ｈａｄｏｏｐ分布式文件系统ＨＤＦＳ间的数据转移和传输［１３１．鉴于交通流数据处理的强实时性，系统构建对Ｈａｄｏｏｐ平台进行了扩展，引入实时犬数据流处理系统Ｓｔｏｒｍ．因此在交通大数据处理层包含基于Ｈａｄｏｏｐ的分布式离线处理计算框架和基于Ｓｔｏｒｍ的实时流数据处理计算框架．其中，ＭａｐＲｅｄｕｃｅ通过ｍａｐ和ｒｅｄｕｃｅ两个步骤实现交通数据的并行处理［１４１；Ｉｍｐａｌａ提供ＳＱＬ语义，对存储在Ｈａｄｏｏｐ的ＨＤＦＳ和ＨＢａｓｅ中
兰州理工大学学报
第４１卷
的ＰＢ级交通大数据实现交互式的快速查询；利用Ｍａｈｏｕｔ提供的可扩展的机器学习和数据挖掘的分布式框架，实现交通大数据的并行分析与挖掘．Ｓｔｏｒｍ平台克服了Ｈａｄｏｏｐ平台不能有效适应实时数据处理的缺陷，提供全内存计算，实现对流式交通数据的实时处理，它提供的输人流组件Ｓｐｏｕｔ负责将数据传递给另一个组件Ｂｏｌｔ，Ｂｏｌｔ执行任务，如交通流数据的过滤、计算、访问文件／数据库等，并创建新的流作为下一个Ｂｏｌｔ的输人流．数据展现层利用大数据分析工具Ｋａｒｍａｓｐｈｅｒｅ实现结果数据的可视化，迅速有效地简化提炼数据流，提供具有交互功能的动态图表，帮助人们探索和解释复杂的数据，理解和分析数据的内涵与特征，更好地从复杂数据中得到新的发现．
强，处理速度快，是典型的大数据，如何利用好这些多源的大量数据为交通决策与诱导提供便利，有效缓解交通拥堵是交通领域的难题，也是智能交通首要解决的问题．在综合考虑了交通数据的特性以及应用需求的基础上，本文设计了如图２所示的交通大数据处理体系框架．该框架基于图１所示的交通大数据处理平台设计，包含四层结构，分别为数据源层、数据处理层、知识层以及应用层［１５］．
１）数据源层．交通异构数据源有结构化的数据，大部分都是非结构化的数据，这些数据源主要包括无线射频识别数据（ｒａｄｉｏ口信号灯等）、ＧＰＳ（ｇｌｏｂａｌ
ｆｒｅｑｕｅｎｃｙｉｄｅｎｔｉｆｉｃａ—
ｔｉｏｎ，ＲＦＩＤ）、视频监控、卡扣数据（包括肼Ｃ、交叉
ｐｏｓｉｔｉｏｎｉｎｇ
ｓｙｓｔｅｍ）轨迹
数据、ＩＣ卡刷卡数据、交通应用服务数据等．
２）数据处理层．数据处理层是大数据处理体系框架的核心层，Ｓｑｏｏｐ整合数据源数据，存储于分布式数据库ＨＢａｓｅ中．这里采用基于ＨＤＦＳ的ＨＢａｓｅ
３交通大数据处理体系框架
交通数据不仅量大而且异构源多，实时性要求
数据源层
数据处理层
－－●
知识层
一●
应用层
图２交通大数据处理体系架构
ｎ辱２
Ａｒｄｈｉｔｅｌｃ臼ｎ℃ｏｆｔｒａｆｎｃ
ｂｉｇ幽ｔａ
ｐｒ∞ｅ鲻ｉ呜ｓｙｓｔ锄
万方数据
第２期
张红等：基于大数据的智能交通体系架构
和Ｉｍｐａｌａ的存储系统，Ｉｍｐａｌａ提供实时的交互式ＳＱＩ．大数据查询功能，直接从ＨＢａｓｅ中用ＳＥ—Ｉ。ＥＣＴ、ＪＯＩＮ和统计函数查询数据，实现快速的大数据存储和分析．根据不同的交通需求，系统设计了两套计算框架，ＭａｐＲｅｄｕｃｅ离线计算框架用作交通模型的预测和交通运行规律的挖掘，Ｓｔｏｒｍ实时交通流计算框架用于处理实时交通流数据，并对交通流进行短期的预测［１６１．数据处理结果进行可视化分析，以动态图表的形式展现给用户．
３）知识层．交通大数据的处理就是要对数据进行深层分析、挖掘数据所蕴含的深层知识，寻找数据内部隐藏的规律［１７ｆ，这里主要包含居民日常出行行为、居民的出行模式、依据城市特点的交通运营决策及规划、居民个体活动知识、城市的动态性特征、城市的空间分布规律等．对交通视频及图像采用ＣＵ—ＤＡ架构，快速提取其特征和摘要以备挖掘分析，对卡扣和应用服务数据及ＧＰＳ等数据基于ＭａｐＲｅ—ｄｕｃｅ计算模型用Ｍａｈｏｕｔ进行并行分析与挖掘，形成知识，为智能交通系统提供更高层的应用与管理．
４）应用层．所有的研究都将归结于应用，大数据为智能交通的进一步发展起到了极大的促进作用，主要产生了以下几个方面的应用：交通拥堵自动检测，路网地图更新，交通供求分析，道路规划，交通费用预测，实时路况展现，交通异常检测，智能电子停车，出行信息服务，交通诱导等［１
８｜．
４结论
数据是驱动智能交通发展的基础，大数据技术的开发利用将为智能交通的进一步发展带来质的飞跃［１９｜．在广泛阅读交通大数据相关文献资料的基础上，本文建立了基于大数据的智能交通体系框架，该架构能够兼顾交通数据处理的强实时性和高效性，也兼顾了交通数据量大、异构且分散的特点，文中对智能交通目前所面临的热点问题如交通流短时预测、交通诱导、居民出行模式等运用大数据技术进行了简单的剖析，有望通过大数据技术解决这些关键问题，这也是各个大城市正在建设规划的智慧城市研究的重要内容．
接下来要做的工作是基于本文所述的交通大数据处理体系架构和交通大数据处理平台，结合兰州“智慧城市”建设，搭建软硬件平台，对兰州公交公司提供的出租车及公交车ＧＰＳ大数据进行实地挖掘分析，提炼出高价值的信息，推动兰州智慧交通与低碳城市建设，缓解日益严重的交通拥堵问题．加强大数据异构信息融合技术的研究，通过对平台管理的
万方数据
大数据信息资源进行补充、完善与整合，为领域业务应用提供更为全面的信息支撑．
参考文献：
［１］杨万三。智能交通管理一次颠覆传统的技术变革［ＥＢ／ｏＩ。］．
２０１３＿０４一０８［２０１３∞４一１９］．ｈｔｔｐ：／／ｗ、）ｌｒｗ．２１Ｉｔｓ．ｃｏｍ／ｃｏｍｍｏｎ／
ＮｅｗｓＤｅｔａｉｌ。ａｓｐｘ？ＩＤ一２０１３０４０８１１３７５８０６０８８．
［２］韩耀强．大数据：智慧城市的发展引擎［ＥＢ／０Ｌ］．２０１３＿０４．０８
［２０１３一０４一１９］．ｈｔｔｐ：／／、＾帆ｍｉｓ６．ｃｏｎｌ／ｎｅｗｓ／ｄｅｔａｉｌ／１０５００４００３／
１５７４１８３２６８．ｈｔｎｌＬ
［３］ＭｕＫＨＥ刚ＥＥＲＴｒａｖｅｌａｎｄ
ｔｒａｎｓｐｏｎａｔｉｏｎｉｎｔｈｅａｇｅｏｆｂｉｇ
ｄａｔａ［ＥＢ／０Ｌ］．２０１２－０８—２８［２０１３－０４—２０］．ｈｔｔｐ：／／ｗｗｗ．ｉｂｍ—
ｂｉｇｄａｔａｈｕｂ．ｃｏｍ／ｂｌｏｇ／ｔｒａｖｅｌ一ａｎｄ—ｔｒａｎｓｐｏｒｔａｔｉｏｍａｇｅ－ｂｉｇ—ａｔａ．［４］姜锋．基于Ｈａｄ００ｐ平台的海晕数据处理研究及应用［Ｄ］．
北京：北京邮电大学，２０１２．
［５］岳建明，袁伦渠．智能交通发展中的大数据分析［Ｊ］．生产力研
究，２０１３（６）：１３７一１３８，１６５．
［６］周为钢，杨良怀，潘建，等．论智能交通大数据处理平台之构
建［ｃ］／／第八届中国智能交通年会优秀论文集．北京：电子工
业出版社，２０１３：１５８—１６７．
［７］官夏屹，李伯虎，柴旭东，等．大数据平台技术综述［Ｊ］．系统仿
真学报，２０１４，２６（３）：４８９—４９６．［８］
ＲｕｃＫｓＧ．Ｈｏｗ
ｂｉｇ
ｄａｔａ
ｄ＾ｖｅｓ
ｉｎｔｅｌｌｉｇｅｎｔ
ｔｒａｎｓｐｏｎａｔｉｏｎ
［ＥＢ／ＯＬ］．２０１２－０８—１５［２０１３－０４—２０］．ｈｔｔｐ：／／ｗｗｗ．ｇｒｅｅｎｂｉｚ．
ｃｏｍ／ｂ１Ｑｇ／２０１２／０８／１５／ｈｏｗ山ｉｇ－ｄａｔａ－ｄｒｉｖｅｓ＿ｉｎｔｅｌｌｉｇｅｎｔ—ｔｒａｎｓ—
ｐｏｒｔａｔｉｏｎ？ｐａｇｅ—Ｏ％２Ｃ１．
［９］李国杰．大数据研究的科学价值［Ｊ］．中国计算机学会通讯，
２０１２，８（９）：８—１５．
［１０］陆化普，李瑞敏，朱茵．智能交通系统概论［Ｍ］．北京；中国
铁道出版社，２００８．
［１１］ｃＨＥＮ
ｃ，ＬＩＵｚ，ＬＩＮ
ｗＨ，甜口ｚ．Ｄｉｓｔ舶ｕｔｅｄｍｏｄｅｌｉｆｌｇ
ｉｎ
ａ
ｍａｐｒｅｄｕｃｅ
ｆｒａｍｅｗｏｒｋｆｏｒｄａｔａ’ｄｒｉｖｅｎｔｒａｆｆＩｃｎｏｗｆｏｒｅｃａｓｔｉｌｌｇ
［Ｊ］．ＩＥＥＥＴｒａｎ髓ｃｔｉｏｎｓ
０ｎ
ＩｎｔｅｌｌｉｇｅｎｔＴＴａｎｓｐｏｎａｔｉｏｎＳｙｓ—
ｔｅｍｓ，２０１３，１４（１）：２２—３３．
［１２］覃雄派，王会举，杜小勇，等．大数据分析一ＲＤＢＭｓ与ＭａｐＲｅ—
ｄｕｃｅ的竞争与共生［Ｊ］．软件学报，２０１２，２３（１）：３２—４５．
［１３］ｗＨＩＴＥＴ．Ｈａｄｏｏｐ权威指南［Ｍ］．２版．周敏奇，王晓玲等
译．北京；清华大学出版社，２０１１．
［１４］
ｓＨＩＭＫ．Ｍａｐｒｅｄｕｃｅ
ａｌｇｏ—ｔｍｓ
ｆｏｒｂｉｇｄａｔａａ１１ａｌｙｓｉｓ［ｃ］／／
Ｐｒｏｃｅ商ｎｇｓｏｆｔｈｅⅥＪ］Ｂ
Ｅｒ】ｄａｗｍｅｎｔ
Ｉｓｔａｌｌｂｕｌ：［ｓｎ］，２０１２：
２０１６—２０１７．
［１５］王静远，李超，熊璋，等．以数据为中心的智慧城市研究综
述［Ｊ］．计算机研究与发展，２０１４，５１（２）；２３９－２５９．
［１６］张秋余，朱学明．基于Ｇ昏ＥｌｍａＩｌ神经网络的交通流短时预测
方法口］．兰州理工大学学报，２０１３，３９（３）：９４—９８．
［１７］程学旗，王元卓．大数据计算的技术体系与引擎系统［Ｊ］．高
科技与产业化，２０１３，９（５）：６２—６５．
［１８］郑字．城市计算与大数据［Ｊ］．中国计算机学会通讯，２０１３，
９（８）：８一１８．
［１９］李国杰，程学期．大数据研究：未来科技及经济社会发展的重
大战略领域一大数据的研究现状与科学思考［Ｊ］．中国科学院院刊，２０１２，２７（６）：６４７．６５７．
第４１卷第２期２０１５年４月
兰州理工大学学报
Ｊｏｕｍａｌ０ｆＩａｎｚｈｏｕＩｈｉｖｅｒＳｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ
ＶＤＬ４１Ｎ０．２
Ａｐｒ．２０１５
文章编号：１６７３—５１９６（２０１５）０２＿０１１２－０４
基于大数据的智能交通体系架构
张
红１’２，王晓明１，曹洁２，朱昶胜２
（１．兰州理工大学电气工程与信息工程学院，甘肃兰州７３００５０；２．兰州理工大学计算机与通信学院，甘肃兰州７３００５０）
摘要：根据智能交通大数据处理的强实时性和高效性特点，构建基于大数据技术的智能交通数据处理平台，对其关
键技术和处理流程深入分析，并从方法论角度提出针对该平台的交通大数据处理体系架构，系统地从数据源、数据
处理、知识库和应用四个方面论述该架构的主要研究内容和架构所涉及的理论、方法与技术，为交通大数据的深入分析与处理奠定基础．
关键词：大数据；智能交通；Ｈａｄｏｏｐ；体系架构；分布式计算中图分类号：ＴＰ３９３
文献标识码：Ａ
Ａｒｃｈｉｔｅｃｔｕｌｌｅｏｆ
ＺＨＡＮＧ
（１．Ｃ０ｌｌｅｇｅ
ｉｎｔｅｌｌｉｇ锄ｔｔｒａｍｃｓｙｓｔｅｍｓｂ嬲ｅｄ蚰ｂｉｇ
ｄａｔａ
Ｈｏｎ９１”，ＷＡＮＧＸｉａｏ－ｍｉｎ９１，ＣＡ０Ｊｉｅ２，ＺＨＵＣｈａｎｇ－ｓｈｅｎ９２
７３００５０，Ｃｈｉｎａ；２．Ｃｏｌｌｅｇｅ
ｏｆＥｌｅｃｔｒｉ∞ｌ＆Ｉｎｆｏ册ａｔｉｏｎＥｌｌｇｉｎ神＾Ｔｌｇ，ＬａｎｚｈｏｕＵＩｌｉｖ．ｏｆＴｅｃ｝Ｌ，Ｉａｎｚｈｏｕ
ｒＩｉ∞ｔｉｏｎ，Ｌａ北ｈｏｕＵＴｌｉｖ．ｏｆＴｅ出，Ｌａｒ屹ｈｏｕ７３００５０，Ｃｈｉ眦）
ｏｆＣｏｍｐｕｔｅｒ＆伤ｍｍｕ—
Ａｂｓｔ髓ｃｔ：ｆｈｓｅｄ
ｉｎｇｆｌｏｗ
ｏｎ
ｓｔｒｏｎｇ
ｒｅａｌ＿ｔｉｍｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｈｉｇｈｅｆｆｉｃｉｅｎｃｙｏｆｔｒａｆｆｉｃｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ，ａ
ｏｎ
ｔｒａｆｆｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍｂａｓｅｄ
ａｒｅ
ｂｉｇｄａｔａｔｅｃｈｎｉｑｕｅｉｓｂｕ订ｔｕｐ，ａｎｄｉｔｓｋｅｙｔｅｃｈｎｉｑｕｅａｎｄ
ｐｒｏｃｅｓｓ—
ａｎａｌｙｚｅｄｉｎｄｅｔａｉｌ．Ａｎｄｔｈｅａｒｃｈｉｔｅｃｔｕｒｅｏｆｔｒａｆｆｉｃｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｉｓｐｒｏｐｏｓｅｄｆｏｒ
Ｔｈｅｍａｉｎｉｎｖｅｓｔｉｇａｔｉｏｎｔｏｐｉｃｓｏｆｔｈｉｓａｒｃｈｉｔｅｃｔｕｒｅａｎｄｉｔｓ
ｃｏｎ—
ｔｈｉｓｐｌａｔｆｏｒｍｆｒｏｍｍｅｔｈｏｄｏｌｏｇｉｃａｌｖｉｅｗ．
ｃｅｍｅｄ
ｔｈｅｏｒｙ，
ｍｅｔｈｏｄａｎｄｔｅｃｈｎｉｑｕｅ
ａｒｅ
ｄｉｓｃｕｓｓｅｄｉｎｃｏｎｎｅｃｔｉｏｎｗｉｔｈｄａｔａ
ａ
ｓｏｕｒｃｅ，
ｄａｔａｐｒｏｃｅｓｓｉｎｇ，
ｋｎｏｗｌｅｄｇｅｄａｔａｂａｓｅ，ａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅｓｙｓｔｅｍ，ｌａｙｉｎｇｏｆｔｒａｆｆｉｃｄａｔ色
ｆｏｕｎｄａｔｉｏｎｆｏｒｄｅｔａｉｌｅｄａｎａｌｙｓｉｓａｎｄｐｒｏｃｅｓｓｉｎｇ
ｌ‘碡ｙＶ川）ｒｄｓ：ｂｉｇｄａｔａ；ｉｎｔｅｌｌｉｇｅｎｔｔｒａｆｆｉｃ；Ｈａｄｏｏｐ；ｓｙｓｔｅｍａｒｃｈｉｔｅｃｔｕｒｅ；ｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔａｔｉｏｎ
信息通讯技术的发展，使交通运输从数据贫乏转向数据丰富的大数据时代，北京市６万余辆出租车一天就会产生数亿条ＧＰＳ数据，车牌识别、交通监控视频等数据量更大，交通相关的数据量级已从ＴＢ级别跃升到ＰＢ级别，对智能交通系统的运营和管理产生了巨大影响［１］．面对众多的交通大数据，如何对其进行准确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交通诱导和疏通以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核心内容［２］．
目前，国际智能交通领域的车路协同系统、公众出行便捷服务、车联网等热点技术领域都在广泛研究和应用大数据技术［３１；２０１３年１０月在日本举办
收稿日期：２０１４一０９一１６
的第２０届世界智能交通大会上，交通大数据的研究非常活跃．姜锋通过搭建４个节点的Ｈａｄｏｏｐ集群，对Ｗｅｂ日志文件进行处理，论证了Ｈａｄｏｏｐ系统在处理日志时的高效性［４］．北京交通大学岳建明从交通运行效率、交通安全水平、环境监测几个方面研究了大数据对智能交通的作用［５１；周为钢等提出了构建交通大数据处理平台的方案，并讲述了涉及到的核心技术［６］．宫夏屹综述了大数据平台技术，认为目前对大数据平台的研究主要基于Ｈａｄｏｏｐ平台且比较零散，还没有形成支撑大数据平台开发的相关技术体系［７］．可见，对交通大数据平台架构的研究比较少，所构建的平台也只是原型系统，缺乏系统的方法体系与应用．因此，对交通大数据平台架构的研究势在必行，急需一个新的大数据处理平台架构来支撑跨领域、异构交通大数据的管理、分析和处理．
本文系统地论述了构建基于大数据的智能交通体系平台和框架所涉及的理论、方法与技术．
基金项目：甘肃省自然科学基金（１０１０尉ＺＡ０４６），高校基本科
研项目（１２０３ＺＴＣｌ７９）
作者简介：张红（１９７７一），女，甘肃天水人，博士生，讲师．
万方数据
第２期张红等：基于大数据的智能交通体系架构
１大数据在智能交通领域的应用
交通大数据的活化应用对交通的发展将带来巨大的变化，这主要体现在大数据技术的实时性、分布性、高效性及预测性方面［８］．
１）实时性．传统的海量数据模糊查询和统计分析无法达到交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得更加合理．
２）分布性．传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通紧急事件中多方协作、快速处置．
３）高效性．高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力．伦敦市利用大数据减少了交通拥堵时间，提高了交通运转效
率［６｜．
４）预测性．大数据技术较高的预测能力可降低交通状态误报和漏报的概率，通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时对交通的动态性进行实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开拥堵路段．
大数据对交通的巨大影响除了以上几个方面外，对交通环境的安全性也有巨大影响．大数据的实时性和可预测性以及综合的决策模型有助于提高交通安全系统的数据处理能力．大数据快速整合各个传感器数据，结合车辆运行轨迹数据，综合分析车辆行驶安全性，为应急决策提供辅助，提高应急救援能力，有效降低交通事故的发生［９］．由此可见，大数据技术的出现及应用能够有效地解决智能交通面临的好多难题，为了利用大数据技术，深人挖掘交通数据的潜在价值，需要一个数据管理平台来处理各种类型和规模的数据．
２交通大数据处理平台
交通大数据处理基本流程与传统数据处理流程基本相似，整个处理流程可以概括为数据采集、数据导人和预处理、数据存储、数据处理和结果展现［１０１．由于交通大数据要处理大量的、非结构化的数据，如视频数据及监控数据，而且要求处理的强实时性，所以在各个处理环节中采用ＭａｐＲｅｄｕｃｅ分布式计算
万方数据
框架以及实时流数据处理计算框架，数据存储用支持文本和图像存储，面向列、可伸缩，支持事务以及Ｂ树范围查询和排序的分布式数据库ＨＢａｓｅ和分布式文件存储系统ＨＤＦＳ（Ｈａｄｏｏｐ
ＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅ
Ｓｙｓｔｅｍ）［１１－１２］．依据大数据处理流程及交通数据处理的特性，整个平台的构建分两部分，依次为对交通大数据离线批处理、深度挖掘的Ｈａｄｏｏｐ生态系统和对交通大数据进行强实时流式计算的ｓｔｏｒｍ处理系统，平台搭建如图１所示．
：
唾一陵昌曩
．・一……………………………………’，．一………………‘・～１
ｉＨａｄｏｏｐ分布式离线批处理｛ｉｓｔｏ肌实时流计算ｊ
ｉ＼竺竺兰／ｊ
使用构建在Ｈａｄｏｏｐ生态系统上的分布式日志处理系统Ｃｈｕｋｗａ收集交通数据源，用数据同步工具Ｓｑ∞ｐ实现各种交通数据源和Ｈａｄｏｏｐ分布式文件系统ＨＤＦＳ间的数据转移和传输［１３１．鉴于交通流数据处理的强实时性，系统构建对Ｈａｄｏｏｐ平台进行了扩展，引入实时犬数据流处理系统Ｓｔｏｒｍ．因此在交通大数据处理层包含基于Ｈａｄｏｏｐ的分布式离线处理计算框架和基于Ｓｔｏｒｍ的实时流数据处理计算框架．其中，ＭａｐＲｅｄｕｃｅ通过ｍａｐ和ｒｅｄｕｃｅ两个步骤实现交通数据的并行处理［１４１；Ｉｍｐａｌａ提供ＳＱＬ语义，对存储在Ｈａｄｏｏｐ的ＨＤＦＳ和ＨＢａｓｅ中
兰州理工大学学报
第４１卷
的ＰＢ级交通大数据实现交互式的快速查询；利用Ｍａｈｏｕｔ提供的可扩展的机器学习和数据挖掘的分布式框架，实现交通大数据的并行分析与挖掘．Ｓｔｏｒｍ平台克服了Ｈａｄｏｏｐ平台不能有效适应实时数据处理的缺陷，提供全内存计算，实现对流式交通数据的实时处理，它提供的输人流组件Ｓｐｏｕｔ负责将数据传递给另一个组件Ｂｏｌｔ，Ｂｏｌｔ执行任务，如交通流数据的过滤、计算、访问文件／数据库等，并创建新的流作为下一个Ｂｏｌｔ的输人流．数据展现层利用大数据分析工具Ｋａｒｍａｓｐｈｅｒｅ实现结果数据的可视化，迅速有效地简化提炼数据流，提供具有交互功能的动态图表，帮助人们探索和解释复杂的数据，理解和分析数据的内涵与特征，更好地从复杂数据中得到新的发现．
强，处理速度快，是典型的大数据，如何利用好这些多源的大量数据为交通决策与诱导提供便利，有效缓解交通拥堵是交通领域的难题，也是智能交通首要解决的问题．在综合考虑了交通数据的特性以及应用需求的基础上，本文设计了如图２所示的交通大数据处理体系框架．该框架基于图１所示的交通大数据处理平台设计，包含四层结构，分别为数据源层、数据处理层、知识层以及应用层［１５］．
１）数据源层．交通异构数据源有结构化的数据，大部分都是非结构化的数据，这些数据源主要包括无线射频识别数据（ｒａｄｉｏ口信号灯等）、ＧＰＳ（ｇｌｏｂａｌ
ｆｒｅｑｕｅｎｃｙｉｄｅｎｔｉｆｉｃａ—
ｔｉｏｎ，ＲＦＩＤ）、视频监控、卡扣数据（包括肼Ｃ、交叉
ｐｏｓｉｔｉｏｎｉｎｇ
ｓｙｓｔｅｍ）轨迹
数据、ＩＣ卡刷卡数据、交通应用服务数据等．
２）数据处理层．数据处理层是大数据处理体系框架的核心层，Ｓｑｏｏｐ整合数据源数据，存储于分布式数据库ＨＢａｓｅ中．这里采用基于ＨＤＦＳ的ＨＢａｓｅ
３交通大数据处理体系框架
交通数据不仅量大而且异构源多，实时性要求
数据源层
数据处理层
－－●
知识层
一●
应用层
图２交通大数据处理体系架构
ｎ辱２
Ａｒｄｈｉｔｅｌｃ臼ｎ℃ｏｆｔｒａｆｎｃ
ｂｉｇ幽ｔａ
ｐｒ∞ｅ鲻ｉ呜ｓｙｓｔ锄
万方数据
第２期
张红等：基于大数据的智能交通体系架构
和Ｉｍｐａｌａ的存储系统，Ｉｍｐａｌａ提供实时的交互式ＳＱＩ．大数据查询功能，直接从ＨＢａｓｅ中用ＳＥ—Ｉ。ＥＣＴ、ＪＯＩＮ和统计函数查询数据，实现快速的大数据存储和分析．根据不同的交通需求，系统设计了两套计算框架，ＭａｐＲｅｄｕｃｅ离线计算框架用作交通模型的预测和交通运行规律的挖掘，Ｓｔｏｒｍ实时交通流计算框架用于处理实时交通流数据，并对交通流进行短期的预测［１６１．数据处理结果进行可视化分析，以动态图表的形式展现给用户．
３）知识层．交通大数据的处理就是要对数据进行深层分析、挖掘数据所蕴含的深层知识，寻找数据内部隐藏的规律［１７ｆ，这里主要包含居民日常出行行为、居民的出行模式、依据城市特点的交通运营决策及规划、居民个体活动知识、城市的动态性特征、城市的空间分布规律等．对交通视频及图像采用ＣＵ—ＤＡ架构，快速提取其特征和摘要以备挖掘分析，对卡扣和应用服务数据及ＧＰＳ等数据基于ＭａｐＲｅ—ｄｕｃｅ计算模型用Ｍａｈｏｕｔ进行并行分析与挖掘，形成知识，为智能交通系统提供更高层的应用与管理．
４）应用层．所有的研究都将归结于应用，大数据为智能交通的进一步发展起到了极大的促进作用，主要产生了以下几个方面的应用：交通拥堵自动检测，路网地图更新，交通供求分析，道路规划，交通费用预测，实时路况展现，交通异常检测，智能电子停车，出行信息服务，交通诱导等［１
８｜．
４结论
数据是驱动智能交通发展的基础，大数据技术的开发利用将为智能交通的进一步发展带来质的飞跃［１９｜．在广泛阅读交通大数据相关文献资料的基础上，本文建立了基于大数据的智能交通体系框架，该架构能够兼顾交通数据处理的强实时性和高效性，也兼顾了交通数据量大、异构且分散的特点，文中对智能交通目前所面临的热点问题如交通流短时预测、交通诱导、居民出行模式等运用大数据技术进行了简单的剖析，有望通过大数据技术解决这些关键问题，这也是各个大城市正在建设规划的智慧城市研究的重要内容．
接下来要做的工作是基于本文所述的交通大数据处理体系架构和交通大数据处理平台，结合兰州“智慧城市”建设，搭建软硬件平台，对兰州公交公司提供的出租车及公交车ＧＰＳ大数据进行实地挖掘分析，提炼出高价值的信息，推动兰州智慧交通与低碳城市建设，缓解日益严重的交通拥堵问题．加强大数据异构信息融合技术的研究，通过对平台管理的
万方数据
大数据信息资源进行补充、完善与整合，为领域业务应用提供更为全面的信息支撑．
参考文献：
［１］杨万三。智能交通管理一次颠覆传统的技术变革［ＥＢ／ｏＩ。］．
２０１３＿０４一０８［２０１３∞４一１９］．ｈｔｔｐ：／／ｗ、）ｌｒｗ．２１Ｉｔｓ．ｃｏｍ／ｃｏｍｍｏｎ／
ＮｅｗｓＤｅｔａｉｌ。ａｓｐｘ？ＩＤ一２０１３０４０８１１３７５８０６０８８．
［２］韩耀强．大数据：智慧城市的发展引擎［ＥＢ／０Ｌ］．２０１３＿０４．０８
［２０１３一０４一１９］．ｈｔｔｐ：／／、＾帆ｍｉｓ６．ｃｏｎｌ／ｎｅｗｓ／ｄｅｔａｉｌ／１０５００４００３／
１５７４１８３２６８．ｈｔｎｌＬ
［３］ＭｕＫＨＥ刚ＥＥＲＴｒａｖｅｌａｎｄ
ｔｒａｎｓｐｏｎａｔｉｏｎｉｎｔｈｅａｇｅｏｆｂｉｇ
ｄａｔａ［ＥＢ／０Ｌ］．２０１２－０８—２８［２０１３－０４—２０］．ｈｔｔｐ：／／ｗｗｗ．ｉｂｍ—
ｂｉｇｄａｔａｈｕｂ．ｃｏｍ／ｂｌｏｇ／ｔｒａｖｅｌ一ａｎｄ—ｔｒａｎｓｐｏｒｔａｔｉｏｍａｇｅ－ｂｉｇ—ａｔａ．［４］姜锋．基于Ｈａｄ００ｐ平台的海晕数据处理研究及应用［Ｄ］．
北京：北京邮电大学，２０１２．
［５］岳建明，袁伦渠．智能交通发展中的大数据分析［Ｊ］．生产力研
究，２０１３（６）：１３７一１３８，１６５．
［６］周为钢，杨良怀，潘建，等．论智能交通大数据处理平台之构
建［ｃ］／／第八届中国智能交通年会优秀论文集．北京：电子工
业出版社，２０１３：１５８—１６７．
［７］官夏屹，李伯虎，柴旭东，等．大数据平台技术综述［Ｊ］．系统仿
真学报，２０１４，２６（３）：４８９—４９６．［８］
ＲｕｃＫｓＧ．Ｈｏｗ
ｂｉｇ
ｄａｔａ
ｄ＾ｖｅｓ
ｉｎｔｅｌｌｉｇｅｎｔ
ｔｒａｎｓｐｏｎａｔｉｏｎ
［ＥＢ／ＯＬ］．２０１２－０８—１５［２０１３－０４—２０］．ｈｔｔｐ：／／ｗｗｗ．ｇｒｅｅｎｂｉｚ．
ｃｏｍ／ｂ１Ｑｇ／２０１２／０８／１５／ｈｏｗ山ｉｇ－ｄａｔａ－ｄｒｉｖｅｓ＿ｉｎｔｅｌｌｉｇｅｎｔ—ｔｒａｎｓ—
ｐｏｒｔａｔｉｏｎ？ｐａｇｅ—Ｏ％２Ｃ１．
［９］李国杰．大数据研究的科学价值［Ｊ］．中国计算机学会通讯，
２０１２，８（９）：８—１５．
［１０］陆化普，李瑞敏，朱茵．智能交通系统概论［Ｍ］．北京；中国
铁道出版社，２００８．
［１１］ｃＨＥＮ
ｃ，ＬＩＵｚ，ＬＩＮ
ｗＨ，甜口ｚ．Ｄｉｓｔ舶ｕｔｅｄｍｏｄｅｌｉｆｌｇ
ｉｎ
ａ
ｍａｐｒｅｄｕｃｅ
ｆｒａｍｅｗｏｒｋｆｏｒｄａｔａ’ｄｒｉｖｅｎｔｒａｆｆＩｃｎｏｗｆｏｒｅｃａｓｔｉｌｌｇ
［Ｊ］．ＩＥＥＥＴｒａｎ髓ｃｔｉｏｎｓ
０ｎ
ＩｎｔｅｌｌｉｇｅｎｔＴＴａｎｓｐｏｎａｔｉｏｎＳｙｓ—
ｔｅｍｓ，２０１３，１４（１）：２２—３３．
［１２］覃雄派，王会举，杜小勇，等．大数据分析一ＲＤＢＭｓ与ＭａｐＲｅ—
ｄｕｃｅ的竞争与共生［Ｊ］．软件学报，２０１２，２３（１）：３２—４５．
［１３］ｗＨＩＴＥＴ．Ｈａｄｏｏｐ权威指南［Ｍ］．２版．周敏奇，王晓玲等
译．北京；清华大学出版社，２０１１．
［１４］
ｓＨＩＭＫ．Ｍａｐｒｅｄｕｃｅ
ａｌｇｏ—ｔｍｓ
ｆｏｒｂｉｇｄａｔａａ１１ａｌｙｓｉｓ［ｃ］／／
Ｐｒｏｃｅ商ｎｇｓｏｆｔｈｅⅥＪ］Ｂ
Ｅｒ】ｄａｗｍｅｎｔ
Ｉｓｔａｌｌｂｕｌ：［ｓｎ］，２０１２：
２０１６—２０１７．
［１５］王静远，李超，熊璋，等．以数据为中心的智慧城市研究综
述［Ｊ］．计算机研究与发展，２０１４，５１（２）；２３９－２５９．
［１６］张秋余，朱学明．基于Ｇ昏ＥｌｍａＩｌ神经网络的交通流短时预测
方法口］．兰州理工大学学报，２０１３，３９（３）：９４—９８．
［１７］程学旗，王元卓．大数据计算的技术体系与引擎系统［Ｊ］．高
科技与产业化，２０１３，９（５）：６２—６５．
［１８］郑字．城市计算与大数据［Ｊ］．中国计算机学会通讯，２０１３，
９（８）：８一１８．
［１９］李国杰，程学期．大数据研究：未来科技及经济社会发展的重
大战略领域一大数据的研究现状与科学思考［Ｊ］．中国科学院院刊，２０１２，２７（６）：６４７．６５７．