A multi-source dataset of urban life in the city of Milan and the Province of Trentino


手机、天气和电网放在同一张地图上,能看见怎样的城市?

论文名片|Gianni Barlacchi、Marco De Nadai 等,A multi-source dataset of urban life in the city of Milan and the Province of Trentino,Scientific Data 2,150055(2015)。原论文 · DOI:10.1038/sdata.2015.55。本文是数据描述论文,研究对象为意大利米兰与特伦蒂诺省。

想象某个雨夜,市中心的手机活动突然增加。是球赛散场、游客聚集,还是人们被大雨留在室内刷手机?一条手机曲线很难分辨这些解释。若把天气、新闻、社交媒体与电网记录放到相同时间和地理位置上,城市活动就有了几种可以互相参照的观察窗口。

这篇论文的贡献,是开放这些窗口及其对齐方法。它没有给出一个能够识别所有城市行为的模型,也没有证明天气怎样导致出行变化;它让不同研究者可以从同一批基础数据出发,提出、比较和复现自己的解释。

先说结论

  • 数据把电信活动、社交媒体、气象与降水、新闻和电力记录联结到两地的地理框架,核心观测时期为2013年11—12月;不同数据源仍有各自的空间、时间口径。
  • 手机数据按10分钟聚合,公开值经过共同常数缩放。它能比较活动强弱,却不能直接读成打了多少个电话、现场有多少人,或多少人从甲地走到乙地。
  • 日夜、工作日与周末的差别,以及大学、夜生活街区与森林的差别,出现在数据中。这些是合理性检查,没有给出全量真实人数作对照。
  • 统一网格只是对齐工具。基站覆盖范围、气象站位置和电力线路都不是规则方格;分摊到网格后的精细外观,不代表每个格子都被直接测量。

为什么需要好几种城市活动的记录?

手机数据常掌握在企业手中,研究团队拿到的版本也可能不同。于是,同一现象的不同算法很难在相同输入上比较。这套数据来自 Telecom Italia Big Data Challenge,将企业和公共机构的数据开放为共同试验材料。表1列出各源的提供方:电信和网格来自 Telecom Italia,社交数据来自 SpazioDati 与米兰理工大学相关团队,气象来自 ARPA、Meteotrentino,特伦蒂诺电力来自 SET Distribuzione,新闻来自 Citynews。

这些窗口观察的并非同一件事。手机记录的是通信活动,推文记录的是愿意发帖且被采集到的表达,新闻受报道选择影响,电网则连接住宅与工业等不同用户。多源数据的价值,在于给同一地点提供不同角度,而非把它们相加成一个更准确的人数。

图1:特伦蒂诺不同数据层的空间分布

图 1|同一个省,为什么会出现不同的活动地图?

原图没有子图字母,从上至下是 Social pulse、Precipitation、News pulse、Energy、Telecommunications 五层。社交媒体层显示推文在较大城市集中;降水层由蓝到红表示平均降水强度由低到高;新闻层反映报道的空间分布,文中说明该图对应特伦托市的新闻;电力层的红色表示分摊后的用电相关总量;电信层展示通信事件的强弱。图采用对数色阶,不能把不同层的红色理解成同一个数值,也不能从图上直接读出居民人数。来源:原论文 Fig. 1。

把数据装进方格,会不会让位置变得更准确?

米兰采用100×100的规则网格,共10,000格,每格约235×235米;特伦蒂诺采用6,575个有效网格。地理参考为 WGS84。共同网格让不同表可以通过格子编号关联,但原始空间分辨率并未因此提高。

图2:项目使用的三种网格

图 2|一个格子编号是否代表相同的观测尺度?

原图没有子图字母。左图是米兰网格的编号方式,中图是特伦蒂诺网格,右图是米兰降水使用的四象限。米兰降水每个象限约11.75×11.75公里,远大于手机活动网格。将降水表连接到细网格之后,仍不能声称已测得每个235米格子的独立降雨量。来源:原论文 Fig. 2。

手机与网络发生交互时,运营商记录处理事件的基站和时刻。这种通话详单(Call Detail Records,CDR)不仅包括通话,还包括收发短信与特定条件下的互联网连接事件。持续连接超过15分钟或传输超过5 MB时,也会产生新的互联网CDR。因此,同一个人可能贡献很多条记录。

图3:米兰基站覆盖区示例

图 3|手机事件原本定位在怎样的区域?

单幅地图展示米兰不规则的基站覆盖分区。它们大小、形状各不相同,并不等同于图2中的规则网格。公开网格中的事件量,是把某覆盖区内的事件按覆盖区与网格重叠的面积比例分配过去;它不是把用户逐一定位到格子内。来源:原论文 Fig. 3。

具体说,某个覆盖区若有一部分面积落在某格,就按这部分面积占整个覆盖区的比例分配事件量,再对所有相交覆盖区求和。这个做法隐含覆盖区内活动可按面积分摊的近似。地铁站、大学或工厂造成的局部集中,未必能由这种近似恢复。

为保护商业信息,公开值还乘以运营商设定的常数k。保留的是与真实事件数成比例的活动量。电信表又分成三类:格子内的活动,格子与意大利各省之间的通信,以及本地格子之间的有向通信。后两类是两端用户交换电话形成的联系,不能当作两端之间实际发生的旅行。论文说明,通信联系只覆盖运营商自身客户,当时市场份额对应的人口覆盖至多约34%,也没有未接通电话的信息。

其他数据加入后,究竟补上了什么?

社交媒体数据来自 Twitter Streaming API,收集两地带地理位置的推文,主要覆盖2013年11—12月。用户名经过哈希处理,正文替换成识别出的实体,位置也作近似处理,论文标示误差小于600米。它适合研究语言、话题与活动地点的联系,却不能代表所有人的表达。

气象站保留站点位置和测量单位。米兰站点数据按60分钟聚合;特伦蒂诺36个气象站按15分钟聚合。降水产品则另有口径:米兰是10分钟、四象限;特伦蒂诺是10分钟网格数据,并附可用性记录。后者会因积雪覆盖雷达等技术问题中断。缺失记录不能直接填为无雨,两地不同的降水等级也不能只凭相同数字横向比较。

新闻表保留2013年11月1日至12月31日 Milano Today 与 Trento Today 的文章元信息、链接和可获得的事件位置。它能帮助解释异常活动附近发生了什么,但报道地点不总可得,新闻数量也不是事件发生次数。

电力数据只覆盖特伦蒂诺。SET用约180条中压线路供电,公开数据隐藏客户精确位置、线路几何及客户类型,提供每条线路在各网格中的客户接入点数量,以及线路的10分钟测量记录。

图4:电力线路记录怎样转成网格地图

图 4|一条线路的测量,如何落到地图上的方格?

原图没有子图字母。从下向上依次是原始线路与接入点、每格不同线路的接入点计数,以及依据这些计数分摊得到的分级设色图。蓝、红线代表不同供电线路,不表示两种居民行为。接入点类型被隐藏,分摊视不同接入点为等份;一个工厂和一户住宅的真实需求却可能不同。来源:原论文 Fig. 4。

还需分清物理量:论文把该部分概括为电力消费数据,但数据字段明确把线路测量值写为安培,并约定从国家电网流向本地为正、反向为负。仅凭这一字段不能直接得到千瓦时。若要计算能量,还需要额外的电气量、计量定义与时间积分依据。

怎样知道这些记录至少像一座真实的城市?

作者没有一份覆盖全城、逐时逐地的真实人数清单。因此,验证检查的是已知活动节律能否在数据里显现,而非人口估计误差有多小。

图5:米兰不同事件的一周标准化曲线

图 5|几种数字活动是否遵循相同的作息?

原图没有子图字母。从上至下为短信、通话、互联网CDR和推文。横轴是一周中的小时,纵轴为经Z标准化后的事件量,表示相对于各自平均水平的偏离。前三类有清楚的昼夜周期,周末模式也有变化;推文的波动更不规则,其日内高点约在22点。标准化曲线适合比较节奏,不能比较几种行为谁的绝对总量更大。来源:原论文 Fig. 5。

图6:米兰每格活动的星期分布

图 6|日夜周期之外,工作日和周末有什么差别?

原图没有子图字母,三个面板从上至下为短信、通话、互联网CDR。横轴0—6分别为周一至周日,纵轴为按天和网格计算的活动事件量;箱线图展示网格之间的分布差异。周末的部分分布向下移动,尤其通话活动更明显。纵轴沿用事件量表述,但公开数据已缩放,不能把读数直接还原为电话通数。来源:原论文 Fig. 6。

这些周期与常识相符,但仅有规律作息不足以证明地点归属正确。因此,空间验证选了功能差别较大的六处地点:米兰大教堂、博科尼大学、Navigli夜生活街区,以及特伦托大教堂、Mesiano大学工程系所在地、Bosco della città森林。

图7:六个地点的互联网活动节奏

图 7|大学、夜生活街区与森林会留下相同的曲线吗?

原图没有子图字母。上图为米兰:蓝线大教堂、绿线博科尼大学、红线Navigli;下图为特伦托:蓝线大教堂、绿线Mesiano、红线Bosco。横轴为一周中的小时,纵轴为互联网连接活动量。博科尼周末降低,Navigli晚间活动较高;特伦托中心的记录明显多于森林。两面板纵轴范围不同,不宜仅按线条高度比较两城绝对差距。来源:原论文 Fig. 7。

体育场活动与跨年夜也出现通信增加,构成事件层面的合理性检查。不过,论文未据此报告精确的人群计数误差、定位准确率或完整异常检测性能。论文所列热点识别、通信网络熵、引力模型残差和社会经济推断等,是可开展的应用方向或引用已有研究,不能都写成本数据描述论文已经验证的发现。

开放且细致,为什么仍然不能直接回答所有问题?

这套数据适合研究活动节律、城市功能差异、多源信号的对应关系,也适合作为算法的共同输入。但从记录走向解释,中间仍有几道门槛。

首先是覆盖。使用某运营商、开启定位发推文、被新闻报道的人群与地点,均不构成全体居民的随机样本。其次是聚合:网格通信强度不包含可直接追踪的个人旅行链,电力分摊也隐藏了接入点差异。再次是可比性:时间间隔、空间尺度、缺失机制和测量单位必须在合并前逐一对齐。最后,雨量、手机活动和电力即使同步变化,也可能受共同日历或地点功能影响;相关本身不识别因果。

表1的来源清单与正文各字段的定义,因而和漂亮地图一样重要。真正可复现的城市研究,既要公开数据,也要公开每一步转换怎样改变了数据的含义。

一句话总结

把城市的多种数字记录对齐,能够扩大可检验的问题范围,但每个格子里的数仍须按它真实记录的行为、尺度和单位来解释。

核心来源

  • Barlacchi, G. et al.(2015). A multi-source dataset of urban life in the city of Milan and the Province of Trentino. Scientific Data 2, 150055。论文及数据引用清单。本文七幅图均来自该论文。
  • 论文列出的示例分析代码与数据入口:Harvard Dataverse。不同数据子集在原论文 Data Citations 中分别列有独立标识。

作者介绍

以下身份与贡献以论文发表时的署名和作者贡献说明为准。

  • Gianni Barlacchi:署名SKIL—Telecom Italia与FBK;参与数据处理和论文写作,与Marco De Nadai共同第一作者。
  • Marco De Nadai:署名FBK;参与数据处理和论文写作。
  • Roberto Larcher:署名SKIL—Telecom Italia;参与数据集设计、处理和写作。
  • Antonio Casella:署名SKIL—Telecom Italia;参与数据处理。
  • Cristiana Chitic:署名SKIL—Telecom Italia;参与数据处理。
  • Giovanni Torrisi:署名SKIL—Telecom Italia;参与数据处理。
  • Fabrizio Antonelli:署名SKIL—Telecom Italia;参与数据集设计与论文写作。
  • Alessandro Vespignani:署名美国东北大学;参与论文写作。
  • Alex Pentland:署名MIT Media Lab;参与论文写作。
  • Bruno Lepri:署名FBK,为通讯作者;参与数据集设计与论文写作。

延伸思考

以下是 AI 基于论文结果所作的延伸,不属于原论文结论。

多源数据的一种实用价值,是帮助发现自己的解释在哪里站不住脚。假如手机活动在周末下降,而社交发帖上升,不能立即说数据互相矛盾;更可能是工作通信减少、休闲表达增加。可以先提出两种机制,再找受两种机制影响不同的信号作对照。

同样,评估模型时,可以刻意保留一种数据源不参与训练,用它检查模型的外部预测。例如,以手机节律识别大学区之后,再检验独立校历所预期的假期变化。这样的设计比让多源数据共同拟合同一张地图更有辨别力;但外部信号也要审查其偏差,不能因为来自另一个系统就自动视为真值。


文章作者: 猴猴猴
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 猴猴猴 !
  目录