2013-Modelling Heterogeneous Location Habits in Human Populations for Location Prediction Under Data Sparsity


只观察你一天,能借别人的作息猜出下一周吗?

论文名片|James McInerney、Jiangchuan Zheng、Alex Rogers、Nicholas R. Jennings,Modelling Heterogeneous Location Habits in Human Populations for Location Prediction Under Data Sparsity,UbiComp 2013,469—478。DOI。

你周三上午总在同一栋楼出现,但系统刚观察了你一天,还不知道周四该怎样预测。其他人也许有工作日上午固定外出的习惯,却住在另一座城市。怎样借到他们的作息规律,又不把他们去的地点错误地套到你身上?

这正是 LocHDP 的问题:位置很个人化,时间习惯却可能共享。论文把两者分开建模,在新用户轨迹很少时,利用其他人的记录建立更好的时间先验;随着个人历史变丰富,这种额外帮助逐渐减弱。

先说结论

  • 模型不用先把地点标成家、办公室,也不要求用户互为朋友或到访同一地点,而是共享潜在习惯的时间参数,保留个人的空间参数。
  • Nokia 洛桑数据包含 38 人一年的约 155 万条定位,但主要预测评价选择的是其中 9 名记录较丰富的用户,不能把全部参与者都当作测试分母。
  • 每个目标用户只给 20 个有记录小时、另用 10 名辅助用户时,LocHDP 相对个人混合模型的条件似然改善约 2.4 倍;这不是位置命中率提升 140%。
  • 个人历史达到约 100 个有记录小时后,两种模型优势基本消失;辅助人数增加到约 10 人以后,这份数据上的收益也趋于平缓。

为什么不能直接把所有人的地点合在一起?

同一座公园可以对一个人是日常散步地点,对另一个人只是偶然路过;不同人的家又通常不在相同坐标。若要求所有人先共享一套地点编号或活动标签,就会限制模型能借用谁的数据。

论文借鉴分层狄利克雷过程(Hierarchical Dirichlet Process,HDP)。在文本模型里,所有文档可以共享一组主题,每篇文档使用主题的比例不同。对应到移动性,一组潜在习惯可以在不同人身上以不同比例出现,但需要进一步处理个人地点各异的问题。

标准HDP图模型

图 1|标准主题模型怎样共享信息?完整单幅图中,全局分布决定可共享主题,文档内部有各自的主题混合,词的观测由主题产生;方框表示重复结构,灰色圆表示观测,灰色方块表示超参数。它提供共享潜变量的基础,但还没有表达个人独有的空间位置。来源:原论文 Fig. 1。

LocHDP 保留每个用户使用各习惯的概率,再把每个习惯拆成三份信息:个人的经纬度分布、共享的一天中时刻分布、共享的星期分布。空间位置用高斯分布表示,时刻用单峰高斯分布平滑,星期用离散分布表示。给定潜在习惯后,各观测分量按模型假设组合。

LocHDP图模型

图 2|哪里共享,哪里保留个人差异?完整单幅图中,用户 u 的空间参数 φ 位于用户重复结构内;时刻与星期的参数位于全局习惯结构中,供不同用户共享。潜在习惯 h 同时连接位置、时刻与星期的观测。图中无子图字母。来源:原论文 Fig. 2。

原论文 Table 1 对应定义了位置、时刻、星期、用户、习惯和各层参数。模型不必预先固定习惯总数,而是在推断中调整有效习惯的数量。“习惯”在这里是解释数据的潜变量,并不是问卷确认的一项具体活动。

同一个家,为什么可以对应多个习惯?

一个人可能早晨在家、傍晚也在家。若把家作为一个地点并附上复杂的双峰时间分布,每个人的两个时间峰又可能不同,不容易共享。

LocHDP 反过来把上午与晚上的模式分开,让两个潜在习惯可以指向同一片个人空间。这样,某些人可共享早晨模式,另一些人共享晚上模式,而无需整套日程都一致。

重要地点与时间习惯的不同解释

图 3|同一片空间是否一定只能有一个习惯?这是一组模拟示意数据。左上按一个重要地点聚合空间观测,左下赋予它双峰日内分布;右上保留空间上重叠的两个习惯,右下分别用单峰时间分布表达。四幅图的经纬度轴与时间、概率密度轴均保留,原图没有子图字母;星期分布未在图中展示。来源:原论文 Fig. 3。

这个选择以更模块化的时间模式换取共享能力,同时也作出限制:每个潜在习惯只在一天中的一个主要时段活跃,多峰行为需要多个习惯解释。模型能拟合多少模式,还受到记录和先验的影响,不能把推断出的数量当作真实生活习惯的客观总数。

新用户的二十小时,究竟怎样被测试?

原始 Nokia 数据记录了瑞士洛桑 38 名参与者一年的 1,553,154 条位置。平均每人 40,872 条,标准差 36,848,个体记录量差异较大。

定位采样并不均匀:设备为节电会在长时间静止时降低记录频率,GPS 不可用或关机也会造成空缺。研究因此按有定位的小时计算训练长度 H,而非直接按连续日历小时计算。

实验 目标用户的训练信息 辅助数据 测试对象
改变数据深度 最早 H 个非空小时,H 不超过 200 随机选 10 名其他用户的完整记录 9 名至少有 1,000 个非空小时的目标用户,使用未参与训练的位置
改变数据宽度 每个目标用户固定 20 个非空小时 辅助人数从 0 增至 20 同一批 9 名目标用户

论文粗略估计,H 个非空小时约需 1.5H 个日历小时,但用户缺测程度不同,没有统一换算。因此,20 个训练小时不能写成连续观察了 20 小时,更不能称为只有 20 个定位点。

辅助用户代表系统中已经积累数据的用户;目标用户的少量历史则模拟冷启动。实验评估的是如何借助已有用户资料帮助新用户,不是完全没有目标用户地点记录的零样本预测。

不猜唯一坐标,先看真实位置获得多少概率密度

LocHDP 使用折叠 Gibbs 采样推断参数。研究报告约 50 轮后进入采样阶段,之后每三轮保留一个样本,共保留 10 个。预测时,给定用户、星期与时刻,对潜在习惯和参数不确定性求平均,得到二维位置概率密度。

评价指标是测试位置的条件似然:已知真实记录时刻,模型在真实位置赋予多少密度。这样可以减少仅仅学到“GPS 什么时候容易启动”带来的干扰,但并未消除所有采样偏差。

比较包括 LocHDP、每人单独训练的时空混合模型(Mixture),以及把个人全部位置拟合成一个高斯分布的简单模型(Single)。Mixture 能利用个人时空结构,却不能在用户间共享习惯。

不同个人历史长度的预测表现

图 4|个人历史很短时,共享习惯有多大帮助?单幅图横轴为目标用户训练的非空小时数,纵轴为平均条件对数似然,越高、越接近零表示预测密度更好。蓝线为 LocHDP,绿虚线为个人混合模型,红点线为单高斯;误差条是按经验标准误计算的 95% 置信范围。单高斯多数较差结果落在图示范围之外。来源:原论文 Fig. 4。

作者将平均对数似然的差异换算后,报告 H=20 时约为个人混合模型的 2.4 倍,H=40 时约为 6.4 倍。这是概率密度比较,不是 2.4 倍命中率,也不是地理误差减少到原来的 1/2.4。

随着 H 接近 100,两条主要曲线汇合。个人过去的行为已经提供足够信息,群体时间参数不再持续带来明显额外优势。约 100 小时是这份样本与设置中的观察,不能当作所有预测服务统一需要的数据门槛。

测试位置条件似然分布

图 5|平均改善来自哪些预测?单幅图汇总 9 名目标用户在 20 小时训练设置下的测试记录,横轴为条件对数似然,纵轴为频数。LocHDP 在较高似然区域有更多结果;单高斯即便在常见位置附近有集中,也包含很差的长尾。这里不是公里误差的分布。来源:原论文 Fig. 5。

加入更多人,会一直改善吗?

辅助人数与习惯数量

图 6|数据更宽,能补足个人历史太浅吗?单幅双轴图横轴为辅助人数,蓝线和左轴为平均条件对数似然,红虚线和右轴为推断的习惯数。辅助人数增加时两者整体上升,约 10 人后预测表现较平缓,15 人处的小幅下降仍有不确定性。误差条为原文所述 95% 置信范围。来源:原论文 Fig. 6。

更多辅助用户可能带来目标用户尚未充分显示的时间模式,但增加人数也不保证每个人都提供相关习惯。在这份小样本上,模型发现的习惯数继续缓慢增加,预测收益却没有等量增加。

九名用户的习惯混合

图 7|共享模式是否意味着所有人都一样?从共同建模的 20 名用户中随机展示 9 人,每个面板对应一人,横轴为习惯编号、纵轴为该人使用各习惯的概率。九幅面板共同显示相同习惯在不同人身上的权重不同,原图无面板字母。习惯 12 在其中五人的观测占比超过约 30%。来源:原论文 Fig. 7。

作者查看位置动画后,将这五人的习惯 12 解释为居家位置;另外四人没有同样清晰的语义。因此,共享时间模式不需要预先标记家,但模型编号也不自动具备所有用户一致的活动名称。人工核对的解释应与模型的原始输出分开理解。

无需社交连接,不等于已经在任意人群验证

LocHDP 在结构上无需朋友关系、空间重叠或统一活动标签,这是它能广泛借用他人数据的关键。但验证来自同一城市的一份 38 人数据,且招募方式包含熟人推荐;目标评价又选择了记录较丰富的 9 人。作者承认,这样的人群可能比随机抽取的公众具有更多相似习惯。

所以,实验支持的是这组条件下的冷启动改善。要说明跨城市、跨文化或特殊作息同样受益,还需更宽的人群验证,并检查何时共享会把主流日程错误地套给少数用户。

一句话总结

共享作息、保留个人地点,可以在少量历史下帮助位置概率预测,但群体信息的价值会随个人记录增加而减弱,也依赖辅助人群是否合适。

核心来源

James McInerney, Jiangchuan Zheng, Alex Rogers, Nicholas R. Jennings. Modelling Heterogeneous Location Habits in Human Populations for Location Prediction Under Data Sparsity. UbiComp 2013, 469–478。DOI:10.1145/2493432.2493437,南安普顿大学机构仓库。Fig. 1—7、模型方法、数据规模与实验数值均来自原论文。

作者介绍

  • James McInerney:论文署名为英国南安普顿大学。
  • Jiangchuan Zheng:论文署名为香港科技大学。
  • Alex Rogers:论文署名为英国南安普顿大学。
  • Nicholas R. Jennings:论文署名为英国南安普顿大学。

延伸思考

以下是 AI 基于论文结果所作的延伸,不属于原论文结论。

如果辅助用户大多是白天上班的人,夜班新用户的少量记录可能被推向不合适的主流习惯。一个有价值的检验是,分别用日程相似、日程相反与随机辅助人群帮助同一个目标用户,观察共享什么时候有益、什么时候产生负迁移。

还可以同时报告概率密度与固定距离范围内的覆盖率。前者衡量分布在真实位置附近是否集中,后者更接近“预测区域能否覆盖用户”的应用需求。两项一起报告,能避免把似然的倍数直接当作导航或提醒服务的成功率。


本文不允许转载。
  目录