泰坦尼克号沉没已经过去107年,这场悲剧与可持续农业、人口迁移问题或者健康保险费率等现代问题能有什么关系?这里给大家一点提示:数据证明。
无论是好是坏,现代世界正越来越多地利用算法识别数据中的模式,并根据这些模式做出预测。人们希望回答的问题是,“某个人能否在泰坦尼克号的沉没中幸存下来?”而这个问题的基本分析方法,与“最有可能的人口迁移途径是什么?”完全一致。
历史悠久的问题
基于泰坦尼克号数据集,以预测海上生存概率,一直是众多胸怀抱负的数据科学家以及程序员的标准实践问题。
这是一个基本的挑战:将一部分泰坦尼克号乘客名单添加至算法,其中描述每位乘客及其特性的一些基本变量。根据这些数据,算法应能够提出相关结论,说明哪些变量决定某个人在1912年4月那个寒冷的夜晚拥有更高的生存或者死亡机率。为了测试结果是否正确,你需要利用训练完成的算法处理名单中的其余乘客信息,而后与实际结果进行比较。
Kaggle.com等在线社区曾经进行过这样的竞赛,看谁能够开发出准确率最高的生存预测算法。此外,这也是大学课程当中的常见问题。乘客名单大到足够能反映出明确的趋势,同时又小到能够被初学者掌握。其结果也相对简单——决定生死的变量可能只有十几项,所以问题并不复杂,初学者也能够解决;但其中的交互关系又足够复杂,能吸引到技术人员的关注。另外,由于泰坦尼克号的故事非常有名,因此即使过去一个多世纪,仍能引发共鸣。
SparkBeyond公司正在将泰坦尼克号问题作为其AI平台的早期测试素材,并希望将其作为向潜在客户展示技术能力的方式之一。该公司联合创始人兼CEO Sagie Davidovich表示,“有趣的是,即使是在像泰坦尼克号这样简单的问题当中,我们仍能够发掘出大量有价值的结论。”
生存结果可归结为变量
如果大家对泰坦尼克号的故事比较熟悉,完全可以通过简单的数字计算对乘客的命运做出合理的猜测。
其中女性的生存机率几乎达到男性的两倍,儿童的生存机率则为成人的1.4倍。一等舱乘客的生存机率为其他乘客的1.9倍。事实证明,中年女性与年轻女性之间,舱位等级对生存率的影响最大;而在中年男性与年轻男性之间,年龄差异则是决定生存率的关键。
虽然这些结果基本在人们的意料之中,但确实能够做出非常准确的预测。除此之外,算法也需要考虑到其它变量对于生存名单的影响,例如一个人的父母、孩子或者兄弟姐妹是否同在船上。正因为这些复杂性因素的存在,泰坦尼克号乘客名单才有长久以来一直成为数据科学家们关注的经典问题。
事实证明,以不同的方式查看数据有时也能带来更快捷的分析结果。Davidovich指出,SparkBeyond的AI方案就通过查看船票上列出的乘客姓名前缀,发现了这样一条分析“捷径”。
Davidovich解释道,“从数据当中可以看出,最简单的高生存率预测指标就是,乘客的名字中不包含“先生”这一表述。这显然涉及到乘客的性别成分,但深入解读,这种现象实际上包含了上面谈到的全部三种生存指标。”因为“先生”这一前缀,能够快速确定最有可能在沉船事故中死亡的群体:中产阶级及资产阶级成年男性,这一群更有能力购买头等舱船票的群体,往往(虽然并非全部)拥有“阁下”这类头衔,而年轻的男孩则被称为“少爷”(主要来自贵族阶层)或者并无特别的称谓。
现代应用
SparkBeyond公司的AI方案目前已经开始研究监狱暴力行为的原因、半导体制造质量控制以及人口迁移模式等问题。
Davidovich介绍称,“机器智能可以确定的一项基本事实,在于自然灾害与人口迁移之间的联系。美国人口迁移的大幅飙升与飓风哈维有关,这一点在某些高速公路及主要道路上体现得尤为明显。”
当然,除了数据模式这一共同本质之外,泰坦尼克号数据集还有着另一大共通的特性——尽管人们在分析时很容易迷失在具体数据当中,但这些纷繁复杂的数字与变量背后仍是真实人生的反映。