将深度学习运用于城市公共安全领域
36大数据专稿 , 本文由36大数据翻译组-黄小肺翻译,转载必须获得本站、原作者、译者的同意,拒绝任何不表明译者及来源的转载!
原文标题:Deep Learning for Public Safety
此前,在深度学习的算法中我们已经看到了很多非常优秀的应用,它们在图像识别,机械翻译等领域中都有着不俗的表现。但是今天要提到的这个独特的案例是将深度学习运用在了公共安全的领域中去,尤其是在有前瞻性思想的旧金山和芝加哥,人们如何利用深度学习算法去打击犯罪。这两个城市(当然也包括其他的一些城市)都是数据透明化的城市。这意味着任何人都可以访问这座城市的交通信息和建设维修记录。所以如果你是一个数据科学家或者希望成为一个数据科学家,你可以从这些开放的特定城市数据集中找到你所需要的样本。例如我们可以着眼于芝加哥和旧金山的历史犯罪记录,并把它们和一些像天气和社会经济这样的外部因素相关联,做出基于spark SQL的数据分析。
芝加哥警方用大数据分析来预防犯罪,从而减少了犯罪事件的发生
用数据武装警察
警务大数据案例:用手机移动数据预测犯罪
图1:Spark+H2O Workflow
我们做数据导入,临时数据改写(如解析日期列),并利用spark的功能将不同表连接,最后发布spark RDD作为H2O框架。
下面的图2和图3演示了一些很酷的可视化关系图表,这是通过我们最新的H2O产品的Flow framework做出的,你可以在这里下载 (http://h2o-release.s3.amazonaws.com/h2o-dev/rel-serre/1/index.html)。
图2:旧金山犯罪图表
图3:芝加哥犯罪图表
有趣的是怎么可能这两座城市的犯罪频发的季节居然都是在冬天-鉴于芝加哥冬季的严寒,这是个多么令人意外的事实!
通过使用H2O Flow,我们可以看出芝加哥市的每一种犯罪的逮捕率和相应犯罪总百分比的对比。一些逮捕率高的犯罪发生频率相对较小,反之亦然。
图4:芝加哥逮捕率和总犯罪率分类百分比
H2O Flow 能够让用户通过导入数据来构建自己的自定义图形,下面是用于生成图4的代码。
图5:创建图4的代码
一旦数据被转换为H2O RDD,我们会培养一个深层的神经网络来预测在给定的犯罪中罪犯是否更容易被逮捕。这是我们的H2O深度学习模型的一些有趣的截图,通过调整流量的内部,从所产生的AUC曲线得分模型对比验证数据集。
图6: 旧金山验证数据AUC
图7: 芝加哥验证数据AUC
图8:地理映射预测
由于每个犯罪报告都有经纬度坐标,我们利用我们的数据模型输入支持数据,并将预测结果绘制上了芝加哥地图-具体的说,是芝加哥的市中心区地图。颜色代码对应了模型预测出的犯罪被抓获的可能性,红色是极有可能(X > 0.8),蓝色是既不可能(X < 0.2)。智能分析+资源管理=安全的街道。
End.