硅谷考察见闻之：这是我见过最好的讲大数据的故事

作者：索信达数据

“利用倒时差的时间总结了一些这段时间在硅谷考察的见闻，分享给大家

Palantir，提起这家大数据公司，目前在美国风头最劲的就是这家公司，国内网站信息的搜索结果基本上是几个标签：

1. 融资很多，估值超200亿美元，是当前硅谷估值最高的大数据公司。
2. 协助美国CIA抓本拉登和发现麦道夫“庞氏骗局”。
3. 创始人是paypal“黑帮”老大，神一样的人物。
4. 不下20家国内公司说自己要做palantir。

在揭开这家公司神秘的面纱之前，让我们先通过Google了解看看这家公司。

Palantir公司创始团队——群星璀璨

Palantir公司成立于2004年，共有五位创始人，分别是Peter Thiel，Stephen Cohen，Joe Lonsdale，KarpNathan Gettings和Alex 。而Peter Thiel是公司的灵魂人物。

在创立Palantir之前，Thiel就已经很有名，他最广为人知的身份是PayPal创始人。Thiel在1998年联合创办了PayPal(PayPal的前身之一是X，X是大名鼎鼎的特斯拉创始人Elon Musk创建的)，并在2002年以15亿美元的价格将PayPal出售给eBay。除了创建实业公司外，Thiel还是知名的投资人，Facebook、LinkedIn、Yelp等知名创业公司都是他参与投资的。2004年，Thiel为Facebook提供了50万美元的启动资金，而这项投资给他带来2万倍的收益。

Palantir公司的名字是Thiel取的，来源于《指环王》中的Palantiri(谐音Palantir)。《指环王》中，Palantiri是一个可以穿越时空、看到一切、建立各种联系的水晶球，这暗喻着Palantir公司的业务。

Palantir的另一位创始人是Joe Lonsdale，他是Thiel的学徒和投资伙伴。事实上，Lonsdale 有一个更知名、更吸引人的身份——Lady Gaga在全球社交媒体资产的掌控者。

Alex Karp是Palantir公司的联席创始人兼CEO。他的背景颇为有趣，富三代、法学博士、新古典社会理论博士、硅谷知名投资人，都是他的标签。

关于Palantir——发现麦道夫“庞氏骗局”、协助CIA和FBI防恐，翻出本拉登

Palantir最传奇的战绩之一是发现麦道夫“庞氏骗局”。美国证监会旗下某组织曾爆料称，他们使用Palantir的软件，整合了40年的记录及海量数据，在进行复杂的大数据分析之后，发现了纳斯达克前主席麦道夫(Bernie Madoff)的“庞氏骗局”。Palantir帮助多家银行追回了麦道夫隐藏起来的数十亿美元巨款。

此外，Palantir在追踪、抓住并击毙基地组织头目本拉登(Osama bin Laden)的行动中，也立上了大功。

这一篇文章比较生动地介绍了Palantir如何通过技术协助客户作业的，也是我看到过的讲大数据故事最精彩的一篇。

像CIA(美国中情局)或FBI(美国联邦调查局)这样的组织拥有成千上万的不同的数据库、财政记录、DNA样本、声音样本、视频剪辑、地图、平面图、来自世界各地的人的情报报告。即使他们都是同一个系统的，也很难处理这些不同类型的数据——比方说，电子表格上的销售记录，还有视频监控图像。Palantir让人们能更简单对大型数据集进行挖掘。它通过搜索所有可用的数据库，识别有关联的信息，然后将它们放在一个地方。

去年10月份的时候，一个名叫Mike Fikri的外国人买了一张从开罗飞往迈阿密的单程机票，并在当地租了一间公寓。在过去的几周里，他从一家俄罗斯银行账户中提取了大量现金，并且给在叙利亚的某几个人打了好几个电话。最近，他租了一辆卡车，开去了奥兰多，还自己去了迪士尼乐园。众多的监控理想显示，他在这个世界上最快乐的地方并没有进行玩乐。他一整天都在对拥挤的广场和大门等地方拍照。

Fikri的个人行为不会引起怀疑。有许多人都会租卡车或者在叙利亚有人际关系，毫无疑问，也有很多无害的怪人着迷于游乐园设施。总之，尽管他们认为Fikri在搞些名堂。其实，如果是4年前，他攻击前的准备工作将不会有人注意到。CIA的分析员也许会标记这个人的机票购买;FBI特工也许会查看这个人的银行转账。但没办法将两者联系起来。反恐特工是幸运的，更不用说在奥兰多的游客了，政府现在已经使用了Palantir Technologies(Palantir技术公司)的软件，它是一家硅谷公司，已经成为了情报和执法部门的宠儿。

Fikri开车去奥兰多的那天，他被开了一张超速罚单，触发了CIA 的Palantir系统的警报。一位分析员将Fikri的名字输入搜索栏，就会弹出一个信息窗口，包含了从政府的每个数据库中提取出来的大量相关信息。有CIA特工在开罗采集的Fikri的指纹和DNA样本;有他前往迈阿密的ATM(自动提款机)的视频;有收费站拍的他租来的卡车的车牌照片;有通话记录;有全球精确定位他的移动轨迹。然后，所有的信息都将显示在一个清晰设计的图形界面中，看起来就像Tom Cruise在碟中谍中用的那些。

当CIA分析员开始翻看Palantir中有关Fikri的档案时，故事就开始了。单击鼠标显示出Fikri汇款给他曾经电话过的在叙利亚的人。再次单机鼠标，出现了CIA的有关叙利亚人的外勤报告，揭露了这些叙利亚人曾因行为可疑，和他们在过去的两周内每天都有碰面而受到调查。单击：这些叙利亚人在Fikri给他们汇款后的第二天，买了去迈阿密的机票。为了辅助哪怕是最迟钝的分析员，这款软件展示了一张地图，上面用脉冲红光追踪了从开罗和叙利亚一直到Fikri的迈阿密公寓的资金流动。在Fikri袭击前，这给当地警察提供了转移潜在受害人所需的最新信息。

再次重复，这些描述是我见过的最精彩的描述大数据的场景的故事。

带着对这些故事的憧憬，近期，我在帕拉奥图呆了一段时间，着意和一些Stanford出来的华人工程师交流了解这家公司，有些粗浅的认识，让之前的神秘少了几分。

1，palantir的业务发展速度确实很快， 除之前拿下的部分政府的项目外，最近获得不少金融行业的项目，也是很多硅谷优秀工程师的首选对象。但是政府项目的规模比外界传的要小很多，尤其是中国报道的内容让硅谷的人看了有些意外。

2，palantir的主要能力是特定业务场景下的数据分析能力， 尤其是对海量复杂数据的快速处：分类、聚合、可视化，模型能力，同时需要对特定行业领域非常熟悉的业务专家，最好是数据科学家，这个挑战甚至难过对数据的处理。palantir在这个领域做的比较优秀的地方是两个;首先选择非常有挑战性的客户业务场景，是客户比较头痛的业务难题，问题的解决可以非常大幅度降低在传统信息技术的基础设施的投资，缩短问题处理周期，当然付高价格就不是问题。其次，挑选最秀的的硅谷分析师和数据科学家，业务领域的专家，付高于硅谷平均水准工资，加上未上市的股票诱惑，人才保证了项目的交付速度和质量。一句话：高举高打。当然创始人创造的独特的项目交付管理方法对项目的交付效率比较ibm等公司要更迅速和敏捷。

3，目前这种主要基于咨询和技术服务的业务模式， 也消耗了大量的人力资源，内部加班的情况非常多，人员招聘的难度也不断增长，尤其是他们的业务在政府项目领域非常少用华人和外籍人，也有部分工程师人呆一段时间神秘感消失就离开的，这种业务模式本身并不是特别给看好，如果不是创始人神一样的感召力，一般企业不可能做到目前的这个市场价值的。

结合国内行业情况，对我们自己的发展定位，有了更清晰的认识

1，坚持聚焦自己的业务领域： 客户选择很重要，挑战性的项目保证吸引优秀人才的第一条件。当然，大家都会这么想，做的时候就需要决心和投入。

2，改变项目交付管理办法， 围绕客户的核心问题，先忘掉技术本身，探索型的项目就要敢于突破和尝试，对用户业务需要深入洞察。

3，团队协助： 珍惜团队核心资源的有效利用，知识分享和不断总结和学习，做到项目敏捷交付。

4，人才储备和培训， 充分利用各种有效途径从高校吸引适合我们文化的潜质学生，利用项目和实验室加快学习和动手能力。

5 ，忘掉大数据，忘掉palantir 。眼睛盯着客户，耳朵聆听客户，仅仅围绕客户的业务提供快速的有效的数据分析，通过可视化灵活展示业务状况，把技术的问题拿回家研究。

另外，在北卡期间，我拜访了另外一家比较老牌的高级商业分析领域的领导者——SAS公司，和SAS公司的华人高管做了交流和沟通，也看到一些变化：

1，SAS推出了全新架构的产品vaya， 以适应新的数据环境比如内存计算性能要求等，并高度重视可视化部分，这点和Palantir都是一样的，非常注重分析结果在客户决策中的直接应用。

2，把机器学习在产品中的应用提高到新的高度。

当创始人Jim Goodnight看到Google阿尔法狗战胜棋王时，写了一份邮件给高管：

we are leaving behind!!!，三个叹号说明对这个骨灰级的数据分析起家的创始人严重关切这些新技术的应用，我们自己的产品研发过程中需要非常认真对待机器学习技术的应用。数据技术的应用环境可能比我们想象的变化要快，我们要处理的数据量和复杂性增速会倒逼我们的效率必须更高。

End.