痛别“爬虫”后，大数据行业的替代方案又在何处？

9月，魔蝎科技、公信宝、聚信立等第三方风控行业头部公司相继被调查或被波及，使得整个行业主要爬虫服务出于避险考虑基本暂停。

虽然监管意在治理“套路贷”“超利贷”等违规贷款产品，但是大部分爬虫服务暂停的影响却波及到全行业。

一位消费金融行业资深风控人士告诉零壹财经，据他了解，银行类机构在此次事件中受影响的数据线大约在10%左右，其他非持牌金融机构受影响的数据线更是高达50%。

数据缺失，迫使整个消费金融行业进行风控策略的大调整。

痛别爬虫

“爬虫，是整个大数据风控行业的灵魂。”一位大数据风控公司人士指出，大多数大数据风控公司本身并没有那么多数据。

因为数据是从业务当中来的，但是有大量数据源的机构实际上并不多，多数大数据风控公司的数据是靠爬虫爬取。

爬虫服务暂停，消费金融行业的公司都多少受到影响，其中现金贷是重灾区。

对现金贷来说，受影响最大的有两方面数据：运营商数据和电商数据。

一位网贷平台管理层人士表示，爬虫为风控提供的信息比较广泛，各家网贷公司通过爬虫获取的数据维度都不完全一样，但是在现金贷产品中，运营商数据和电商数据是运用最为广泛的两类数据。这两类数据对714等高炮产品的影响是致命的，因为这些产品的风控对这两类数据依赖极大，对其他现金贷产品影响比714等稍弱。

他解释，一般来说，对于现金贷来说，有三项数据比较关键：运营商数据、电商数据、信用卡数据。

运营商数据，可以通过通话记录客观反映和用户关联的联系人，从而可以用来做催收。

电商数据，由于电商一般会送货到家，这是由真实交易验证过的客户信息，用来做身份验证非常有效；此外，电商的消费情况也可以在一定程度上反映用户的消费能力，从而评估信用。

信用卡数据，则是非常核心的金融借贷信息，判断用户信用直接有效。

但是，运营商数据和电商数据很难通过爬虫之外的途径获取，因此提供现金贷的公司一般都通过爬虫来获取这些数据。

“由于监管较严，并不是谁去接数据，运营商或者相关的三方风控服务都愿意提供，往往要求资质。而且，运营商提供的数据都不是原始数据。电商数据则非常难接，比如阿里自己就有贷款产品，它只为自己体系内的产品提供风控方面的支持。”一位风控行业人士透露。信用卡数据，714等公司运用较少，现金贷公司有的会应用，但是应用并不是十分广泛，因此此次影响面不大。

现在，运营商数据和电商数据的缺失，使得大多数消费金融类公司都不得不调整风控方案。

寻找替代方案

寻找替代方案，是当下最紧迫的问题。

首先被想到的替代方案是自建爬虫团队。但是，据了解，这样做的公司目前并不多。原因是从无到有自建爬虫团队的成本比较高，而且要自建爬虫团队，关键是要挖到合适的人，这方面的人才尚有缺口。

更麻烦的是，自建爬虫团队恐非长久之计。一位风控行业资深人士告诉零壹财经，如果自建爬虫团队，还是涉及到爬取数据违规、侵犯个人隐私的问题，问题在“强制授权”上，而不在“雇佣第三方爬”还是“自建团队爬”上。

自建爬虫团队的想法被放弃之后，能不能接入别的数据源，成为首先被考虑的方向。

国庆节前后，许多有现金贷产品的公司在密切接触能够接触到数据的机构。这次受影响不大的机构，如银行、BATJ旗下金融科技公司、头部P2P平台、消费金融公司等被摸了一圈。

有业内人士透露，目前接入头部P2P公司、消费金融公司可能是比较好的替代方案。“要和银行对接，起码要6个月之后，时间太长，等不起。BATJ这些机构都不会给我们接，只有一些头部P2P机构愿意和我们谈，而且对接时间也不用太长。”他透露。

这其中，机构之间的相互对接，都开始“看身份”。

一方面，一些有数据源的机构只愿意与持牌金融机构合作；一方面，持牌金融机构，也要看合作方是否获得了合法的数据源授权。

不过，耐人寻味的是，事实上最为合规、并且被认为是大数据风控未来方向的替代方案——联合建模，虽然目前市场热度有所上升，但是身处其中的公司，差异却很大。

联合建模“冰火两重天”

国庆节后，零壹财经询问多位联合建模业内相关人士，业务量是否有大幅度提升，得到的回答不尽相同：有的公司销售电话被打爆，有的公司只是业务的询问量有一定程度的上升、签单量也有上升，但是实际成交量并没有“暴涨”。

联合建模是大数据风控行业最为合规的业务，2015年前后就已经在市场上出现。

一位业内人士表示，其实最早联合建模的出现，就是为了解决一个问题——很多数据对金融机构的风险控制很有用，但是出于用户隐私保护的因素，这些数据没法拿到，没法被金融风控业务运用。

联合建模的最终目的，就是既保护用户隐私、又控制好金融风险，因为这项技术可以在双方数据不出本地的情况下，运用数据建立风控模型。

但是，在此次大部分主流厂商的爬虫服务暂停之前，联合建模市场并不大。

据业内人士估计，业内用联合建模这种方案进行风险控制的公司大概只占四成，六成的公司都是通过爬虫获取数据。这其中的原因有两个：

一个是成本，联合建模的成本比较高，比如联合建模一个模型就需要至少10万元，质量好一些的联合建模，加上商务洽谈产生的费用至少30万，有的则可能高达50万，对规模较小的公司来说并不划算。

另一个原因是数据，不少金融公司主要是看重外部的一些重要数据源，而不是建模能力。而在实际业务中，缺乏数据源的联合建模，其效果也不是特别好，在市场上缺乏竞争力。

此次联合建模公司处境差异大，其原因主要在“数据”。虽然全行业都在寻找替代方案，但是大家都是在寻找可替代的数据源。“虽然说是在找联合建模，但其实如果你有独特的数据源，别人才会和你联合建模。如果你没有，只有技术，那就不行。”一位行业人士坦言。

多位业内人士透露，还有一个独特的现象是，联合建模这个领域，做得好的公司“闷声发大财”，市场上几乎看不到他们的宣传。而在到处做市场推广的公司，实际上业务做得并不多。“因为那些做得好的公司不需要宣传，全行业都知道他们。”他表示。

不过，随着监管的加强，联合建模被业内认为确实是未来的方向。因为随着对数据合规的监管日益严格，联合建模将成为不得不选择的方案。

虽然现在很多做联合建模业务的公司都还在A轮和B轮的阶段，大多数规模还很小，但是有行业人士预测：“未来三年，联合建模应该会越来越热，可能变成‘红海’，而且会逐渐形成比较明显的行业格局。”

推荐阅读：

Fintech竞争白热化，这10大玩家挤入工信部大数据企业50强榜单

阿里云“偏爱”长亭科技，网络安全新范式指日可期

从Ripple看区块链的十年：数字金融的阶段性革命将如何开启？

本文已标注来源和出处，版权归原作者所有，如有侵权，请联系我们。