华为手机跑分作弊被锤!功耗狂飙 8W 因 AI 技术先进?
9 月 7 日,知名 GPU 测试软件 3DMark 将华为的几款 手机 (包括荣耀品牌 ) 在自家的跑分测试数据库中进行除名。根据 3DMark 的官方声明,这些华为手机存在跑分作弊的情况,严重混淆自家基准测试数据库的正常排行。目前已经移除的几款华为手机分别为华为 P20、华为 P20 Pro、华为 Nova 3 和荣耀 Play。
很显然,这与 9 月 4 日时知名权威评测站 AnandTech 发表的一篇文章《Huawei & Honor's Recent Benchmarking Behaviour: A Cheating Headache》有很大关系。在文章,AnandTech 以非常大的篇幅,揭示了华为如何通过软件欺诈的手段进行跑分作弊,称其在跑分时 " 火力全开 " 甚至 " 过火 ",目的只是为了确保华为设备的分数能够保住自身旗舰机的颜面,而不是更负责任和诚实的 营销 自家产品。
那么,到底华为手机有没有作弊呢?华为的回应又是什么呢?你个人对跑分作弊又有什么个人看法呢?
AnandTech 长文揭发华为手机跑分作弊
根据本周早些时候 AnandTech(以及最新 3DMark)的说法,华为手机在其设备上安装了用于检测跑分应用程序是否运行时的软件。所以,在基准测试期间,当这些软件识别运行的是名字为 3DMark 的应用程序时,便将华为手机所有处理性能推到最大,并且完全忽略 TDP 热设计功耗建议,以确保最终跑出一个非常高的分数。可在一般的现实应用中,这种完全顶峰的性能根本无法长期保持。
AnandTech 在进一步测试华为多款机子之后,发现这些机子与测试过的机子相比,无论在性能和功率测试中都给出了十分 " 异常 " 的结果。一般 " 真正的性能 " 状态下,芯片功耗已经达到 3.5-4.4 瓦,但作弊的情况下,华为手机的功率超过 6W,在某些场景中甚至 飙升到疯狂的 8.57W,设备 " 过热 " 程度超乎预期,只为更高的 fps 帧率数值。
因此,AnandTech 经过反复测试和深入研究,判定华为和荣耀手机都作弊了,因为手机内置了跑分模式检测机制,该机制在跑分时可以自动为其 SoC 芯片设置一个超过寻常的上限,从而保证在跑分时功率大增,这个功率超过了跑分工具所允许的负载值,相当于专为跑分工具设计的峰值功率模式,作弊明显,这对于竞品手机而言十分不公平。
AnandTech 在文章中表达了很多观点,称华为手机跑分作弊相当明目张胆,这虽然是不错的营销方式,但其跑分成绩无法反应出实际表现,或者说麒麟 970 的 GPU 每瓦性能本身就很糟糕,实际结果远落后与竞争对手。要想更好地与用户的体验联系起来,唯一的方法就是每一个常规的跑分测试和 游戏 运行时都以标准的功率来进行,而不是为了竞争而提倡不良作风。
3DMark 将华为手机踢出 GPU 跑分排行榜
3DMark 在详细阅读 AnandTech 的文章之后,对之前公布的华为手机的分数进行了自己的调查,结果发现华为作弊分数比正常得分高出 47%,最终决定将华为的设备除名。而随着这些华为设备被移除,它们只会在 3DMark 最受欢迎的智能手机排名中排名中垫底。
3DMark 特别指出,他们对于如何获得实际的跑分成绩有非常明确的规则,然而华为通过软件作弊的形式违反了这些规则。究竟作弊的结果与实际情况有多不同呢?请看下面这张图:
3DMark 母公司 UL 在声明中称,过去多年时间里,很多厂商因为作弊被发现而感到羞愧,然而全球第二大手机厂商华为,仍人为地制造了令人误解的高跑分成绩。" 在我们自家实验室测试这些设备并确认违反了规则后,我们决定将受影响的型号从性能排名中删除。"
华为认为这是先进的 AI 技术而不是作弊
其实在评测站 AnandTech 的文章发布之后,华为就向一些外媒进行了英文回应,大概意思是如下:
- 华为始终优先考虑用户体验,而不是追求较高的跑分——因为智能手机跑分与用户体验之间没有直接联系。华为智能手机采用了 AI 人工智能等先进技术,优化了 CPU、GPU、NPU 等硬件的性能。
- 当启动拍照应用程序或玩图形密集型游戏时,华为智能软件通过充分利用硬件的功能,同时管理设备的温度和功率效率,创造平稳稳定的用户体验。对于像浏览网页那样不那么耗电的应用程序,只会分配必要的资源来提供所需的性能。在正常的跑分测试场景中,一旦华为软件识别了跑分测试应用程序,就会智能地开启‘性能模式’,并提供最佳性能。
- 华为正计划向用户提供 " 性能模式 ",以便他们在需要的时候可以使用设备的最大性能。
- 作为行业领导者,华为愿意与合作伙伴合作,寻找能够准确评估用户体验的最佳基准标准。
可以看出,华为在声明中依然坚持为作弊的做法进行辩护,例如声称 " 华为采用的是先进的 AI 技术 "," 华为正计划向用户提供性能模式,以便他们在需要的时候可以使用设备的最大性能 "," 华为作为行业领导者愿意与合作伙伴合作,寻找能够准确评估用户体验的最佳基准测试标准 " 等等。
概括来说,华为似乎不认为自家软件欺诈跑分工具的举动是作弊的行为,而将极限性能模式其定义为 " 先进 AI 技术 " 的结果,并表示向用户开放这种技术。但华为没有解释为何 " 性能模式 " 暂时只针对跑分工具开启,以及为何手机在跑分时会出现夸张的 6W - 8W 的高功率。另外,华为还希望自家 " 先进技术 " 能改革行业跑分标准。
华为言下之意似乎就是,诸如 3DMark 这类跑分工具之前的标准都相对落伍了,已经赶不上华为先进 AI 调度技术的演进了。
同时,在 9 月 7 日华为与 3DMark 母公司 UL 的联合声明中,虽然双方通过实践进行了全面讨论,并就 " 下一步合作 " 达成了共识,但更多所强调的观点与上述差不多,大概的内容如下几点:
- 华为解释了自家智能手机使用了 AI 人工智能资源调度机制。华为称,由于不同的场景有不同的资源需求,最新的华为手机利用 AI 人工智能等创新技术优化资源配置,使硬件能够最大限度地发挥性能,同时满足所有场景的用户需求。
- UL 理解华为的做法,但反对在设备检测到跑分测试应用程序时,默认情况下强制使用 " 性能模式 ",因为 UL 规则要求设备能够像运行其他应用程序一样运行跑分测试。
- 华为尊重消费者选择如何使用其设备的权利。因此,华为计划将在 EMUI 9.0 中向用户开放 " 性能模式 ",让用户可以选择何时使用设备的最大性能。
- 华为和 UL 也讨论了目前通用的基准测试方法。UL 和华为希望共同参与和发起一场行业运动,制定最能满足制造商、 媒体 和消费者需求的跑分测试标准。
- 为了避免混淆目前的跑分测试结果,经过讨论后,UL 和华为暂时将一系列华为设备的跑分测试分数退市,并将在华为开放用户自主选择 " 性能模式 " 后,才恢复到跑分排行榜中。
吓人的 GPU Turbo 黑 科技 有问题吗?
有一个不得不说的事实是,华为麒麟 970 芯片集成的 ARM Mali GPU,本身的图形处理性能就落后于高通骁龙 845 所集成的 Adreno 630 GPU,因为后者比前者更为节能,所以在跑分时分数更高,游戏中则性能更好,即便是 ARM 最新发布的 Mali-G76 也不会改变结果。
大家已经看到了,在华为麒麟 980 发布会上,其最新发布的麒麟 980 集成的 10 核 Mali-G76 GPU,经过 GPU Turbo 加速之后,尽管超过了高通骁龙 845 的 Adreno 630 GPU,但若除开 GPU Turbo,其性能可能也只能追赶上 Adreno 630 的水平而已,等待实测便知。但是,等到麒麟 980 真机登场,那时高通的下一代 Adreno GPU 又将问世,2019 年高通 GPU 性能仍会继续碾压麒麟。
GPU Turbo 是华为软件级别的解决方案,华为的官方说法是,这一图形处理加速技术能通过软硬件的优化协同,实现了图形处理效率的巨大提升,让性能与流畅度持续突破,保证游戏的帧率与流畅度。
不过,这其中依然摆脱不了对某款游戏的优化,GPU Turbo 关键点就是针对性的优化麒麟芯片在运行某款游戏的电压、频率和功耗,华为会通过使用神经网络训练来实现这一目标,以创建一个 DVFS 配置文件来加载游戏。换句话说,GPU Turbo 其实就是训练一个神经网络,用于判断游戏是否需要更高的 CPU 频率或更多的 GPU 专用功率,以进行硬件最佳优化。
无论华为声称 GPU Turbo 未来的适用范围有多广,例如余承东说 " 有了 GPU Turbo 技术,未来华为的入门级的低端机,也能超越别人中档机的性能,中档机则超越友商的旗舰机,而旗舰级则甩开对手一条街。" 但就目前而言,这项技术仍仅限于华为密切合作的少数几款游戏。
关键是,目前提供 GPU Turbo 技术所带来的好处并不突显,华为的营销有十分明显的夸大成分,对于已经支持的游戏,通常性能和能效提升的只会在 10% 到 15% 的范围内。因此 GPU Turbo 前景虽好,但在扩大游戏数量支持的速度上有限(除国产热游较快外),无法通过单一的 AI 算法来覆盖所有用例。
总之,AnandTech 揭露的跑分作弊模式并不适用于 GPU Turbo,GPU Turbo 也没有体现在跑分中。因为在跑分中的性能提升表现主要以牺牲电量为代价,完全抛开 TDP 限制,长时间保持肯定会在发热、续航和持续性能上出现严重问题,作弊只是一时的性能表现,不会维持在日常体验中。
无论如何,鉴于 ARM Mali GPU 与高通 Adreno GPU 之间的硬件性能差距,华为必须找出更好的替代方案。GPU Turbo 这种基于神经网络的软件优化方案,的确是起到了一定的弥补作用,预计最新的麒麟 980 还会运用得更加出色,但硬件层面上的性能差距仍无法消除,考虑到游戏厂商从来都是基于硬件挖掘性能,而用户对游戏性能的需求从不满足,这只会导致 GPU Turbo 软件解决方案的压力越来越大。
行业跑分作弊不稀奇 而且不难
说完华为,讲真跑分作弊在手机行业并不稀奇,而且华为也不是第一家被发现的公司。早在 2013 年的时候,三星就曾因 Galaxy Note 3 和 S4 跑分作弊,而备受全球范围的大规模批评和指责。更近的 2017 年,一加和魅族也有过跑分作弊的行为。说实话,历年来大部分主流的 Android 厂商或多或少都专门为跑分测试工具进行了 " 优化 ",确保跑分跑出个顶级水平,赢得优势。
专注手机行业的芯片厂商也就那么几家,芯片厂商提供的都是相同的芯片,因此所有作弊的责任必然都在 OEM 厂商身上。令人可悲和感到愚蠢的是,各大 Android 手机厂商以此来误导消费者和媒体,认为用户会依靠跑分来判断产品购买价值,但无论怎么作弊相同的芯片跑分成绩也都相差无几,无非只是提高几个百分点而已,国产厂商最爱玩这套。
跑分作弊风波让业界蒙羞?或许卖产品的厂商不那么认为,因为历史似乎还在上演,很多国产厂商仍在做同样的事情,毕竟作弊太简单了。芯片功耗和性能之间的关系数十年来没有明显改变,续航的死敌是性能,性能越高则耗电越快。为了保证高跑分吸引眼球,厂商只要保证跑分过程中性能处于顶峰或超出即可。
简单的说,作弊只需将其当智能手机运行基准测试应用程序时,自动以软件的形式进行调整,以便芯片达到最极限性能模式,这个极限甚至超出芯片本身限制的功率,而跑完分之后就恢复正常就可以了,几分钟的极限测试发热不低,但并不会耗尽电量。当然了,很多跑分工具都有防作弊机制,例如 Geekbench,但厂商也会尽可能在可作弊的跑分工具中作弊,选择其中几个工具来吹嘘即可达到宣传效果。
为何厂商如此执着跑分作弊?
原因很简单,那就是 " 竞争 "。智能手机市场竞争非常激烈,每一年都有手机厂商崛起或跌倒,甚至不只是失去市场份额,而是直接退出竞争。从今年第二季各大调研机构的统计数据来看,当前国内市场市场五大厂商共占据接近 9 成市场份额,可想这些年倒下的小厂商有多少,即便仍在坚持的厂商,陷入挣扎的同样不少。
大厂商为了保住地位,小厂商为了不被淘汰,大家的目标都是尽一切手断卖出智能手机,但卖手机在新品发布之后的市场营销就显得十分重要了。因为并不是每一个消费者都那么资深,他们不一定了解芯片、屏幕、储存和内存这些东西的规格,也不会花大量时间了解先购机者的体验,反而容易被广告和销售人员打动。
基于这一点,手机厂商开始不惜一切手断的将设备的跑分成绩往上拉,尤其是旗舰手机,以超过同级别的更高分数作为营销卖点,吸引大量未购新机且相对小白的消费者关注。此时,高跑分的营销效果就体现出来了,而且很多买家善于口碑相传,推荐家人和朋友继续入手 " 高性能 " 的设备。
说实话,在 AnandTech 揭发华为跑分作弊的文章中,也在 IFA 展会期间给了华为回应的机会。而在回应中,华为终端消费者 BG 软件工程部总裁王成录也坦诚,国内厂商之间的 " 竞争 " 是罪魁祸首。
王成录对 AnandTech 表示,虽然跑分和用户体验没有直接联系,但对于跑分测试,其他厂商做同样的测试得到高分,华为就不能保持沉默,因为在安卓生态系统中,其他厂商也会用他们的数据来误导消费者。他指出,中国某些知名手机厂商就是最大的罪魁祸首,而且这已经成为 " 中国的普遍做法 ",华为希望向消费者开放,但当竞争对手不断炫耀 " 不切实际 " 的高分数时,华为逼不得已只能以用同样的手法提高跑分数据。
你对作弊跑分有什么看法吗?
现在有不作弊的设备吗?肯定有,而且不少。很早之前 AnandTech 就曾指出,行业内 " 干净 " 的厂商和设备还是纯在的,例如 苹果 和谷歌推出的设备,大多数纯净 Android 体验的设备,基本不会针对跑分工具特别优化,这些跑出的分数均属正常,因此可以作为真实性能的参考。
但话说回来,作弊的跑分真没有多大意义,因为设备根本不可能长时间处于极限性能。三星作弊事件之后高通就已经表示,同等硬件的情况下,跑分高人一筹根本无法真实反映设备的体验如何,也无法体现出设备与消费者相关的属性,因为跑分根本无法测试出设备的实际用户体验。
其实随着三星那一次事件的爆发,这些年大多数机友都开始将跑分看作是娱乐项目了,毕竟跑分永远只是个参考,如今也有厂商不推崇机友参考跑分来选机了,一些厂商甚至故意降低跑分,告诉你跑分无法做到公正公平,应该更注重实际体验。不仅如此,部分国产厂商对性能的描述也都更谨慎了,只要在竞争中落后,就会选择与游戏开发商合作,联合优化游戏体验。
而对于各类跑分软件的参考程度,当今从各位机友的反馈来看,这一次将华为踢出排行榜的 3DMark,尽管在 PC 桌面上仍是跑分标杆工具,但在手机上并不那么吸引跑分党,GPU 的性能测试更多机友愿意选择 GFXBench,而 CPU 性能测试大多则选择 Geekbench。至于国产鲁大师和手机厂商经常秀的安兔兔,机友们表示大可用于娱乐,部分甚至认为背后可以有无底线的调分操作,而 AnandTech 则认为没有任何意义。
总的来说,高跑分作为厂商的营销手段,的确可以带来一定的影响,但这也是最糟糕的做法,华为不但没有排斥这种不良做法,反而还参与进来通过相同的方法打败对手,说到底,在这个跑分局中,每个人都是输家。对于像华为这样规模的公司来说,品牌形象是公司的重要组成部分,仅仅为了高跑分而误导消费者结果只会适得其反。
虽然华为对跑分作弊的辩解是 "AI 调度技术 " 足够先进才导致的结果,并将 " 性能模式 " 开放给用户,但很显然这样做的理由充其量也是站不住脚的,如果余承东口中华为的目标是在销量上超越三星做全球第一,就必须走在前列,真真切切去探讨如何在当前和未来去解决跑分测试与实际体验之间的问题。
最后,对于这几天华为突然被 AnandTech 揭发跑分作弊,接着被 3DMark 踢出 GPU 跑分排行榜,然后华为宣传先进 AI 调度技术特点避开作弊,最后又重新与 3DMark 就 " 下一步合作 " 达成了共识的行为,你的看法是什么呢?
【来源:威锋网】