Xperiaにも搭載、MediaTek製チップでベンチマーク不正が発覚

チップメーカー、MediaTek製チップでベンチマーク測定時の「チート」が発覚した模様です。

AnandTechが独自に行った検証により明らかになったもので、事の発端はHelio P95搭載の欧州版「OPPO Reno3 Pro」とDimensity 1000L搭載の中国版「OPPO Reno3」のベンチマーク比較。

Helio P95は2年以上前のミッドレンジ向けチップで性能的には最新のDimensity 1000Lよりかなり格下のはず。

にもかかわらず、ベンチマークスコアではHelio P95の方が高スコアをだしており、「これはおかしい」となったようです。

検証の結果結果、この疑惑のチップを搭載した機種ではPCMarkや他のベンチマークアプリを検出した際に動作を向上する「スポーツモード」を搭載していることが判明。

そのため、このスポーツモードを回避する特殊仕様のAPKで同じテストと行ったところ、ベンチスコアは約30%低くなったとのことで、つまりはこの30%がベンチマーク測定時のみに不正にブーストされていた、ということになります。

Xperiaを含むほとんどのMediaTekチップで？
MeidiaTek「他もやっている」→Qualcomm「うちはやっていない」

Xperiaを含むほとんどのMediaTekチップで？

なお、この動作はOppo製スマートフォン以外の機種でも幅広く確認された模様。

同サイトによると、MediaTek P95だけでなくXperiaなど、他の複数の機種でこの事実が判明。

よって、このベンチマークチートは各メーカーではなくMediaTekが主体となって行っていた、と結論付けているようです。

なお、このMediaTek製チップは新型Xperiaでは2月に発表されたXperia L4にも搭載されています。

ただ、AnandTechによるとOPPO Reno3 Proに関しては最近のアップデートでこのコードが消されていた、とのこと。

よって、現状でどの程度最近の機種、ファームウェアでこの「sports mode」が稼働しているかは不明です。

MeidiaTek「他もやっている」→Qualcomm「うちはやっていない」

なお、この件にはまだ続報があり、MediaTekはこの件について:

If they were to review other devices, they would see, as we have, that our key competitor has chipsets that operate in the exact same way — what AnandTech has deemed cheating on device benchmarking tests.

要は、AnandTechがチートとしている行いは主要競合メーカーも同じことをしている、というコメントを発表。

つまり、ベンチマーク測定時用に「スポーツモード」を搭載していることは事実上認めたことに。

ところが今度は「主要ライバルチップメーカー」であるクアルコムがこの件に対してコメント。

Whitelisting refers to the technique of using the app name to determine whether to put the device into performance enhancement mode,” the company explained.
“The action of whitelisting a benchmark app is generally considered by the industry as cheating since it defeats the purpose of a benchmark, which is to reflect user experience for day to day use. Qualcomm does not whitelist.

特定のアプリを走らせる時のみパフォーマンスを向上する「ホワイトリスト」は一般的に業界では「チート（不正）」であり、クアルコムではこのようなことは行っていない、とのこと。

MediaTekも「他もやっている」と反論したまでは良いのですが、その「他」がこれを完全否定するという形に。

ただ、主要チップメーカーにはまだサムスンやHuaweiも存在するので、今後これらのメーカーのチップでも同様のベンチマークチートが発見される、という可能性もゼロではなさそうです。

それにしても、スマートフォンのメーカーがファームウェアレベルで特定アプリ動作時のパフォーマンスを上げるためのプログラムを組み込む、という事例は過去にも複数ありましたが、チップメーカーが率先してこういったことをしていた、というのはちょっと驚きです。

ソース