BuzzFeed News（１） ナショナルバイアスとオリンピック
この記事は、自動翻訳されたものです。本文は翻訳文の下にあります。原文へのリンクはこちらです→https://www.buzzfeednews.com/article/johntemplon/the-edge
※羽生選手ファンのSIENNAさんがご自分のブログで詳しく翻訳されています。自動翻訳よりわかりやすいです。→https://ameblo.jp/sienna12/entry-12387355733.html
トップレベルのフィギュアスケート審判員は、常に自国のスケーターを支持しています。今、それらの裁判官の多くはオリンピックにいます。
スポーツのトップレベルでは、ジャッジは自国のフィギュアスケーターに高い評価を与えます。BuzzFeedNewsのデータ分析によると、場合によっては最終結果に影響します。そして、自国のスケーターを最も一貫して後押しした16人の審査員が今週平昌に来て、オリンピックの歴史を決定します。 今週、世界のトップスケーターが韓国に集結し、オリンピックの栄光に向けてジャンプ、スピン、ツイストを繰り広げる中、彼らの成功を決定する要因はトリプルアクセルだけではないかもしれません。BuzzFeed Newsの調査によると、スポーツの最高レベルでは、多くの場合、ジャッジの母国に有利になるように得点が傾いています。 3人の著名な統計学者と協議して開発された排他的な分析で、BuzzFeed Newsは1年以上の得点データを計算し、自国のスケーターを後押しする裁判官がスポーツにあふれていることを発見しました。集合的に、米国やロシアなどのスポーツの大国の審査員は、一貫して自分のスケーターをアップスコアしました。韓国の冬季オリンピックの48人の審査員のうち16人は、自国の好みのパターンを示しているため、偶然に発生する確率は100,000分の1未満です。これらの裁判官には、ロシアから送られた3人すべて、中国から3人、カナダと米国から2人ずつが含まれます。 本国の選好は長い間噂されてきましたが、BuzzFeed Newsの統計分析は初めて、本国の選好がスポーツを苦しめているという圧倒的な証拠を提供します。分析によると、1人のジャッジの得点によって、最終的なランキングでのスケーターの立場に違いが生じる可能性があります。 ナショナルバイアスの明確な傾向が見られます」と、ロイヤルダッチスケート協会は昨年秋に宣言しました。 提案を作成したオランダの裁判官Jeroen Prins氏は、国内のバイアスは「十分にチェックされていない」と述べた。「多くの人が懸念を共有していると思います。なぜなら、私たちは審査されたスポーツにおいて信頼性が必要だからです。 高いホームカントリースコアはそれ自体ではなく、裁判官が意図的に同胞の地位を上げようとしていることを示しています。スコアは、たとえば、地域のスタイルのスケートの好み、またはジャッジが特別な注意を払ったスケーターに対する傾向、または単に愛国心さえ反映している可能性があります。裁判官は、彼らが一貫して彼らの同胞をアップスコアしたことに気づかないかもしれません。そして、BuzzFeed Newsと話をしたスケート関係者の大多数は、審査のスキャンダルがISUに行動を促す2002年のソルトレークシティ冬季オリンピック以来、審査の質が向上したと述べました。 しかし、システムには大きな問題が組み込まれたままであり、現在および以前の役人は次のように述べた。各国のスケートプログラムは独自の裁判官を選ぶ。米国フィギュアスケート協会はオリンピックに出場するアメリカの裁判官を選択し、ロシア協会はロシアの裁判官などを選択します。当局によると、このプロセスはバイアスに対するインセンティブを生み出す：全国連盟は、スケーターに最高のスコアを与えるジャッジを求めている。ジャッジが「好きではないことをすれば、彼らの国は彼らを削除して別のジャッジを任命するだけだ」と、元米国国民レベルのスケーターであるティム・ガーバーは語った。 ISUは、BuzzFeed Newsの分析についてコメントすることも、組織が裁判官をどのように評価し、規律するかについての詳細な質問に答えることを拒否しました。では簡単な声明、ISUは、それが「密接にすべてのISUフィギュアスケートイベントの判定を監視し、場所で堅牢な評価および報告の手順を持っている。」と述べました さらに、「ミスを犯したり、スケーターをマークしすぎているジャッジは警告を受け、ISUによってペナルティを受ける可能性がある」と付け加えた。現役人によると、今シーズン、ISUは審査員を評価する際に「バイアス」を探すよう役人に求めた。 ISUの手順の重要な要素の1つは、スコアが「廊下」と呼ばれるものの外側にあるジャッジにフラグを付けるアルゴリズムです。つまり、パネル上の他のスコアの平均を上回るまたは下回るバッファゾーンです。しかし、裁判官を監督し、彼らを制裁するかどうかを決定することを任務とする2人の元高レベルISU職員は、BuzzFeed Newsに、廊下が非常に幅が広く、極端な異常値のみを捕らえたため、アルゴリズムは無効であると語った。この主張をテストするために、BuzzFeed NewsはISUのアルゴリズムを再作成し、スコアにフラグを立てることはほとんどないことを発見しました。 さらに、ISUのシステムは一度に1つのパフォーマンスのみを監視します。結果として、多くの公演で一貫してホームカントリーのスケーターにささやかな後押しを与える審査員は検出されません。 2011年にイタリアの裁判官が同僚の得点を記録しているように見えるビデオで逮捕されたときのような重大な場合を除いて、ISUは伝えた警告や制裁を公表しません。ISUは、BuzzFeed Newsが自国のスケーターを他のジャッジの平均スコアより上にマークする一貫したパターンを示していると判断したジャッジのバイアスを認めていないことを知っています。 何十年にもわたって組織に勤務してきた6人の元トップレベルISU職員は、裁判官の出身国の選好を管理することは常に課題であると認めていました。「この問題を解決しないと、元ISU高官の1人は、「手に負えなくなる可能性があります」と述べました。 「誰もが自分の国を表彰台に見たいと思っています」と、国際的な裁判官を監視する委員会の元メンバーを追加しました。「私が裁判官だったとき、私はスケーターを1つ上の位置に配置していました。」 ISUは10年以上にわたって、どの審査員に授与されたかを特定せずにスコアをリストしました。しかし、それは、2016年から17年のシーズンの初めに変化し、ISUは、ジャッジがそれぞれのスコアを与えたリストの以前の慣行に戻った。ISUは声明の中で、「匿名性の取り消し」は、「審査の質だけでなく、バイアスも追跡することを可能にします」と述べました。 変更が実施されたときから2017年12月までのすべての主要な国際大会からすべてのスコアリングデータを収集しました。審査員のスコアとそのパネルの他の審査員によって与えられたスコアの平均との差を調べました。（分析の詳細については、こちらをご覧ください。） すべての裁判官が母国のスケーターを好むパターンを示したわけではありません。しかし、分析では、スポーツ全体で、国家主義的な選好が一般的であることが示されました。1,600を超えるパフォーマンスで、平均してフィギュアスケートの審査員は、ホームカントリーのスケーターに3.4ポイントのアドバンテージを与えました。これは、プログラムによっては、最終オリンピックの最終スコアが40から220以上に及ぶスポーツの合計スコアのわずかな割合です。しかし、このような小さな違いでも最終結果が変わる可能性があることがわかりました。 スケート競技では、男子、女子、ペア、アイスダンスなど、すべての国での選好が見つかりました。この現象は、スポーツを支配している国で特に顕著です。中国の裁判官は平均して、中国のスケーターに4.6ポイントの上昇を与えました。これは、分析されたデータセットBuzzFeed Newsで少なくとも50の自国の判断を持つ国の中で最大です。イタリア、ロシア、アメリカ、カナダはすべて、スケーターに3.4ポイント以上のブーストを与えました。 統計分析では、審査員の技術的な熟練度や、特定のパフォーマンスに対する正しいスコアがどれくらいかを判断することはできません。その代わり、私たちのアルゴリズムは、同じパフォーマンスを司る他のジャッジの平均よりも、ジャッジが一貫して自国のスケーターを採点するかどうかを明らかにします。 私たちは意図的に非常に高い水準を設定しました：リストに掲載するために、個々の裁判官は、ホームカントリーのスケーターをマークする一貫した明確なパターンを示さなければなりませんでした。偶然に発生した確率は100,000分の1未満でした。つまり、同胞を数回しか採点しなかったジャッジは、たとえそのたびにそれぞれの国のスケーターを強く支持していても、現れないかもしれません。 もちろん、統計だけでは、裁判官が同胞に高いスコアを与えた理由を説明することはできません。現在の裁判官および元裁判官とのインタビューによると、多くの要因が関与している可能性があります。文化の違いにより、裁判官は世界の彼または彼女の地域で一般的なスケートのスタイルを好む傾向があります。ジャッジは自国のスケーターをよく知っており、彼らがスポーツで成長し、全国大会で頻繁にジャッジし、彼らのルーティンに慣れる-ジャッジがスコアを上げるのにつながるすべての要因。前の関係者によると、一部の裁判官は、自国のスケーターが「朝食を食べた」ことを知っています。 ジャッジは、彼らがスポーツで成長するのを見て、母国のスケーターをよく知っています。 しかし、より多くの不吉な力も働く可能性があります。少なくとも3人の現ISUおよび元ISU当局者は、裁判官が時々共謀して特定の国を下院し、他の国を上院に送ると述べた。コーチと裁判官は、しばしば彼らの国からのスケーターのために、時には微妙に、時には露骨にロビー活動をします、とこれらの当局者は言いました。また、場合によっては、特定のスケーターの得点はほとんど事前に決められていると彼らは言いました。 「5〜6人が、自分がやろうとしていること、マークする範囲、チームの後を追う方法に同意しているパネルにいることがあります」と別の審査員は説明しました。そのような場合、彼女は、その共謀に参加せず、したがってスコアがパネル上の他の人と一致しない人は、「実際にはそうではないが、偏っているように見える」と述べた。 これらの27人の裁判官は10か国にまたがっています。国際審査員としてキャリアを始めて数年しかいない人もいれば、何十年もそれに取り組んできた人もいます。 この27人の審査員のうち、16人が平昌のオリンピックに選ばれました。（上記のチャートを参照してください。） BuzzFeed Newsは、27人の審査員全員に国内の連盟を通じてコメントを求めたほか、電話、電子メール、Facebook、または職場で残されたメッセージによって審査員自身に連絡しました。米国と中国のスケート連盟はコメントを避けた。 Skate Canadaの広報担当者はメールで、BuzzFeed Newsに次のように語っています。 」ロシアのフィギュアスケート連盟の代表者は質問に答えることを拒否し、「私たちの裁判官は誰もコメントしたくない」と言った。 ほとんどの審査員は、メッセージに応答しなかったか、記録上で発言しないことを選択しました。平昌五輪にコメントした唯一の裁判官は、イタリアのウォルター・トイゴだった。Toigoは無関係な問題で2年間中断されました。彼は明らかに別の裁判官のマークをコピーしているように見えました。しかし、私たちの分析では、彼は別の理由で際立っていました。彼は母国のスケーターに平均7.5ポイントのアドバンテージを与えました。これは私たちのリストに載っているオフィシャルの中で最大です。「誰もが異なる意見を持っているので、私たちが見ることができるものを判断します」とToigoはBuzzFeed Newsに語った。「私たちは人間であり、機械ではありません。私が思うに判断します。すべてのスケーターと一貫性を保つよう努めています。」 Toigoの停止（彼は「同意しなかった」と彼が言った）を除いて、ISUは27人の裁判官のいずれも公的に認可していません。 ISUは、ソルトレークシティオリンピックでの投票取引計画が公のスキャンダルになった2002年に、その信頼性に打撃を受けました。それに応じて、ISUは審査システムを全面的に見直しました。 To make scoring less subjective, the ISU put more emphasis on the technical elements of a program. Formerly, judges awarded competitors just two scores on a scale of 0 to 6.0; now, judges evaluate each jump, spin, or step sequence individually on a scale from –3 to +3, which is then adjusted for difficulty. They also grade five different artistic components of the program. A skater’s final score is a complex calculation based on the scale of difficulty of the program and an average of the judging panel’s marks. The highest and lowest scores for each aspect are tossed out to lessen the influence of outliers. Since the 2002 scandal and the introduction of the new judging system, the sport has been largely cleaned up, said Charles Cyr, the ISU’s sports director for figure skating. “It’s a new breed of judges. Let me tell you they’re not wilted lilies,” he said. “The old guard of judges from 15 or 20 years ago have retired and gone,” he added, taking with them “the old adage of ‘I have to do what my country says.’” “I heard judge after judge going up to the microphone and say, ‘I want to be accountable for my marks. The good judges have nothing to hide.’” “Anonymous judging was the worst mistake ever made by the ISU,” said Sonia Bianchetti, an ISU hall of famer who used to serve as a judge and technical committee chair. The change made it almost impossible to see if judges were making errors or regularly scoring their own skaters higher, she said. It was a stark change from the 1970s, when she led the successful effort to suspend all Soviet judges for an entire season because they had demonstrated repeated national bias. When the Russian skater Adelina Sotnikova beat out Korea’s Yuna Kim for the women’s gold medal at the Sochi Olympics in 2014, one of the Russian judges sparked an uproar when she was seen hugging Sotnikova backstage after the win. The Korean skating federation accused the Russian federation of an ethics violation for appointing that judge, who was married to the former head of the Russian skating federation. The ISU dismissed the complaint. Two years later, at the 2016 ISU Congress in Dubrovnik, Croatia, skating federations voted almost unanimously to end anonymous judging. “I heard judge after judge going up to the microphone and say, ‘I want to be accountable for my marks,’” said John Coughlin, a 2012 US national champion who currently serves on one of the ISU’s technical committees. “The good judges have nothing to hide.”Matthew Stockman / Getty Images Mirai Nagasu competes in the women's short program during the 2018 Prudential US Figure Skating Championships at the SAP Center on Jan. 3 in San Jose, California “Almost impossible to get flagged” The ISU has its own algorithm for catching scoring errors or potential bias — but some insiders say it is not effective. “The corridor is so big that it’s almost impossible to get flagged,” said a former ISU technical committee member. “The judges really know how do it — how to play within that band,” said another former ISU technical committee member. “It’s quite a huge margin that the ISU allows,” said a former high-level member of a national federation. To see if these claims were valid, BuzzFeed News recreated the ISU system that highlights scores far above or below the average — or outside the corridor, in skating parlance. Public ISU documents describe the system in detail, and BuzzFeed News translated that description into a computer algorithm. We consulted with Prins, the Dutch judge, and academic literature to verify our interpretation. We also shared a draft of our methodology with the ISU, which declined to confirm or correct it. We found that the ISU’s system would have flagged barely 1% of all scores for technical elements and an even smaller fraction of scores for artistic components. Unlike our analysis, the ISU’s system only looks at one performance at a time, flagging any scores that fall far enough from the average. So if, during a particular competition, one judge gave a skater from her home country a much higher score than any of the other judges on the panel, the algorithm would detect that anomaly, and members of the technical committee would follow up to determine if the outlying score was the result of error or bias. But the algorithm does not track patterns across time. So it wouldn’t flag a judge who consistently gave skaters from her home country a less noticeable boost across many different performances or even many years. A review of the ISU’s online disciplinary records shows that there have been no major punitive actions over the last decade explicitly related to judges scoring their home countries’ skaters higher. However, the ISU does not release information when a judge receives more minor sanctions — such as a “letter of criticism” or an “assessment.” Cyr defended the ISU’s decision to keep these evaluations private, comparing them to a company’s internal disciplinary records of its employees, but other current officials said greater transparency would improve the sport. “If the ISU did make these people public, they’d get better,” said one former high-level ISU official. After the 2014–15 season, the ISU stopped publishing even the total number of assessments it hands down. Within the ISU, responsibility for evaluating judges falls mainly to two technical committees, each a panel of three international judges, an athlete, a coach, and a chairperson. These committees wield considerable power: Not only can they recommend sanctioning a judge, but they can also set new rules in the sport and determine the list of qualified judges for each season. At every international competition, referees help oversee judges. Referees score each skating performance independently from the judges, and they can recommend that a technical committee give additional scrutiny to a judge. “They’re not policing it,” said a former skating official. “It’s all a bit farcical.” High-level ISU events, such as the World Championships or the Olympics, include an extra layer of oversight for judges. A pair of observers, known as an Officials Assessment Commission, reviews any outlier scores flagged by the ISU’s algorithm. The technical committee can then recommend a letter of criticism or assessment to the judge. That recommendation must be approved by the sports director. Repeated assessments can lead to a suspension or a demotion. Some officials said that the system for overseeing judges had enough checks and balances to protect the integrity of competitions. “The judges know that even though the event is done, their marks are going to be scrutinized,” the ISU’s Cyr said. But others officials refuted that claim. In interviews, officials said they couldn’t recall a judge who the ISU had booted out for good. “They’re not policing it,” said a former skating federation official. “It’s all a bit farcical.” Our analysis shows that just one judge can influence the final results. One example: At the men's competition at the Progressive Skate America in October 2016, Russian judge Maira Abasova scored her compatriot Sergei Voronov higher than any judge except for one. Abasova’s score helped boost Voronov into fourth place overall, just 0.20 points ahead of Boyang Jin, a Chinese skater, in the final standings. It’s impossible to know why Abasova gave the scores she did, but replacing her marks with the average of the other judges would have dropped Voronov into fifth — behind Jin. Abasova could not be reached, but BuzzFeed News sent a letter with detailed questions to her through the Figure Skating Federation of Russia. A federation representative declined to comment or make the judge available for an interview but said, “Abasova is aware of the letter and has no comment.” A former high-level ISU official said that it was common to push one’s own skaters, explaining, “If you don’t do it, if you don’t join in the game, then you get left behind.” ●
自分のスケーターをアップスコアリングするジャッジに対する懸念は、スポーツ内で広く見られ、20人以上の現在および元のジャッジ、コーチ、およびスケーターとのインタビューが明らかになった。「オランダのバイアスの明確な傾向が見られます」と、ロイヤルダッチスケート協会は、昨年秋に、国際スケート連盟、または世界のフィギュアスケートを運営するグループであるISUへの提案を発表しました。ISUは、6月の年次総会でこの提案を検討する予定です。
BuzzFeedニュース分析
審査は難しく、スローモーションリプレイの恩恵を受けることなく、公演者がパフォーマンスのさまざまな技術的および芸術的側面をリアルタイムで評価する必要があります。ジャッジが座っている場所でさえ、パフォーマンスの見方、ひいてはスコアに影響を与えます。ホームカントリーの好みを示す裁判官は、ダブルルッツまたはつま先のループの要素を評価するのに優れているかもしれません。インタビューした当局者によると、27人の裁判官の一部は、技術的な洞察力と公平さの両方で高い評価を受けていました。
裁判官
統計分析では、裁判官が特定のスコアを与えた理由を特定できません。しかし、何らかの理由で、私たちの分析では200人以上の裁判官のうち、27人が際立っていました。これらの裁判官は、一貫して他の裁判官によって与えられたスコアの平均よりも高いスコアをホームカントリーのスケーターに与えました。これらの27人の裁判官それぞれについて、そのようなパターンがまぐれである確率は100,000に1未満でした。
新しいスコアリングシステム
But with all the fixes that the new scoring system promised, there also came less transparency. In the new scoring system, the ISU made the judges’ individual scores anonymous, on the theory that secrecy would shield them from pressure from their home country federations.
