フィギュアスケートファンの資料庫

フィギュアスケートの採点に納得がいかない、ちゃんと考えたり主張するための資料が欲しい、というとき役に立つようなサイトにしたいと立ち上げました。まだまだコンテンツは少ないですが、だんだん充実させたいと思います。また、書式の不統一や読みにくさにいつてはおいおい改善したいと思いますので、よろしくお願いします。ここで扱うのはシングル競技に絞らせていただきます。

オリンピックのジャッジ問題について スキージャンプとフィギュアスケート(2014年の記事)

https://www.washingtonpost.com/news/monkey-cage/wp/2014/02/12/how-ski-jumping-gets-olympic-judging-right-and-figure-skating-gets-it-wrong/

自動翻訳(原文は下にあります)

スキージャンプがオリンピックの判定を正しくする方法(およびフィギュア スケートが間違って いる方法)

2014年2月12日午後11時27分GMT + 9

これは、ダートマスのエコノミスト、エリック・ツィツェヴィッツによるゲスト投稿です。ベンチマークインデックスや株式報酬などのトピックについて書いていないとき、彼はフィギュアスケートの審査におけるバイアスに関する2つの 論文の著者です。

多分それは水中何かかもしれませんが、ジャーナリストはこのオリンピックの腐敗に特に興味があるようです。そして、オリンピックは協力しています。最初の週の半ばには、1998年2002年のスキャンダルを思い起こさせる、スロープスタイルの審査に対する批判と、フィギュアスケート投票取引スキームのはるかに深刻な申し立てがあります。  

判断されたスポーツでは、ある程度の偏りはおそらく避けられません。問題は、スポーツがそれを制御するために何かできるかということです。他の点では真面目なアカデミックエコノミストとして、私オリンピックジャッジに興味を持ちました。人々のグループがどのように決定を下すかについて興味があったからです。金メダリストを選ぶ裁判官のグループは、少なくとも誰を雇うかを決定する委員会に少し似ています。個々のメンバーはそれぞれ決定について独自の意見を持ち、これらの意見は貴重な情報とメンバーのバイアスの両方を反映しています。問題は、これらの意見をどのように組み合わせ、どのようにしてメンバーが可能な限り偏見のないインセンティブを作成するかです。スキージャンプとフィギュアスケートの両方に、国家主義的な判断バイアスがあり、裁判官は自国の選手に高いスコアを与えます。しかし、スポーツはこれに対処するために非常に異なるアプローチを取ります。スキージャンプでは、国際連盟がオリンピックなどの競技会の審査員を選択しますが、バイアスの最も少ない審査員を選択していることがわかります。フィギュアスケートでは、その全国連盟が裁判官を選択することができます。

これにより、審査員にさまざまなインセンティブが与えられます。スキージャンプジャッジは、下位レベルの競技ではナショナリズムをあまり示しません。オリンピックを判断するチャンスを逃さないために、重要性の低いコンテストでナショナリズムを包み込みます。フィギュアスケートの審査員は、実際には少ないコンテストでより偏っています。彼らは実際に彼らの連合からの圧力のためになりたいと思うよりもより偏っているかもしれません。

ナショナリズム的に偏っているにもかかわらず、スキージャンプの審査員は公平性に関心があるようです。同胞の裁判官を持つことは、実際にはスキージャンプの利点ではありません。同胞からより高いスコアを獲得している間、他の4人の審査員はあなたのスコアをこれまでよりもわずかに下げ、あなたをより良い(または悪い)オフにすることはありません。逆は、フィギュアスケートで発生します。同胞のジャッジがいるフィギュアスケーターは、そのジャッジからより高いスコアを獲得するだけでなく、他のジャッジからも平均してより高いスコアを獲得します(パネルに表示されていないイベントと比較して)。これは、1998年、2002年のオリンピックで発生した投票取引の証拠です。また、伝えられるところによれば、2014年に行われています。スケーターは、他のイベントのパネルに同胞審査員を配置することからも恩恵を受けます。

スポーツの機能不全は、2002年の審査スキャンダルにどのように反応したかによっても明らかになります。国際スケート連盟は、審判団の規模を拡大する(少なくとも一時的に)、採点システムをより客観的にするなど、いくつかの賢明な改革を行いました(一部の人は行き過ぎだと考えていますが)。しかし、彼らの反応の大部分は、偏見の証拠を隠すことで構成されていました。ISUは、どのジャッジがどのスコアを与えたかを明らかにすることをやめ、競合他社やファンがジャッジメントが公正であるかどうかを確認することをより困難にしました。ISU は以前の競技会のオンラインスコアシート変更し、どの裁判官がどのスコアを与え、各裁判官がどの国を代表するかさえわかりにくくしました。彼らは12人の裁判官の3人からスコアをランダムに落とし始めました。統計学者なら誰でもわかるように、12個のスコアのうち9個の平均は、本質的に12個のスコアの平均に乱数を加えたものです。イェール統計学教授のジェイ・エマーソンが、ある場合にはこのランダム性がメダルを獲得した人を変えたことに気づいたとき、ISUはスコアシートで報告された順序をスクランブルすることで応答したようです。この変更の唯一のもっともらしい目的は、ランダム性が結果に影響を与えたケースを特定するのを難しくすることでした。これらはすべて、問題を解決するのではなく、問題を隠すことに重点が置かれていることを示唆しています。

過去のスコアシートのスクラビングとランダム化は弁護するのが非常に困難ですが、ISUは、裁判官の匿名性は、裁判官が秘密裏にそれらを簡単に破棄できるようにすることで、実際に投票取引の防止に役立つと主張しています。この議論は、選挙での秘密投票や議会での音声投票でも基本的に同じであり、そこでは外部の影響から有権者や議員を保護することを目的としています。ただし、匿名性は、部外者による監視から裁判官を保護します。匿名性が導入された後判断バイアスが約20%大きくなったことがわかります。この場合、透明性がより良いアプローチであることを示唆しています。

これらすべての結果の中で、私はスキージャンプの審査員が互いの偏りを取り消すことと、フィギュアスケートの審査員がそれらを強化することとの対照に最も興味をそそられます。職場のグループで意思決定を行うとき、特定の種類の求職者を雇うなど、強い偏見を持つ個人に遭遇することがよくあります。するとき、私たちには選択肢があります。私たちは、物事を公平に保つために、スキージャンプの審査員のように行動し、偏見に抵抗することができます。または、フィギュアスケートの裁判官のように行動して、「この男をジョーに雇うことは本当に重要だと思うので、私が一緒に行けば、彼は私に何を返すのだろうか」と言うことができます。私たちはおそらく、私たちの生活の中で両方の例を見てきたでしょう。

同僚から「スキージャンプ」または「フィギュアスケート」のどちらの行動をとるかは、何によって決まりますか?インセンティブはストーリーの一部であり、組織文化はそれらのインセンティブの作成に役立ちます。有能な投票トレーダーが精通したオペレーターと見なされるか、組織の使命を損なう誰かと見なされるかは、部分的に価値の問題です。しかし、文化は人々が直面するインセンティブの産物でもあります。「熟練したオペレーター」が世界で上に上がるかどうかは、そのスキルが尊重される程度に影響します。

エコノミストとして、フィギュアスケートの審査員のインセンティブを修正する方法を知っています。文化の修正はより困難ですが、私の希望は、インセンティブを正しく得ることができれば、文化が最終的に続くことです。

How ski jumping gets Olympic judging right (and figure skating gets it wrong)

Feb. 12, 2014 at 11:27 p.m. GMT+9

This is a guest post by Dartmouth economist Eric Zitzewitz. When not writing about such topics as benchmark indices and equity compensation, he is the author of two papers on bias in figure skating judging.

Maybe it’s something in the water, but journalists seem especially interested in corruption this Olympics.  And the Olympics are cooperating:  halfway through the first week, we already have criticism of the slopestyle judging and far more serious allegations of a figure skating vote trading scheme reminiscent of the scandals in 1998 and 2002.

Some amount of bias is probably inevitable in judged sports.  The question is, can a sport do anything to control it?  As an otherwise serious academic economist, I got interested in Olympic judging because I was interested in how groups of people make decisions.  A group of judges picking a gold medalist is at least a little analogous to a committee deciding whom to hire.  Individual members each have their own opinions about the decision, and these opinions reflect both valuable information and the members’ biases.  The question is how to combine these opinions, and how to create incentives for members to stay as unbiased as possible.

Both ski jumping and figure skating have nationalistic judging biases, where judges give higher scores to athletes from their countries.  But the sports take very different approaches to dealing with this.  Ski jumping has its international federation select the judges for competitions like the Olympics, and I find that they select the least biased judges.  Figure skating lets its national federations select the judges, and my research showed that they select the most biased judges.

This creates different incentives for judges.  Ski jumping judges display less nationalism in lower-level competitions — it appears they keep their nationalism under wraps in less important contests to avoid missing their chance at judging the Olympics.  Figure skating judges are actually more biased in the lesser contests; they may actually be more biased than they would like to be due to pressure from their federations.

Despite being nationalistically biased, ski jumping judges appear to care about fairness.  Having a compatriot judge is actually not an advantage in ski jumping.  I find that while you get a higher score from your compatriot, the other four judges lower your score ever so slightly, leaving you no better (or worse) off.

The reverse happens in figure skating.  Not only does a figure skater with a compatriot judge get a higher score from that judge, but they also get higher scores on average from the other judges, too (compared with events when they are not represented on the panel).  This is evidence of vote trading, of the kind that occurred at the Olympics in 1998, 2002, and (allegedly) is occurring in 2014.  Most of the benefit of having a compatriot judge actually comes through the vote trading.  Skaters even benefit from having compatriot judges on the panels of other events, which is consistent with the fact that the vote trading we know about is often across events.

The dysfunctionality of the sport is also revealed by how it reacted to the 2002 judging scandal.  The International Skating Union made a couple of sensible reforms, such as increasing the size of the judging panel (at least temporarily) and making the scoring system more objective (although some think they went too far).  But most of their response consisted of hiding the evidence of bias.  The ISU stopped revealing which judge gave which score, making it much harder for competitors and fans to see whether the judging was fair.  The ISU even went back and altered online score sheets from earlier competitions, obfuscating which judge gave which score and even which country each judge represented. They also began randomly dropping scores from three out of 12 judges.  As any statistician can tell you, an average of nine out of 12 scores is essentially the average of the 12 scores plus a random number.  When Yale statistics professor Jay Emerson noticed that in one case this randomness had altered who won a medal, it appears that the ISU responded by scrambling the order that scores were reported on score sheets.  The only plausible purpose of this change was to make it harder to identify cases where randomness had affected results.  All this suggests that the focus has been on hiding problems rather than fixing them.

While the scrubbing of past score sheets and randomization are very hard to defend, the ISU argues that judge anonymity should actually help prevent vote trading deals by making it easier for judges to secretly renege on them.  The argument is basically the same for the secret ballot in elections or voice voting in legislatures, where the idea is to protect voters or lawmakers from external influences.  Anonymity, though, also protects judges from monitoring by outsiders.  I find that judging biases got about 20 percent larger after anonymity was introduced, suggesting that in this case, transparency is the better approach.

Of all these results, I am most intrigued by the contrast between the ski jumping judges undoing each other’s biases and the figure skating judges reinforcing them.  When we make decisions in a group at work, we often encounter individuals with strong biases — say to hire a particular type of job candidate.  When we do, we have a choice.  We can act like a ski jumping judge, and resist the bias, in an effort to keep things fair.  Or we can act like a figure skating judge and say “hiring this guy really seems important to Joe, I wonder what he’ll give me in return if I go along.”  We have probably all seen examples of both in our lives.

What determines whether we get “ski jumping” or “figure skating” behavior out of our colleagues?  Incentives are part of the story, and an organizational culture helps create those incentives.  Whether a skilled vote trader is viewed as a savvy operator, or as someone who undermines the organization’s mission, is partly a question of values.  But culture is also a product of the incentives people face.  Whether the “skilled operators” move up in the world affects the extent to which that skill is respected.

As an economist, I know how to fix figure skating judges’ incentives.  Fixing culture is harder, but my hope would be that if you can get the incentives right, the culture will eventually follow.