16 август 2012 г.

11 IMDb срещу Rotten Tomatoes


Последната част за справедливостите и несправедливостите в Top 250 на IMDb касае т.нар. експертно мнение на хората, на които "работата" им е да разбират от кино. Rotten Tomatoes е най-мащабният агрегат за кино-ревюта на тази планета, и оценката там (процентът положителни ревюта за филм) се е превърнала в стандарт за критически успех. Разбира се, не можем да говорим за каквато и да било обективност, защото и критиците са хора със своите разбирания, ограничения, нужди и изисквания, както и редовия imdb-юзър, само дето им плащат, за да гледат филми в промишлени количества. Та въпросът не е, че евентуален критичен Top 250 ще е върхът на обективността, ами как точно мнението на тълпата се съгласува с мнението на малка част от нея, която обаче системно изразява мнението си в писмена форма.

Страницата за всеки филм в RT съдържа следната съществена информация: брой положителни и отрицателни ревюта (вкл. и от т. нар. топ критици), средна оценка от всички критици (която не е много ясно как е калкулирана, при все, че не всеки ревюист дава цифров израз на степента на харесване на даден филм), брой гласували юзъри, средна оценка на гласувалите юзъри, и процент юзъри, които са гласували за даден филм с повече от 3.5/5. Извличането на тази информация от сорса на страницата е piece of cake, проблемът е само докато налучкаш линка към нея. Хубавото е, че url-тата в RT са базирани на заглавието, така че за по-голямата част от филмите в IMDb Top 250 успях автоматично да генерирам линковете към тях по имената им. За останалите се наложи ръчно търсене, което отне около половин час. Казвам отсега - НЕ си струваше.

Пълната таблица с Top 250 филмите на IMDb, пренаредени съгласно рейтинга на RT, можете да видите тук. Няколко уточнения: подредбата е по процент положителни ревюта (имайки предвид тези на всички критици, не на избраните), а за тези с еднакъв резултат - по общия брой ревюта. В последната графа е юзърският рейтинг (процентът юзъри, гласували над 3.5/5).

Веднага правят впечатление няколко неща: Играта на играчките е най-добре оценения филм от критиката за всички времена - със 76 положителни ревюта, следван много плътно от Магьосникът от Оз и Кръстникът. Почервенените филми пък са тези от IMDb Top 20 и разпределението им из таблицата показва точно нулева корелация с критическата оценка. Графиката е красноречива:
Форест Гъмп, който е на 21 място в Топ 250 има само 71% от критиците на RT (и 68% от най-разбирачите). За сметка на това Let The Right In, който след още 5-6 комиксови бози, по които масовата аудитория ще разточи лигите си, ще изхвърчи от IMDb Top 250, е с 98% на RT със 163 позитивни и 4 негативни ревюта.

Само да вметна, че тук е подредбата на RT по рейтинг с още по-абсурдно първо място - Играта на играчките 2 на челна позиция със 161 положителни ревюта и нито едно отрицателно.

Извод №1: критиците са точно толкова загубени като източник на кино-обективизъм, колкото и средният imdb-юзър. Surprise, surprse...

Това обаче не пречи да задълбаем нататък в статистиката:

Може би положението се подобрява, ако включим в играта топ критиците? Ъм... абсолютно НЕ. За повече от половината от филмите в IMDb Top 250 рейтингът на топ критиците се различава с не повече от 5% от този на всички критици. На челно място с пълни 100% и над 40 положителни ревюта се оказват Хари Потър 8, Артистът, Лабиринтът на фавна, Търсенето на Немо, Играта на играчките 3 и естествено, задължителният Иде ми да се застрелям. Явно е, че това не може да е база за каквато и да било класация.

Интересно е, че ако слушаме най-реномираните критици на RT, 18 филма от IMDb Top 250 падат под санитарния минимум от 60% положителни ревюта. Ясно е, че за повечето от тях броят на топ-ревютата е недостатъчен за достигане на статистическа значимост, но не и при The Prestige и Shutter Island - зрителите явно им се радват, но тези филми са явно недолюбвани от критичния каймак:


Извод №2: Разделянето на критиците на първа и втора категория на RT (това - базирано на авторитета на медията, която представляват), няма никаква тежест, що се отнася до съставяне на класации, поради две причини - 1) топ критиците са прекалено малко (и неравномерно разпределени във времето), за да имат някаква тежест и 2) често са в час толкова, колкото и останалите, т.е. хич.

Сега да обърнем поглед към RT юзърите. На картинката отдолу се вижда, че има доста по-голяма корелация между техните рейтинги и рейтингите на IMDb, отколкото при критиците:
Това естествено може да се очаква, защото гласуващата тълпа е на практика една и съща. Забележете обаче отклоненията от нормата - филмите, които са отбелязани изрично със стрелки. Как е възможно първите две части на Властелинът на пръстените да имат рейтинг около 95%, а изведнъж третата част да се сгромоляса до смешните 83%? Наистина ли за RT юзърите Гладиатор, Матрицата, Убий Бил и Дони Дарко са по-смотани филми от 95% от присъстващите в IMDb top 250. Проблемът лъсва, когато видим броя на гласувалите в RT:
Докато на един популярен филм на IMDb се падат по около 500-700 хиляди гласа, то 10 от филмите в Top 250 имат повече от 30 милиона гласа на RT. А следващият ги плътно Shutter Island има 10 пъти по-малко. Освен това, всички тези 10 филма са с абнормално ниски оценки, в сравнение с очакваното (както се виждаше от предната графика). Което значи само едно - някакви хакерчета в определен момент са играли циркови номерца с гласуването на RT. Което води до:

Извод №3: Юзърските вотове в RT са манипулирани в неизвестна степен и с неясна мотивация, така че значат точно една кръгла нула.

Което пък води до генералния извод, че Rotten Tomatoes има значение единствено на сборник от ревюта, и всеки опит за някаква статистическа интерпретация на резултатите е обречен на абсолютен провал. Явно IMDb Top 250, колкото и изкривен да е от фенбойщината, все пак си остава най-адекватната класация за кино - с много проблеми в нея, но поне с ясен произход и с някакви полу-ефективни механизми за поддържането на някакъв стандарт. С този разочароващ пост завършвам серията за статистическите абсурди в оценяването на филми.

11 коментара:

  1. До колкото си спомням РТ не са ли вече собственост на някоя от големите филмови студия?

    Хубава статия b the way

    ОтговорИзтриване
    Отговори
    1. По същество са собственост на Уорнър, да. Манипулацията обаче е малко сложна, защото RT е агрегат на ревюта от най-различни сайтове и не плаща за тях.

      Изтриване
  2. OMG...
    Дори с безумното им качествено (но не и количествено) оценяване на филмите като ротън и фреш очаквах малце по-смислено отношение към киното от тоя сайт....
    Мерси, много образователно беше!

    ОтговорИзтриване
  3. Wow... Очаквах поне малко по - адекватна класация от критиците... Много хубава статия иначе, приятно четиво особено за хора обичащи статистиката. ;)

    ОтговорИзтриване
  4. Потвърждаваш моите подозрения от доста време насам. А именно, че на Rotten Tomatoes като цяло трудно може да им се има доверие.

    Има и още нещо, което може би е добре да бъде споменато. Съдейки по този сайт, критиците като цяло са много по-склонни да дадат висока оценка на част от доказан франчайз или режисиран от човек с огромна репутация и бесни фенове като Ридли Скот или Кристофър Нолан, да речем. В останалите случаи са страшно предубедени към римейкове, фентъзита или фантастики. Това го установих наскоро покрай римейка на "Зов за завръщане" - ужасно ниският рейтинг на този филм ме изненада адски много, особено като се вземе предвид фактът, че "Умирай трудно 4", който е на същия сценарист и същия режисьор, получава 82% на този сайт.
    Проверих няколко франчайза, доказали се през десетилетията, и в абсолютно всеки случай всеки филм се оказваше с оценка над 65%, дори да е разочарование като последния Индиана Джоунс или безличнееща безличност като "Терминатор 3", или откровена глупост като "Клонираните атакуват".
    "Умирай трудно 4" е оценен като един от най-добрите екшъни в последните десетина години, докато "Зов за завръщане" 2012, който е правен от същите хора и като филм е на абсолютно същото ниво, получава ниски оценки.

    Що се отнася до юзърските вотове - в месидж борда на "The Expendables 2" в IMDb се събраха и организираха малоумните фенове на Арнолд Шварценегер с цел да съсипят рейтинга на новия "Зов за завръщане" на всеки възможен сайт. Темата вече е изтрита, иначе щях да дам линк. Когато видяха, че потребителската оценка на филма при гнилите домати е доста висока, веднага я атакуваха и за по-малко от ден я смъкнаха почти двойно. Подозирам, че същото - изкуствено вдигане или смъкване на рейтинга в този сайт - се е случвало и с други филми, но не съм имал възможност да го проследя в реално време, както стана този път.
    Просто да споделя.

    ОтговорИзтриване
    Отговори
    1. Това с Die Hard/Total Recall е много правилно наблюдение. Нещо не мога да си представя как човек с всичкия си може да оцени третото Умирай трудно по-ниско от четвъртото, но - фак(т) - 51% срещу 81%.

      Изтриване
    2. Лек офтопик...
      По отношение на "Умирай трудно" 3 и 4. Честно казано, и четирите филма в поредицата са ми адски любими, затова не ми се ще да ги сравнявам. От рейтинга на третия съм наистина учуден. Преди време четох, че е съвпаднал с най-бруталния терористичен акт на територията на САЩ до преди 11 септември и, тъй като разглеждал подобна тематика, това предизвикало негативен отзвук. Не знам вярно ли е.
      Другият му проблем е, че сценарият му е писан за "Смъртоносно оръжие" 2 или 3 и това се усеща яко. В смисъл, най-важните сюжетни елементи за поредицата "Умирай трудно" в третия филм просто липсват - и в първите два, и в четвъртия Маклейн прави каквото прави, защото по случайност се оказва където не трябва и защото член на семейството му е в директна опасност. В третия терористите си го потърсиха директно, а семейството му си беше в пълна безопасност през цялото време. Може и да е било важно за някого, не знам.
      За мен оценка 51% за този филм, при положение че "Терминатор 3" е със 70, е просто безумие.

      Изтриване
  5. Уау, прекрасна работа...и разочароващ резултат :) При ориентирането в качеството за един филм човек може да разчита единствено на очите, ушите и настроението си - сега статистически доказано. Благодаря, Силвъре, много интересен анализ. Въпрос на време е, според мен, да се направи уебсайт с живи статистики със съответните графики за параметрите, които разгледа - moviestats.com :D Ако имах твоите coding skills, сигурно щях да го направя с google motion charts. Нещо като това http://www.gapminder.org/ , но с hard data за филми. Аз лично бих използвал такива статистики вместо ревюта на разни 'критици' преди да реша кой филм да гледам.

    ОтговорИзтриване
    Отговори
    1. Ако всичко това показва нещо, то е, че статистиката и изкуството са несъвместими (което не е величествена изненада). IMDb е popularity contest, Rotten Tomatoes е некалибриран bullshit meter, така че единствено ти можеш да си наизмислиш смислени причини да идеш на някой филм, базирани на собствения ти вкус и впечатления от режисьори, актьори, сценаристи и т.н.

      Иначе за тези три поста не се изискваха кой знае какви coding skills, всеки може да схване за 5 мин как стават нещата. :)

      Изтриване
  6. Браво за статията, много добър материал! Как ти се е занимавало не знам. :)

    Иначе RT изобщо не съм го ползвал, макар че на практика по цял ден съм във филмови сайтове. Но когато става въпрос за ревюта и оценка на филми използвам http://www.mrqe.com/ - просто съм си свикнал, удобно са подредени и прочее.

    Но ревютата по принцип са малко по-сложно животно, когато трябва да се събират в обща оценка. "Играта на играчките" примерно може да не е кой знае какъв филм като стойност, но се предполага, че е анимация и е предимно за забавление и съответно оценките му са много високи. Просто по друг начин бива разглеждано и не мисля, че е много редно да се сравняват ревютата на един подобен летен блокбъстър с ревютата на някой "сериозен" филм.

    ОтговорИзтриване

Забележка: Само членове на този блог могат да публикуват коментари.