Титул НОВОСТИ ЖУРНАЛЫ И КНИГИ "АРГОНАВТИ ВСЕСВІТУ" О КОНКУРСЕ РБЖ-АЗИМУТ REAL SCIENCE FICTION ФОРУМ ПОИСК
Текущее время: 28.03.2024 14:49

Часовой пояс: UTC + 2 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 7 ] 
Автор Сообщение
 Заголовок сообщения: Обсуждение бюллетеней
СообщениеДобавлено: 28.10.2008 06:04 
Не в сети
Site Admin

Зарегистрирован: 08.01.2007 11:46
Сообщения: 4111
Откуда: admin @ rbg-azimut.com
Тема предназначена для обсуждения конкурсных оценок (после окончания конкурса все бюллетени будут открыты для всех).


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Обсуждение бюллетеней
СообщениеДобавлено: 11.12.2008 16:04 
Не в сети
Танцующий с бубном

Зарегистрирован: 27.01.2007 18:48
Сообщения: 1780
Сначала одно небольшое предложение по правилам.
Если кому-то интересны итоги по альтернативным методикам - будут чуть позже.

Сейчас - по первому туру, которого, правда, не было осенью. Зато был летом.
Сейчас из первого тура проходят 30 рассказов, набравшие максимум баллов.
Но если посмотреть на рассказы, занявшие летом 20-40 места:
20 0.55
21 0.55
22 0.52
23 0.52
24 0.52
25 0.50
26 0.50
27 0.50
28 0.48
29 0.48
30 0.45
31 0.41

32 0.39
33 0.38
34 0.35
35 0.27

36 0.25
37 0.23
38 0.23
39 0.22
40 0.19
Видно, что граница разрыва проходит между 0,45 и 0,41 - т.е. отрыв составляет 0,04 балла.
Как мне кажется, если решают меньше 0,05 - это чистая лтерея получается. Если объем финала должен быть строго зафиксирован, то да, согласен, в конце концов, конкурс - игра.
Но если цель финала - отобрать наиболее интересные рассказы, то, может быть, стоит "отсекать" по "большому разрыву" - скажем, 0,05 и больше (которые округляются по правилам уже в 0,1 а не в 0)?
В данном раскладе это разрыв между 34 и 35 местом, 0,35 и 0,27 = 0,08 балла.
Понимаю, что в данном раскладе это не так критично (хотя разрыв-то в два раза больше!), но ведь "решить" может и 0,01 балла.
Имеет смысл проверить места, занятые последним десятком в финале:
20 = 27
21 = 21
22 = 15
23
24 = 26
25 = 29
26 = 22
27 = 20
28 = 28
29 = 17
30 = 24
31 = не прошел
Можно, конечно, сказать, что звезд они все равно не схватили, но предпоследний рассказ оказался в центре таблицы, а "аутсайдер" обошел одну пятую группы. Как бы нет гарантий, что 31 место не вошло бы, например, в десятку.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Обсуждение бюллетеней
СообщениеДобавлено: 15.12.2008 10:14 
Не в сети
Танцующий с бубном

Зарегистрирован: 27.01.2007 18:48
Сообщения: 1780
Итоги конкурса по "дем.методике":

http://zhurnal.lib.ru/editors/s/sredin_ ... 08_4.shtml

Если коротко:
Место Рассказ Баланс Лучше Хуже Равно Ср. балл
1 8008 Прошедшее время Стеллы Уэйнрайт 22 22 0 4 5.56
2 8002 Ошибка Кортеса 19 19 0 7 5.4
3 8014 Лирики 19 19 0 7 5.44
4 8010 Каждому свой срок 18 18 0 8 5.4
5 8007 Лира Конкреджа 15 15 0 11 5.12
6 8012 Фотография, на которой мы будем счастливы 15 17 2 7 4.96
7 8016 Я сделан из мяса 14 15 1 10 4.88
8 8001 Пифия 13 15 2 9 5
9 8009 СТРАЖА 10 12 2 12 4.8
10 8023 Жюль Верн, писатель 9 14 5 7 4.64
11 8006 Петля 8 12 4 10 4.6
12 8015 Вещи, которых не было 6 12 6 8 4.44
13 8020 Времька 4 11 7 8 4.28
14 8003 Папа, разбей шарик! 0 9 9 8 4.2
15 8018 Золотой Ключик 0 8 8 10 4.16
16 8022 Ошибочка -8 5 13 8 3.88
17 8005 Тысячелетняя пропасть -9 5 14 7 3.64
18 8019 Горизонт событий -9 4 13 9 3.64
19 8013 Уравнение равновесия -10 3 13 10 3.52
20 8025 Один звонок -12 3 15 8 3.48
21 8026 ... И я параноик -12 2 14 10 3.48
22 8004 Цена победы -13 2 15 9 3.24
23 8011 Иллюзии -16 1 17 8 3.16
24 8024 На круги своя -17 1 18 7 2.84
25 8021 Игра во Время -18 2 20 4 2.84
26 8027 Акушер -22 1 23 2 2.72
27 8028 Ступени -26 0 26 0 1.96

Из таблицы видно, что явных лидеров не было. Первое место равно 3-4 рассказам, еще 3 обходит по кворуму (еле-еле). Т.е., в прицнипе, все 8 рассказов можно считать победителями :)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Обсуждение бюллетеней
СообщениеДобавлено: 15.12.2008 10:20 
Не в сети
Танцующий с бубном

Зарегистрирован: 27.01.2007 18:48
Сообщения: 1780
Метод интервалов.

Суть - если данную оценку поставили менее 10% судей, оценка признается недействительной.
28 судей, 10% = 3, учитываются оценки с 4 голосами.
Проверка: если все судьи равномерно "размажутся" по всем оценкам, получится 28/7 = 4 голоса за каждую, все учтутся, рассказ не может остаться без баллов.

Оценки исходные:
Назвнаие
кол-во баллов: 1 2 3 4 5 6 7
кол-во голосов, ср. балл
8008 Прошедшее время Стеллы Уэйнрайт
0 1 1 1 10 7 7
27 5,555555556
8014 Лирики
0 1 2 3 7 7 7
27 5,407407407
8010 Каждому свой срок
0 0 1 6 7 8 5
27 5,37037037
8002 Ошибка Кортеса
0 0 1 4 10 8 4
27 5,37037037
8007 Лира Конкреджа
1 0 1 6 9 5 5
27 5,111111111
8001 Пифия
0 1 1 7 8 8 2
27 5
8012 Фотография, на которой мы будем счастливы
0 1 5 2 7 9 3
27 5
8016 Я сделан из мяса
0 0 3 7 9 7 1
27 4,851851852
8009 СТРАЖА
0 2 3 7 7 5 3
27 4,703703704
8023 Жюль Верн, писатель
0 2 2 9 7 5 2
27 4,62962963
8006 Петля
0 0 4 11 8 0 4
27 4,592592593
8015 Вещи, которых не было
0 0 5 11 7 3 1
27 4,407407407
8020 Времька
0 1 5 9 10 2 0
27 4,259259259
8003 Папа, разбей шарик!
0 3 3 10 8 3 0
27 4,185185185
8018 Золотой Ключик
1 2 5 7 9 3 0
27 4,111111111
8022 Ошибочка
0 4 7 9 4 2 1
27 3,851851852
8005 Тысячелетняя пропасть
0 3 8 12 3 1 0
27 3,666666667
8019 Горизонт событий
3 5 4 9 2 2 2
27 3,592592593
8013 Уравнение равновесия
1 4 6 13 1 2 0
27 3,555555556
8026 ... И я параноик
2 6 6 4 7 2 0
27 3,518518519
8025 Один звонок
1 5 9 8 2 0 2
27 3,481481481
8004 Цена победы
2 3 11 8 3 0 0
27 3,259259259
8011 Иллюзии
3 7 6 6 3 1 1
27 3,222222222
8024 На круги своя
4 6 7 9 1 0 0
27 2,888888889
8021 Игра во Время
5 7 7 5 2 1 0
27 2,814814815
8027 Акушер
6 6 7 6 1 0 1
27 2,777777778
8028 Ступени
15 3 6 1 2 0 0
27 1,962962963


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Обсуждение бюллетеней
СообщениеДобавлено: 15.12.2008 10:29 
Не в сети
Танцующий с бубном

Зарегистрирован: 27.01.2007 18:48
Сообщения: 1780
Оценки после обработки:
место Название:
Кол-во баллов: 1 2 3 4 5 6 7
кол-во учтенных голосов - ср.балл - % отброшенных голосов
1 8014 Лирики
0 0 0 0 7 7 7
21 6 22,22222222%
2 8008 Прошедшее время Стеллы Уэйнрайт
0 0 0 0 10 7 7
24 5,875 11,11111111%
3 8010 Каждому свой срок
0 0 0 6 7 8 5
26 5,461538462 3,703703704%
4 8002 Ошибка Кортеса
0 0 0 0 10 8 0
18 5,444444444 33,33333333%
5 8007 Лира Конкреджа
0 0 0 6 9 5 5
25 5,36 7,407407407%
6 8001 Пифия
0 0 0 7 8 8 0
23 5,043478261 14,81481481%
7 8016 Я сделан из мяса
0 0 0 7 9 7 0
23 5 14,81481481%
8 8012 Фотография, на которой мы будем счастливы
0 0 5 0 7 9 0
21 4,952380952 22,22222222%
9 8009 СТРАЖА
0 0 0 7 7 5 0
19 4,894736842 29,62962963%
10 8023 Жюль Верн, писатель
0 0 0 9 7 5 0
21 4,80952381 22,22222222%
11 8003 Папа, разбей шарик!
0 0 0 10 8 0 0
18 4,444444444 33,33333333%
12 8006 Петля
0 0 0 11 8 0 0
19 4,421052632 29,62962963%
13 8020 Времька
0 0 5 9 10 0 0
24 4,208333333 11,11111111%
14 8018 Золотой Ключик
0 0 5 7 9 0 0
21 4,19047619 22,22222222%
15 8015 Вещи, которых не было
0 0 5 11 7 0 0
23 4,086956522 14,81481481%
16 8013 Уравнение равновесия
0 0 6 13 0 0 0
19 3,684210526 29,62962963%
17 8005 Тысячелетняя пропасть
0 0 8 12 0 0 0
20 3,6 25,92592593%
18 8022 Ошибочка
0 0 7 9 0 0 0
16 3,5625 40,74074074%
19 8026 ... И я параноик
0 6 6 0 7 0 0
19 3,421052632 29,62962963%
20 8004 Цена победы
0 0 11 8 0 0 0
19 3,421052632 29,62962963%
21 8019 Горизонт событий
0 5 0 9 0 0 0
14 3,285714286 48,14814815%
22 8025 Один звонок
0 5 9 8 0 0 0
22 3,136363636 18,51851852%
23 8024 На круги своя
0 6 7 9 0 0 0
22 3,136363636 18,51851852%
24 8011 Иллюзии
0 7 6 6 0 0 0
19 2,947368421 29,62962963%
25 8027 Акушер
6 6 7 6 0 0 0
25 2,52 7,407407407%
26 8021 Игра во Время
5 7 7 5 0 0 0
24 2,5 11,11111111%
27 8028 Ступени
15 0 6 0 0 0 0
21 1,571428571 22,22222222%

Лидеры поменялись местами, вероятно от того, что шли очень плотно.
Минус методики - она не учитывает "относительность баллов".
В среднем отбрасывалось 22%, те, у кого меньше 10% отмечены синим, больше 36% - красным


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Обсуждение бюллетеней
СообщениеДобавлено: 16.12.2008 13:35 
Не в сети
Директор проекта

Зарегистрирован: 10.01.2007 15:41
Сообщения: 1645
Откуда: reglav @ rbg-azimut.com
Спасибо, Семьдесят Первый.
Всё очень интересно. (Диссер готов :lol: ).
Как бы теперь это куда-нибудь внедрить? 8)


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Обсуждение бюллетеней
СообщениеДобавлено: 16.12.2008 17:21 
Не в сети
Танцующий с бубном

Зарегистрирован: 27.01.2007 18:48
Сообщения: 1780
Реглав писал(а):
Как бы теперь это куда-нибудь внедрить? 8)

Ну если внедярть, то вот статистика использования баллов в процентах:
01___02___03___04___05___06___07
5,8___9,7__16,9__25,5__21,6__13,0___7,5 Время-08
8,3___8,0__15,1__25,6__19,6__13,8___9,7 Человек-08
8,9__12,7__20,4__22,3__16,4__11,5___7,8 Океан-08
9,1__13,1__22,1__24,7__15,9___7,8___7,2 Космос-08
8,0__10,9__18,6__24,5__18,3__11,5___8,1 ср. за год.
То есть в среднем за год нормальная гауссиана. Почти идеальная :)
Правда, есть колебания от конкурса к конкурсу, и достаточно большие, но, с другой стороны...
Похоже, 7-балльная работает хорошо.
Пост задумывался как предложение перейти к 5-балльной :)


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Часовой пояс: UTC + 2 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB