А вот моя страничка на G+, лайкаем!

понедельник, 30 ноября 2009 г.

Рейтинг, пояснения

Коллеги,

Через пару часов тут выложу рейтинг. Хочу сделать несколько уточнений, чтобы не было наездов.
1. Названия компаний, как пришли от экспертов - у меня не было времени на ввод полных названий и доменов. Обещаю исправить в обозримом будущем.
2. Я не выкидывал оттуда компании, которым там не место.
3. Не все эксперты прислали, но тем не менее у нас есть мнение 15 экспертов.
4. Следующая версия рейтинга будет через месяц, а затем раз в квартал.
5. Следующая версия рейтинга будет разительно отличатся - одно дело выбрать из списка, другое дело искать 20 стартапов.
6. Не все эксперты родили 20 компаний, а некоторые и больше. Те, компании, которые попали в больше 21 го, получили один условный бал и все-таки учитывались.
7. Эксперты, которые не прислыают свои рейтинги больше двух раз (без уважительной причины) - исключаются из списка, так что им есть мотив добросовестно относиться к своим обязаннастям. Но все равно всем экспертам спасибо.
8. Видно, что компании, которые ведут хороший ПР, выше. В списке есть компании, которые незаслуженно низко.
9. Зря я опубликовал свой персональный рейтинг, некоторые эксперты от него отталкивались.

Я прошу принят активное участие в обсуждении результатов, и я готов выслушать предложения и пожелания. Ну и постепенно я готов встретиться со всеми компаниями, которые попали в список для знакомства.

2 комментария:

  1. в следующий раз я добавлю (или выберу из списка) тех, кому дали деньги:)

    ОтветитьУдалить
  2. Интерестным оказался вопрос методики подсчета мнения экспертов.

    Как и некоторые комментаторы я заинтересовался вопросами: кто эти эксперты и что за комании представлены. Для удобного анализа сделал тестовый сайт (StarTOP), куда загрузил публичные данные рейтинга, а также ценную информацию, полученную из системы Monitorix (кстати, отсутствие этого проекта в рейтинге -- явно недосмотр, ведь его достоинства красноречивы).

    Когда удалось собрать достаточно информации, я попробовал сделать возможность построения публичного рейтинга, путем регистрации пользователей и выставления ими оценок по 5-балльной шкале (именно такой подход используется для пользовательского оценивания на startup.in.ua).Вскоре, однако, подобная методика вызвала у меня большие сомнения, и вот почему: для человека дать сколько-нибудь объективную оценку по 5-бальной шкале среди сотни прожектов -- затея очень сомнительная. В лучшем случае мы будем получать "5" звезд для всех известных человеку прожектов, т.е. "нравится/не нравится", при этом "динамический диапазон" шкалы вовсе не будет использован. Кроме того, назависимость оценок по каждой из позиций, приведет к тому, что человек выставит пятерки и более ничего. Достоинством этого метода является простота просчета суммарных оценок по прожектам.

    Более совершенная методика может быть следующая 2-шаговая последовательность:

    1. человек выбирает известные ему позиции (некий список Favorites)

    2. ранжирует список по убыванию оценки

    Такой метод избавляет от "произвола" в выборе количества баллов за прожект, а также гарантирует уникальность пользовательской оценку для каждой позиции из списка: в списке не может быть более одной позиции на место. Кроме того, похоже, что такое алгоритм будет более понятен широкому кругу заинтересованных.

    Сложность этой методики -- в просчете суммарных оценок по каждой из позиций. Я реализовал подсчет такой оценки путем вычисления среднего арифметического места данного прожекта в персональном рейтинге. При этом, поскольку "место" в этом рейтинге обратно пропорционально самой оценки, то перед вычислением AVG нужно инвертировать номер "места". Кроме того, поскольку номера мест начинаются с "0", то они сдвигаются на +1.

    Вот пример:

    Имеем набор прожектов: [a, b, c, d, e]

    а также, персональные рейтинги от трех экспертов X, Y и Z:

    X = {0: c, 1: b, 2: e}
    Y = {0: d, 1: e}
    Z = {0: c, 1: d, 2: b, 3: a}

    Рейтинги прожектов в интервале [0, 1] вычисляем, таким образом, как среднее арифметическое обращенного номера места, сдвинутого вправо на 1:

    R(a) = RZ(a)/1 = 1/(1 + 3) / 1 = 0,25
    R(b) = (RX(b) + RZ(b) ) / 2 = (1/(1 + 1) + 1/(2 + 1)) / 2 = 0,42
    R(c) = (RX(c) + RZ(c)) / 2 = (1/(0 + 1) + 1/(0 + 1)) / 2 = 1,0
    R(d) = (RY(d) + RZ(d)) / 2 = (1/(0 + 1) + 1/(1 + 1)) / 2 = 0,75
    R(e) = (RX(e) + RY(e)) / 2 = (1/(2 + 1) + 1/(1 + 1)) / 2 = 0,42

    Результат:

    R = {a: 0,25, b: 0,42, c: 1,0, d: 0,75, e: 0,42}

    ОтветитьУдалить

копируйте и репостите, если надо, но авторство и ссылку на оригинал оставляйте. ДД