Аргемона: 45-ый трим.
сегодня: 28 октября 2026
ЗЕЛЬЕМЕТРИКА
смотреть 
распечатать 


Семинар # 8.


Истинность представлений при использовании экспертных оценок

31 марта 2014 - 24 мая 2014
8 триместр
категория: Открытый семинар
№ в категории: 2

Fibi Hollival

Приветствую любителей Зельеметрики!


Сейчас на четвертом модуле затронута такая довольно-таки большая проблематика, как экспертные оценки. В рамках изучения этой тематики мы проводим много опросов, привлекаем различных специалистов, выясняем у них ответы на наши вопросы. И пока корректировался материал под лекционный материал, мне все время хотелось задать вопрос «А судьи кто?».
И речь сейчас пойдет не о том, какова квалификация эксперта, а о другом.

Представьте себе такую картинку.
Где-то есть истина, назовем ее ядром (по аналогии с ядром Земли). Но, по всей видимости, никто себе не представляет, как ядро выглядит на самом деле, какова его истинность. То есть истину не видит никто.
Но!
У нас есть зелье либо представление о зелье, и нам надо работать с этим зельем или с его моделью: задавать о нем/ней вопросы экспертам.
Однако у нас искаженное представление об истинном ядре: мы имеем лишь представление о том, как оно должно выглядеть – у нас есть оболочка ядра, то есть представленческое прогнозирование истины.
Основываясь на нашей оболочке ядра, мы задаем вопросы экспертам, у которых есть своя оболочка ядра – свое представление о том, как должна выглядеть истина.
Итак.
Мы «кидаем» вопросы, которые отражают оболочку 1. Их получают эксперты.
Далее, мы получаем ответы от экспертов, которые отражают оболочку 2. Эти ответы мы «закидываем» в нашу модель (применяем при изготовлении зелья), и на выходе получаем некий результат, который является реакцией истинного ядра. Но! Эта реакция – вовсе не та, которую мы себе представляем.
Смотрите.
Ответы экспертов отражают, по их мнению, реакцию, допустим, южной части ядра. На самом деле же, это будет реакция центральной его части (утрированно). А мы, как исследователи, вообще думаем, что это реакция восточной части ядра. А истина в итоге – «где-то рядом».
Более того, наши дальнейшие действия будут основаны на том, что для нас поступившая реакция отражает как раз изменения в восточной части ядра.

Как быть? Куда бежать? Что делать?

Добро пожаловать на семинар "Истинность представлений при использовании экспертных оценок"!


Семинар продлится до 27 февраля (по 26-е) до исчерпания дискуссий.



Esmond Okean
Здравствуйте профессор Фиби и все, кто пожелает принять участие в семинаре.

И так, для начала я дам определение истине.

Истина - это некоторое положение вещей, которое соответствует объективной реальности, отражает ее такой, какая она есть.
(К слову сказать, многие ученые мужи приходят к выводу, что реальность такова, какой мы хотим ее видеть сами, то есть она не статична, а очень подвижна, как следствие и истинна очень подвижна... тогда возникает вопрос, как же отразить точно - нечто изменчивое?)

Есть еще одно определение истинны - это сумма всех правд мыслимых или не мыслимых, и если эта сумма не стремится к бесконечности, то грош цена такой истине. (с) Макс Фрай

Мне больше нравится второе определение, так как в нем-то как раз и заложено то, что истина величина переменная, не постоянная. А теперь, я думаю, многим известны правила споров, да-да есть и такие. Они говорят о том, что прежде, чем начинать спор, необходимо договориться о границах. То есть обозначит их очень четко, за пределы которых - ни кто из желающих спорить не выходит. При этом опять же на этапе подготовки необходимо убедиться, что каждый и желающих спорить подразумевает под фундаментальными понятиями спора - одно и тоже. Что бы не было такого, что о слове "коса" каждый понимал немножко свое, право, будет глупо.

Если говорить об экспертах и об их представлении того, что они делают, а так же о моем представлении, можно попробовать как можно более конкретизировать. К примеру, изобразить это самое ядро - сделать его большим и наглядно показать, что конкретно делают эксперты - на что могут повлиять их оценки \ ответы. Показать то, что делаю я, как зельевар, на какую часть ядра влияю я. То есть максимально полно, точно, поставить цель.

Но как известно - цель это очень далекое будущее, поэтому тут же прописываем задачи, которые помогут нам достичь эту цель, это своего рода мини-цели, выполняя которые, цель будет достигнута. А так же необходимо прописать способы и методы, которыми мы будем пользоваться в задачах, при достижения цели. Знаете, это очень похоже на гигантский муравейник. Ведь каждый муравей строит один большой, а не сотни своих маленьких.

Первый способ который я предложил - можно назвать, максимально информационным. Каждому эксперту будут известны все нюансы и свое место в этом всем.

Есть еще один способ, он прямо противоположен первому. Когда мы очень минимализированно выдаем информацию, при этом каждому эксперту отводим индивидуальную цель, ставим индивидуальные задачи. А я, как зельевар, буду собирать информацию, ее обрабатывать, затем уже делая выводы. Всю общую картину - ядро, буду видеть я, как зельевар, которому предстоит все же создать зелье. Способ очень похож на паука, когда он дергает за ниточки и все "работает".

Fibi Hollival
Оффтопик: 0_0

Esmond Okean
Оффтопик: Fibi Hollival что-то не так?)

Fibi Hollival
Оффтопик:
Esmond,
я удивлена отсутствию обсуждения
тема-то не сложная, в общем-то..

к вечеру тогда озвучу вопросы к тебе

Fibi Hollival
семинар вынуждена закрыть до следующего триместра. :wacko:

Fibi Hollival

Вновь приветствую любителей Зельеметрики!


В прошлом триместре на четвертом модуле была затронута такая довольно-таки большая проблематика, как экспертные оценки. В рамках изучения этой тематики мы проводим много опросов, привлекаем различных специалистов, выясняем у них ответы на наши вопросы. И пока корректировался материал под лекционный материал, мне все время хотелось задать вопрос «А судьи кто?».
И речь сейчас пойдет не о том, какова квалификация эксперта, а о другом.

Представьте себе такую картинку.
Где-то есть истина, назовем ее ядром (по аналогии с ядром Земли). Но, по всей видимости, никто себе не представляет, как ядро выглядит на самом деле, какова его истинность. То есть истину не видит никто.
Но!
У нас есть зелье либо представление о зелье, и нам надо работать с этим зельем или с его моделью: задавать о нем/ней вопросы экспертам.
Однако у нас искаженное представление об истинном ядре: мы имеем лишь представление о том, как оно должно выглядеть – у нас есть оболочка ядра, то есть представленческое прогнозирование истины.
Основываясь на нашей оболочке ядра, мы задаем вопросы экспертам, у которых есть своя оболочка ядра – свое представление о том, как должна выглядеть истина.
Итак.
Мы «кидаем» вопросы, которые отражают оболочку 1. Их получают эксперты.
Далее, мы получаем ответы от экспертов, которые отражают оболочку 2. Эти ответы мы «закидываем» в нашу модель (применяем при изготовлении зелья), и на выходе получаем некий результат, который является реакцией истинного ядра. Но! Эта реакция – вовсе не та, которую мы себе представляем.
Смотрите.
Ответы экспертов отражают, по их мнению, реакцию, допустим, южной части ядра. На самом деле же, это будет реакция центральной его части (утрированно). А мы, как исследователи, вообще думаем, что это реакция восточной части ядра. А истина в итоге – «где-то рядом».
Более того, наши дальнейшие действия будут основаны на том, что для нас поступившая реакция отражает как раз изменения в восточной части ядра.

Как быть? Куда бежать? Что делать?

Добро пожаловать на семинар "Истинность представлений при использовании экспертных оценок"!


Семинар продлится до исчерпания дискуссий.

Паффнутий
Здравствуйте профессор Fibi Hollival! Ну что ж, попробую изложить свою точку зрения.

Так как мы имеем представление о ядре, и именно мы задаем вопросы, так сказано из условия, мы же можем разбить это ядро, скажем на части, секции, отделения, как угодно. И задавать вопросы только конкретно по каждом из частей. При этом четко озвучивая границы допустимого и не допустимого, в рамках нашего ядра. Тем самым мы более конкретизируем ответы наших экспертов.

Так же можно провести дополнительные опросы самих экспертов. То есть для разделенных областей ядра, для каждой, найти положим 3х каких-нибудь узких экспертов, в принципе ограничение по количеству только одно - нечетное. Ибо нам все же нужны какие-то однозначные оценки, а не нечто одинаковое. Данные эксперты будут давать более развернутые ответы по каждой из ограниченных частей ядра. На основании их ответов можно будет составить уточненный список вопросов, который будет предложен более широкому кругу экспертов. Тем самым тоже ограничивая рамки.

Вообще в этом случае, проведенные достаточно четкие границы, рамки - будут своего рода тем, что нам необходимо. Может быть истину они нам не раскроют всю, однако приблизят нас к ней.

Еще одна мысль возникала такая, можно просто очень тщательно выбрать экспертов, взять только узких, по максимально возможному. И тогда можно предположить, что такой штаб экспертов представит нам более реальную, истинную картину.

Пока, думаю, все..)

Julia
Здравствуйте! Я попыталась, во-первых, уйти от метафоризации, а во-вторых, представить, как оно всё происходит. Интересно, насколько правильно интерпретировала)
У нас есть три метафоры:
Некое ядро. Ядро обладает характеристиками, называемыми «истинными». Это то же самое, что «есть потенциальное зелье. Оно обладает характеристиками, которые предполагаются наилучшими, чтобы получить некий идеальный результат».
Точная рецептура этого потенциального зелья неизвестна, равно как и характеристики, и результат.

У нас есть видимая оболочка ядра. Она обладает характеристиками, которые истинны в представлении ряда экспертов (здесь участвует опыт, проведённые эксперименты).
Это значит «есть существующее зелье. Оно может обладать характеристиками, в той или иной степени близкими к истинным. Результат для каждого эксперта представляется по-своему».

Вариации (представление) результатов у каждого эксперта — это южная, восточная, центральная и т.п. стороны ядра. Это третья метафора. То есть стороны ядра — это мнение экспертов насчёт результата варки зелья, который определяется некоторыми характеристиками зелья, которые можно придать зелью, используя те или иные ингредиенты/способы приготовления и т.п. Истинность складывается из множества противоречащих друг другу предположений, часть которых отбросится, часть будет использована.
Результат будет настолько хорош, насколько удастся сделать характеристики зелья близкими к «истинным».

Как всё это происходит? Никакое зелье не возникнет, если нет конкретной цели, почему оно должно быть создано. Допустим, возникает необходимость сварить зелье, которое может помочь от некоей заморской болезни. Болезнь недавно привезённая, никто не может точно сказать, как её лечить. Поэтому зельевар прикидывает, основываясь на собственном опыте, какое зелье можно сварить, чтобы оно потенциально помогло. Но за результат ручаться уж конечно не может. Тогда он подходит к экспертам и говорит: у нас такие-то и такие-то симптомы, зелье, по моему опыту в стандартных случаях варится так-то и так-то, здесь случай нестандартный потому и потому, нужны ингредиенты, которыми стоит заменить существующие материалы для лучшего эффекта.
Таким образом, мы имеем существующее зелье (оболочку ядра), просим у экспертов их мнение насчёт текущей проблемы (восточную, центральную, северо-западную части «ядра»). Очевидно, каждому задаются одни и те же вопросы, чтобы у зельевара была возможность выбрать из существующих предложений те, которые лучше всего послужат цели, то есть вылечат от заморской болезни. Таким образом, прощупывается некоторое идеальное потенциальное зелье, которое обладает характеристиками, способными вылечить заморскую болезнь. Насколько идеальным может получиться результат, никто не скажет, но все стремятся. «Идеальным» в данном случае будет зелье, которое лечит быстро, безбольно, без побочных эффектов — то есть в принципе, идеальный результат можно представить, но он всё равно будет отличаться от реального «идеального» (максимально эффекивного) и от того, который будет в головах отдельных личностей (но мне кажется, кардинальных отличий не будет).
Чего могут касаться вопросы? Я думаю, для каждого этапа варки будет важно узнать: какие ингредиенты использовать, чем заменить существующие, чтобы было эффективнее (или дешевле), нужны ли они вообще, как действуют в реакции друг с другом. Нет ли нужды между этапами сделать ещё один и т.п.
Получив ответы экспертов (много вариантов на каждый этап варки зелья), зельевар продолжает экспериментировать и конечно, добивается куда больших успехов, чем изначально. Но всё-таки этих результатов не хватает, чтобы получилось идеальное зелье. Он снова описывает экспертам, какие у зелья получились характеристики, они корректируют состав, способ приготовления и т.п., и зельевар снова начинает перебирать варианты.

Вопрос об истинности представлений. Зелье не может существовать в отрыве от практического применения, и потому критерием истинности будет прежде всего его хорошая работа. Ну а для этого нужны границы, когда результат ещё не устраивает, а когда уже устраивает.

Fibi Hollival
Оффтопик: вот только сегодня собралась вопрошать тут , а тут новый участник :ruchki:

Fibi Hollival
Esmond Okean

[q]
реальность такова, какой мы хотим ее видеть сами
[/q]
как быть с тем, что я хочу видеть ее синей, а Вы красной? что в итоге будет истинной реальностью?
[q]
сумма всех правд мыслимых или не мыслимых
[/q]
оставим в стороне разбор "мыслимая правда", хочу подверкнуть другое. Если я мыслю, что вот этот ингредиент белый, а Вы мыслите, что этот ингредиент красный, то какого цвета он в истине?

увидела кое-что полезное:
"надо договариваться заранее, до эксперимента"
бинго! эксперты и Вы как организатор экспертных оценок должны договориться и обсудить детали заранее, до начала эксперимента/опроса и т.п.
возвращаясь к моему первому сообщению:
Вы и эксперты будете спрашивать об одном и том же, представляя одно и то же, думая об одном и том же.
Для этого нужны будут не только фундаментальные договоренности по эксперименту, но и по конкретике.

Еще отмечу.
Второй способ хорош своей узконаправленностью, конечно.
Но при этом тот кусок ядра истины, который Вы собираетесь выдать узким специалистам, необходимо также детально конретизировать и определить максимально точно фундаментальные истины по нему.
Иначе вернемся к трем трактовкам снова.

Fibi Hollival
Паффнутий

Весьма полезный способ предложили - дробление, категоризацию экспертов по широте охвата (области специализации). Да, поможет, очень хорошо.

И Вы подчеркиваете детализацию, конкретизацию, четкость границ.
Это сделать не так просто на практике, конечно. Ведь сложно найти эксперта, который при оценке какой-то области не станет использовать весь багаж имеющихся знаний.
Но - способ стоит внимания, да.
А уж вопрос выбора эксперта какой не простой)) да и не всегда они "под рукой". Часто чем-то приходится жертвовать, так что весьма важно расставлять приоритеты.

И возник вопрос.
А что все-таки делать с тем, что мы на самом деле не знаем истины.

Мы не видим ядро, может, даже его расположение представляем не верно.
С несовпадением с экспертами - разобрались. А тут как быть?

Кстати, этот же вопрос и к Эсмонду.

Fibi Hollival
Julia

То есть Вы предлагаете следовать простому постулату: "раз истина где-то рядом, то не стоит искать именно ее, а следует сосредоточиться на наилучших результатах с точки зрения экспериментатора"?
Правильно я Вас поняла?

Теперь о стыковке истин экспериментатора и экспертов.
Получается, исходя из Ваших рассуждений, Вы здесь весы склонили в пользу экспериментатора опять: "выбираем из всего мнения экспертов те, которые лучше всего послужат цели".
То есть это оценит сам экспериментатор.
Другими словами, "не ищем истину экспертов, истина экспериментатора важнее".
Так получается?

Тиинс Маклаген


Паффнутий
Fibi Hollival

Знаете, поразмыслив я пришел вот к такому выводу. Истиной (условно) можно считать некое идеальное состояние или измерение чего-либо, вопроса, явление. Стоит очертить это идеал, ну как угодно, описать словами, сделать наглядно схемой, или еще каким-либо способом (напоить зельем, который я варил на проекте).

Чуть в сторону мысль: как известно выбирать мы можем, к примеру сразу же, допустим из десяти цветов, только белый. А можем поэтапно исключать каждый из цветов.... и останется только белый...

В случае с экспертами, я, видимо, как составитель анкет буду формулировать заведомо идеальные состояния, вопросы, предположения. При этом расширив несколько разбалловку ответов, (не только 1- да, 2- примерно, 3 - нет, а еще какие-то из серии, вполне вероятно, мало вероятно) можно получить картинку но с несколько иной точки зрения.

Так же можно попробовать поиграть с формой анкет, делать отрытые и закрытые вопросы. А можно формулировать именно действия, то есть за основу ставить сразу же действие и результат, которого я хочу добиться, например:

1. Чтобы получить пар завитками можно добавить медную пружинку в зелье?
2. Чтобы получить зелье лимонного цвета, я добавляю в зелье литья лимонника и кожуру лимона?

Ну, и соответственно, эксперты уже определяют что будет из вот таких мини-ситуаций....


Оффтопик: я надеюсь понятно изложил мысль, а то она стоящая, завтра забуду, будет печально... :biggrin:

Esmond Okean

Fibi Hollival написал:
[q]
как быть с тем, что я хочу видеть ее синей, а Вы красной? что в итоге будет истинной реальностью?
[/q]


Так и будет собственно) Вы будете ее видеть синей, а я красной - при этом реальность угодит и мне и Вам) Ведь "синяя" и "красная" метафоры, по большому счету нас устраивает та реальность, в которой сбываются наши желания) Вот оно и выходит, если мое желание исполнилось она красная, а если ваше то она синяя. Что в итоге будет истинной? Ну, что-то третье видимо... но это философский спор и уже спор восприятия нами реальности) ушли от зм...


Fibi Hollival написал:
[q]
Если я мыслю, что вот этот ингредиент белый, а Вы мыслите, что этот ингредиент красный, то какого цвета он в истине?
[/q]


То есть как?) Если луч солнца желтый, он и в Африке желтый и у меня, и у вас, а если мы с Вами путаемся в таких обыденных, простых понятиях - это значит, что нам пора снова учить цвета.


Fibi Hollival написал:
[q]
А что все-таки делать с тем, что мы на самом деле не знаем истины.
[/q]


Я отвечу несколько не совсем в тему зельеметрики, хотя, думаю, что в тему философии. Вот смотрите, до сих пор человечество не может ответить на вопрос "В чем смысл жизни?" И каждый из представителей, Вы, я, Лит, да кто угодно еще, либо ищет и отвечает для себя на этот вопрос сам, либо не ищет. Но при этом мы с Вами живем, что-то делаем, ставим цели, и думаю чем старше становимся, тем больше считаем данные действия нашим смыслом жизни, при этом опять же не зная истинную цель. Нам же это не мешает, ну здоровым в плане психики, почему в случае с экспертами это может помешать?)

Вот тоже самое здесь с ядром. Представляю ядро я, как организатор, эксперты не представляют ядро - они будут выполнять четко мои указания, в итоге получится картинка которую я представляю, мое ядро. Просто нужно каждому выполнять строго оговоренные ранее функции, задачи, цели и все.

Убедил?) :biggrin:

Fibi Hollival
Паффнутий

мне понятно Ваше виденье ситуации;
однако, вопрос истины единой и истины Вашей остается открытым)

но я вижу Ваш способ: истина - та, что формулируете Вы.
спасибо.


Esmond Okean

[q]
Вы будете ее видеть синей, а я красной - при этом реальность угодит и мне и Вам)
[/q]
но я буду задавать вопрос "сколько добавить желтого?", имея в виду, что хочу получить в итоге зеленый, а Вы ответите ведь с точки зрения того, что видите красный)) и ответите, что желтый не нужен (ну или другой вариант, не соответствующий "моей реальности").
но если мы с Вами в конце концов при обсуждениях договоримся до выяснения того, как мы видим цвет, то что делать с тем, что реальность на самом деле будет белой?
другой пример.
позиционируем суть предмета = треугольник.
я думаю (и договорились с Вами о том же), что суть = круг.
магическое воздействие совершенно разное.
для какой-либо цели я спрашиваю Вас как эксперта, сколько надо заложить чего-либо на каждый угол (какая дозировка ингредиента должна быть, насколько ее можно уменьшить/увеличить), чтобы суть треугольника заработала? Вы отвечаете, мы делаем - а итог не тот, что хотели, потому что суть была - круг.
более того, может вообще оказаться, что суть предмета - динамическая (то круг, то овал).
вот в чем проблема.

про цвета - это было утрирование.
выше я привела пример с сутью предмета (с его магическим контуром)

относительно - убедил или нет:
это выбор каждого ;)

Fibi Hollival
Спасибо всем проявившим внимание и активность!
Идеи и рассуждения семинара лягут, скорее всего, либо в учебное, либо в методическое пособие по Зельеметрике.



Паффнутий и Julia получат соответствующие допбаллы согласно правилам открытых семинаров.

Esmond получает 10 арумов на свой счет в Банке.


Семинар объявляю закрытым.