Разбираемся, как правильно анализировать научные исследования

Существует множество типов исследований. Рандомизированные двойные слепые плацебо-контролируемые исследования обычно считаются золотым стандартом. В них участников случайным образом распределяют либо в группу, которая получает препарат, либо в контрольную группу, которая получает плацебо. Ни испытуемые, ни исследователи до конца эксперимента не знают, какие участники к какой группе принадлежат.

Понимание аннотации и введения

Аннотация представляет собой краткое изложение, отражающее основные положения исследования. Поскольку в нескольких абзацах нужно уместить много информации, аннотация может непреднамеренно ввести в заблуждение. Поэтому прежде чем ссылаться на исследование в качестве доказательства в дискуссии, обязательно прочитайте всю статью.

Введение должно четко определять вопрос, на который авторы надеются ответить в своей работе. Здесь также обычно суммируются результаты предыдущих исследований. Поэтому введение часто является отличным местом для поиска дополнительных материалов для изучения.

Изучив несколько исследований по определенной теме, вы получите больше информации, даже если вы не знаете, как проводить метаанализ. Например, если вы прочитали только одно исследование о влиянии креатина на уровень тестостерона, и оно обнаружило его увеличение, то 100% ваших данных говорят о том, что креатин повышает тестостерон. Но если вы прочтете десять исследований по этой теме, но только в одном обнаружите увеличение тестостерона, то 90% ваших данных будут говорить, что креатин не повышает уровень тестостерона.

Метаанализ намного сложнее, т.к. здесь учитываются различные критерии, например, такие как количество участников и систематические ошибки, влияющие на результат. Поэтому неудивительно, что компании, производящие добавки, часто проводят выборочные исследования. Если производитель хочет продать вам креатин в качестве усилителя тестостерона, он упомянет одно исследование, которое обнаружило повышение его уровня тестостерона, а не девять других.

Поэтому, если вы ищете истину, важно взглянуть на всю совокупность доказательств.

Методы: самая важная часть исследования

В разделе «Методы» представлена ​​информация о проведении исследования и его участниках. В идеале описание должно быть настолько ясным и подробным, чтобы другие исследователи могли повторить эксперимент, не связываясь с авторами. Здесь вы узнаете о продолжительности, используемых дозировках, методах тестирования и так далее.

Один из приемов исследователей, которые хотят обнаружить эффект, например, чтобы он мог служить маркетинговым материалом для продукта, или для большей вероятности публикации, заключается в том, чтобы собрать множество конечных точек для проверки, а затем сделать вывод, основываясь на тех, что показали результат, не упоминая, либо преуменьшая значение других. Чтобы предотвратить это, многие ученые настаивают на предварительной регистрации исследований, где все конечные точки будут изначально указаны.

Демография

Раздел «методы» обычно начинается с предоставления информации об участниках, такой как возраст, пол, образ жизни, состояние здоровья и метод отбора. Эта информация поможет вам решить, насколько исследование актуально для вас.

Чем больше участников в исследовании, тем надежнее его результаты. Однако иногда некоторые испытуемые прекращают свое участие в процессе, поэтому обратите вниманием на их начальное и конечное количество, а также по какой причине они были исключены.

Интерпретация статистики

Раздел «Методы» обычно завершается данными статистики.

Необходимо понимать, что для ученых значимое не означает важное, оно означает статистически значимое. Эффект является значимым, если результаты, полученные в ходе исследования, были бы маловероятными, если бы эффекта действительно не было.

Таким образом, результат может быть значимым, но очень небольшим, например, потеря веса на 0.2 килограмма за год. Кроме того, эффект может быть значимым, но не иметь клинического значения, т.е. не оказывать заметного влияния на ваше здоровье. Вот почему вы можете проанализировать измерения, собранные в ходе исследования, и заметить увеличение или уменьшение, но прочитать в заключении, что никаких изменений обнаружено не было. На самом деле они были, но просто не являются существенными.

Чаще всего эффект считается значимым, если в результате статистического анализа получено значение p-value, не превышающее определенного порога, установленного исследователями до проведения эксперимента. Понимание того, как правильно интерпретировать p-value, может быть сложным даже для специалистов, но вот интуитивный способ:

Подумайте о подбрасывании монеты. Если вы подбросите монету 100 раз, то получите примерно 50/50 орлов и решек. Ничего удивительного. Но что, если вы подбросите монету 100 раз и каждый раз будете получать орлов? Вот это уже удивительно! Для справки, вероятность того, что это действительно произойдет, равна 0.00000000000000000000000000008%.

Можно представить себе p-value с помощью выпадения орлов при подбрасывании монеты:

• Значение p-value, равное 5% (p = 0.05), не более удивительно, чем выпадение только лишь орлов при четырех подбрасываниях монеты
• Значение p-value, равное 0.5% (p = 0.005), не более удивительно, чем выпадение только лишь орлов при восьми подбрасываниях монеты
• Значение p-value, равное 0.05% (p = 0.0005), не более удивительно, чем выпадение только лишь орлов при одиннадцати подбрасываниях монеты

Т.е. можно сказать, что чем ниже p-value, тем больше мы можем быть уверены в значимости эффекта.

Гипотезы исследования

В каждом эксперименте обычно присутствуют два противоположных утверждения: нулевая гипотеза и альтернативная гипотеза. Нулевая гипотеза — принимаемое по умолчанию предположение о том, что не существует связи между двумя наблюдаемыми событиями. Альтернативная гипотеза — связь существует.

Цель состоит в том, чтобы увидеть, является ли эффект вмешательства лучше, хуже или такой же, как эффект контроля (плацебо или иногда еще одного хорошо изученного вмешательства, например, новый препарат можно изучать в сравнении с эталонным препаратом).

Для этого перед экспериментом исследователи обычно устанавливают порог значимости (α). Если в результате исследования значение p меньше или равно этому порогу ( p ≤ α), существует статистически значимая разница между эффектами двух изученных методов лечения.

Наиболее часто используемый порог значимости составляет 5% (α = 0.05). Это означает, что если нулевая гипотеза верна, то после повторения эксперимента бесконечное число раз исследователи получили бы ложноположительный не более, чем в 5% случаев.

Однако следует понимать, что, хотя значения p-value и важны, они не являются решающими в определении точности выводов. Исследователи, слишком стремящиеся найти эффект в своем эксперименте, могут прибегнуть к «извлечению данных», например, попытаться снизить значения p-value различными способами: провести разные анализы одних и тех же данных и сообщить только о значимых p-value, или набирать все больше и больше участников, пока не получится статистически значимый результат.

Чтение результатов

Переход сразу к этому разделу после прочтения аннотации может быть заманчивым, но это нередко приводит к неверному толкованию и распространению дезинформации, т.к. исследователи часто испытывают искушение придать своим результатам определенный смысл.

Первое, на что следует обратить внимание в разделе «Результаты», — это сравнение характеристик между тестируемыми группами. Большие различия в исходных характеристиках после рандомизации могут означать, что две группы не совсем сопоставимы.

Исследователи также должны сообщать о показателях отсева и соблюдения требований. Жизненный уклад часто мешает науке, поэтому почти в каждом испытании есть доля участников, которые не завершили эксперимент или не следовали инструкциям. Тем не менее, слишком большая доля выбывших или не соблюдающих требования испытуемых должна вызвать подозрение, особенно, если в одной группе процент их отсева гораздо выше, чем в другой.

Ученые используют данные, которые можно отобразить в виде диаграмм и графиков. Обязательно проверьте масштаб, в котором представлены результаты: то, что на первый взгляд может показаться большим изменением, на самом деле иногда является очень незначительным.

Кроме того, надежность исследования зависит от размера выборки. Если вы исключите некоторых участников из своего анализа, риск ложноположительных результатов может возрасти. Приведем пример: исследователю платят за то, чтобы он доказал, что метод «Лучший вес» работает. Он протестировал его на 20 участниках обоих полов в возрасте от 21 до 87 лет. Увы, из этих 20 участников похудел только один. Это была женщина 65 лет. Исследователь может решить провести анализ подгруппы, исключив всех мужчин, а также всех людей не в возрасте 65 лет, в итоге сделав вывод, что метод «Лучший вес» эффективен для женщин в возрасте 65 лет.

Конфликт интересов

Конфликт интересов (COI), если он существует, обычно раскрывается после заключения. COI может возникать, когда у людей, которые проводят исследования, есть мотив получить определенные результаты. Наиболее очевидным источником конфликта интересов является финансовый, например, когда исследование спонсировалось компанией, или когда один из авторов работает в компании, которая выиграет от исследования, подкрепив его определенным эффектом.

К сожалению, нераскрытие COI является довольно распространенным явлением. Однако COI необходимо тщательно оценивать. Но не предполагайте автоматически, что конфликта интересов нет только потому, что он не раскрыт, но также не предполагайте, что он обязательно влияет на результаты, если они существуют.

Также никогда не полагайтесь на то, что средства массовой информации прочитали исследование целиком. Опрос по оценке качества доказательств диетических рекомендаций, представленных в национальных газетах Великобритании, показал, что от 69% до 72% утверждений о здоровье были основаны на недостаточных доказательствах. Чтобы уложиться в сроки, перегруженные работой журналисты часто полагаются на пресс-релизы исследований, в которых иногда не удается точно суммировать результаты.

Чтобы оценить полученные результаты исследования, можно следовать упрощенному контрольному списку вопросов:

• Какова основная гипотеза исследования? (На какой вопрос пыталось ответить исследование?)
• Описан ли в работе четко и точно план исследования?
• Какой это тип исследования?
• Как долго длилось исследование?
• Каковы были первичные и вторичные конечные точки для проверки?
• Было ли исследование рандомизированным?
• Было ли исследование слепым?
• Предоставлено ли достаточно подробностей о том, что получила и не получила как группа вмешательства, так и контрольная группа?
• Какая демографическая группа была изучена?
• Сколько участников было набрано?
• Четко ли изложены критерии включения и исключения участников?
• Каким способом набирались участники?
• Сколько выбывших было в каждой группе?
• Были ли результаты статистически значимыми?
• Применимы ли результаты к реальной жизни?
• Были ли результаты клинически значимыми?
• На основании изученной демографической группы, к кому могут быть применимы результаты?
• Были ли дозировки реалистичными?
• Были ли какие-либо побочные эффекты или нежелательные явления? Если да, то насколько серьезными они являются, и как часто они происходили?
• Каковы были источники потенциальной предвзятости авторов?
• Были ли случаи отсева между группами очень неравными? Если да, то почему?
• Было ли исследование предварительно зарегистрировано, чтобы предотвратить «извлечение данных»?
• Каковы были конфликты интересов, если таковые были?

Использование вышеописанного подхода к пониманию и интерпретации научных исследований позволит сформировать обоснованное мнение и поможет принять правильное решение о необходимости использования тех или иных добавок.

 

Можно, если осторожно

Вступай в наш клуб за гуманную наркополитику. Твои данные не будут переданы третьим лицам.

Email

Я даю согласие на использование переданного email-адреса для организации коммуникации с Legalize Belarus