метаанализ что это такое

Что такое метаанализ: разбираемся на примере препарата Ингавирин

Изучаем один из главных инструментов доказательной медицины при помощи одного из известных противовирусных средств

В современном мире поток информации не прекращается ни на мгновение. В научной литературе все время появляются новые статьи о лекарственных препаратах и методах лечения заболеваний. Например, в крупнейшей базе данных медицинских знаний Pubmed содержится более 32 миллионов публикаций. Не удивительно, что даже практикующие врачи не могут ознакомиться с каждой выходящей в свет статьей.

В этой ситуации медиков и их пациентов выручают обзоры. Прочитав обзорную публикацию по какому-либо препарату, можно узнать о нем практически все. Но для врачей и ученых важно, чтобы обзор был не только информативным, но и объективным. Он должен отражать не частную позицию одного автора, а точку зрения всего медицинского сообщества. Именно поэтому была разработана методика метаанализа.

Метаанализ — это тот же обзор литературы, но с количественной оценкой результатов проведенных исследований. Такой подход позволяет сравнить различные исследования, проанализировать эффективность и безопасность препарата в разных ситуациях и сделать выводы.

Чем метаанализ лучше других обзоров

С позиции доказательной медицины признаются только результаты тех клинических исследований, в которых получены объективные данные. Это возможно, если испытания были рандомизированными и контролируемыми, то есть наиболее близкими к эксперименту в научном понимании. Таких исследований может быть множество. Например, можно изучать действие препарата среди детей раннего возраста, школьников и взрослых.

Один из способов прицельно изучить эффективность молекулы (или лекарственного препарата) — составить метаанализ. Он объединяет результаты двух и более исследований. В отличие от обычного обзора, такой материал будет объективным, ведь в нем используются статистические методы и специальные компьютерные программы. При этом проводится проверка научной гипотезы, подробно излагаются методы исследования, обсуждаются полученные результаты. Выводы публикуются в научных журналах, чтобы и врач, и пациент могли получить самые точные сведения о лекарственном препарате или методе лечения.

Как проводится метаанализ

Рассмотрим, как составляют метаанализ на примере имидазолилэтанамида пентадиовой кислоты (противовирусного препарата Ингавирин).

Обзор готовят в несколько этапов:

Сначала нужно сформулировать запрос и понять, с какой целью проводится метаанализ. Например, в случае с Ингавирином стояла задача обобщить данные по эффективности и безопасности препарата в педиатрии. Объединение результатов отдельных исследований с помощью метаанализа позволяет сильно увеличить общий объем наблюдений и статистическую мощность анализа, что увеличивает точность оценки эффекта лечения. Если научные гипотезы, доказанные в каждом исследовании по отдельности, будут доказаны вновь на массиве объединенных данных, то препарату присваивается максимальная степень доказательности — уровень 1.

Всего по препарату с 2007 года было проведено 10 клинических исследований, в которых приняли участие 1862 человека. В числе пациентов были как взрослые, так и дети. Для метаанализа были отобраны три исследования с участием детей в возрасте 317 лет (всего 680 пациентов). Исследования проводились с 2013 по 2016 годы и относились к двойным слепым рандомизированным плацебо-контролируемым.

Следующий этап – определить критерии включения и исключения испытаний.

В первом исследовании участвовали пациенты 13—17 лет — всего 180 детей с гриппом и ОРВИ из 5 медицинских учреждений. Их поделили на две группы. Первая получала Ингавирин в суточной дозировке 60 мг, вторая — плацебо (препарат, похожий внешне, но не обладающий лечебными свойствами).

Во втором исследовании участвовало 310 детей также с симптомами гриппа и ОРВИ в возрасте 7—12 лет из 11 медцентров. Часть из них также получала Ингавирин по 60 мг в сутки, часть — плацебо.

В третьем исследовании участвовали самые маленькие пациенты — 190 детей 3—6 лет из 13 медицинских центров. Их также разделили на две группы. В основной группе детям давали Ингавирин по 30 мг в сутки, в контрольной – плацебо.

Собрав полученные данные, ученые сравнили их и выяснили, что с точки зрения статистики данные являются однородными и могут быть обобщены. Все дети получали одинаковую терапию — противовирусный препарат Ингавирин в соответствующей возрастной дозировке. Иные лекарственные препараты не применялись. Назначались жаропонижающие средства (парацетамол, ибупрофен), но только при температуре выше 38,5 °C или при наличии клинических показаний.

При проведении метаанализа ученые пытались выяснить, насколько эффективен исследуемый препарат (в нашем примере Ингавирин) по сравнению с плацебо. Они объединили данные трех клинических исследований с помощью специальных математических формул. Чтобы объективно сравнить два варианта лечения, они оценивали величину HR (hazard ratio, отношение рисков). Если HR больше 1, значит, лекарственный препарат лучше плацебо. Если HR меньше 1 — плацебо работает лучше, и эффективность препарата сомнительна. Иными словами, зная значение величины HR, можно заключить: в любой момент времени у невыздоровевшего пациента шанс выздороветь при приеме препарата в HR раз больше, чем в группе плацебо (если HR больше 1).

По результатам метаанализа HR (hazard ratio, отношение рисков) составило 1,58. Это означает, что препарат Ингавирин работает лучше, чем плацебо — и это доказывает его эффективность против гриппа и ОРВИ. Говоря научным языком: в ходе терапии с вероятностью 95% шанс выздороветь при приеме препарата Ингавирин больше в 1,58 раза, чем в группе плацебо.

Для оценки эффективности в метаанализе был выбран объективный показатель. В нашем примере это время до того момента, когда температура тела у испытуемых составит менее 37,0 °C. Оказалось, что во всех трех исследованиях у детей, получавших Ингавирин, быстрее нормализовалась температура и исчезали другие проявления болезни, по сравнению с контрольной группой, получавшей плацебо.

В рамках исследования оценивают и частоту развития побочных реакций. В случае с Ингавирином отличий между лекарством и плацебо практически не было – и это говорит о его безопасности. Иными словами, выбранный препарат хорошо переносится, так, как если бы человек и вовсе не принимал никакое лекарство.

Источник

Мета-анализ

Введение

В соответствии с концепцией доказательной медицины научно обоснованными признаются результаты лишь тех клинических исследований, которые проведены на основе принципов клинической эпидемиологии, позволяющих свести к минимуму как систематические ошибки, так и случайные ошибки (с помощью корректного статистического анализа полученных в исследовании данных).

Наиболее обоснованные результаты обычно могут быть получены при проведении рандомизированных контролируемых испытаний лечебных и профилактических вмешательств, так как в таких случаях организация (т.е. структура) и проведение исследования наиболее близки к эксперименту в общенаучном понимании этого термина.

Достаточно часто результаты исследований, в которых оценивается эффективность одного и того же лечебного или профилактического вмешательства или диагностического метода при одном и том же заболевании, различаются.

В связи с этим возникает необходимость относительной оценки результатов разных исследований и интеграции их результатов с целью получения обобщающего вывода.

К одной из самых популярных и быстро развивающихся методик системной интеграции результатов отдельных научных исследований сегодня относится методика мета-анализа.

Международная эпидемиологическая ассоциация характеризует мета-анализ как методику «объединения результатов различных исследований, складывающуюся из качественного компонента (например, использование таких заранее определенных критериев включения в анализ, как полнота данных, отсутствие явных недостатков в организации исследования и т.д.) и количественного компонента (статистическая обработка имеющихся данных)».

Цель мета-анализа — выявление, изучение и объяснение различий (вследствие наличия статистической неоднородности, или гетерогенности) в результатах исследований.

К несомненным преимуществам мета-анализа относятся возможность увеличения статистической мощности исследования, а, следовательно, точности оценки эффекта анализируемого вмешательства. Это позволяет более точно, чем при анализе каждого отдельно взятого небольшого клинического исследования, определить категории больных, для которых применимы полученные результаты.

Правильно выполненный мета-анализ предполагает проверку научной гипотезы, подробное и четкое изложение применявшихся при мета-анализe статистических методов, достаточно подробное изложение и обсуждение результатов анализа, а также вытекающих из него выводов.

Подобный подход обеспечивает уменьшение вероятности случайных и систематических ошибок, позволяет говорить об объективности получаемых результатов.

Подходы к выполнению мета-анализа

Существуют два основных подхода к выполнению мета-анализа.

Первый из них заключается в статистическом повторном анализе отдельных исследований путем сбора первичных данных о включенных в оригинальные исследования наблюдениях. Очевидно, что проведение данной операции далеко не всегда возможно.

Второй (и основной) подход заключается в обобщении опубликованных результатов исследований, посвященных одной проблеме. Такой мета-анализ выполняется обычно в несколько этапов, среди которых важнейшими являются:

выработка критериев включения оригинальных исследований в мета-анализ

оценка гетерогенности (статистической неоднородности) результатов оригинальных исследований

проведение собственно мета-анализа (получение обобщенной оценки величины эффекта)

анализ чувствительности выводов

Необходимо отметить, что этап определения круга включаемых в мета-анализ исследований часто становится источником систематических ошибок мета-анализа. Качество мета-анализа существенно зависит от качества включенных в него исходных исследований и статей.

К основным проблемам при включении исследований в мета-анализ относятся такие, как различия исследований по критериям включения и исключения, структуре исследования, контролю качества.

Существует также смещение, связанное с преимущественным опубликованием положительных результатов исследования (исследования, в которых получены статистически значимые результаты, чаще публикуются, чем те, в которых такие результаты не получены).

Поскольку мета-анализ основан главным образом на опубликованных данных, следует обращать особое внимание на недостаточную репрезентативность отрицательных результатов в литературе.

Включение в мета-анализ неопубликованных результатов также представляет значительную проблему, так как их качество неизвестно в связи с тем, что они не проходили рецензирование.

Основные методы

Выбор метода анализа определяется типом анализируемых данных (бинарные или непрерывные) и типом модели (фиксированных эффектов, случайных эффектов).

Бинарные данные обычно анализируются путем вычисления отношения шансов (ОШ), относительного риска (ОР) или разности рисков в сопоставляемых выборках. Все перечисленные показатели характеризуют эффект вмешательств. Представление бинарных данных в виде ОШ удобно использовать при статистическом анализе, но этот показатель достаточно трудно интерпретировать клинически.

Непрерывными данными обычно являются диапазоны значений изучаемых признаков или нестандартизованная разница взвешенных средних в группах сравнения, если исходы оценивались во всех исследованиях одинаковым образом.

Если же исходы оценивались по-разному (например, по разным шкалам), то используется стандартизованная разница средних (так называемая величина эффекта) в сравниваемых группах.

Одним из первых этапов мета-анализа является оценка гетерогенности (статистической неоднородности) результатов эффекта вмешательства в разных исследованиях.

Для оценки гетерогенности часто используют критерии χ2 с нулевой гипотезой о равном эффекте во всех исследованиях и с уровнем значимости 0,1 для повышения статистической мощности (чувствительности) теста.

Источниками гетерогенности результатов разных исследований принято считать дисперсию внутри исследований (обусловленную случайными отклонениями результатов разных исследовании от единого истинного фиксированного значения эффекта), а также дисперсию между исследованиями (обусловленную различиями между изучаемыми выборками по характеристикам больных, заболеваний, вмешательств, приводящими к несколько разным значениям эффекта — случайными эффектами).

Если предполагается, что дисперсия между исследованиями близка к нулю, то каждому из исследований приписывается вес, величина которого обратно пропорциональна дисперсии результата данного исследования.

При нулевой дисперсии между исследованиями можно использовать модель фиксированных (постоянных) эффектов. В этом случае предполагается, что изучаемое вмешательство во всех исследованиях имеет одну и ту же эффективность, а выявляемые различия между исследованиями обусловлены только дисперсией внутри исследований. В этой модели пользуются методом Мантела-Ханзела.

Метод Мантела-Ханзела

В таблице представлены пропорции пациентов в Нью-Йорке и в Лондоне, которым был поставлен диагноз шизофрения.

Таблица1. Данные о числе диагнозов шизофрении, поставленных психиатрами клиник в Нью-Йорке и в Лондоне в ходе трех исследований

Процедура, предложенная Мантелом и Ханзелом, позволяет оценивать предположительно типичное значение отношения шансов и проверять значимость общей степени связи.

Оценкой Мантела-Ханзела отношения шансов является:

— взвешенное среднее отдельных отношений шансов по группам.

Критерий хи-квадрат Мантела-Ханзела проверки значимости общей меры связи основан на взвешенном среднем g разностей между пропорциями.

Статистика хи-квадрат Мантела-Ханзела задается выражением

с 1 степенью свободы.

Для того, чтобы статистика имела распределение хи-квадрат с 1 степенью свободы, каждая из четырех сумм ожидаемых частот,,, должна отличаться не менее чем на 5 как от своего минимума, так и от своего максимума.

Значит, чтобы с уверенностью пользоваться для статистики распределением хи-квадрат с 1 степенью свободы, вовсе не обязательно иметь большие маргинальные частоты. Число наблюдений в таблице может быть даже равно двум, как в случае связанных пар.

Единственное, что нужно при этом – достаточно большое число таблиц, чтобы каждая сумма ожидаемых частот была велика.

Другие подходы к выполнению мета-анализа

Модель случайных эффектов предполагает, что эффективность изучаемого вмешательства в разных исследованиях может быть разной.

Данная модель учитывает дисперсию не только внутри одного исследования, но и между разными исследованиями. В этом случае суммируются дисперсии внутри исследований и дисперсия между исследованиями.

Целью мета-анализа непрерывных данных обычно является представление точечных и интервальных (95% ДИ) оценок обобщенного эффекта вмешательства.

Существует также ряд других подходов к выполнению мета-анализа: байесовский мета-анализ, кумулятивный мета-анализ, многофакторный мета-анализ, мета-анализ выживаемости.

Байесовский мета-анализ позволяет рассчитать априорные вероятности эффективности вмешательства с учетом косвенных данных. Такой подход особенно эффективен при малом числе анализируемых исследований. Он обеспечивает более точную оценку эффективности вмешательства в модели случайных эффектов за счет объяснения дисперсии между разными исследованиями.

Кумулятивный мета-анализ — частный случай байесовского мета-анализа — пошаговая процедура включения результатов исследований в мета-анализ по одному в соответствии с каким-либо принципом (в хронологической последовательности, по мере убывания методологического качества исследования и т.д.).

Он позволяет рассчитывать априорные и апостериорные вероятности в итерационном режиме по мере включения исследований в анализ.

Регрессионный мета-анализ (логистическая регрессия, регрессия взвешенных наименьших квадратов, модель Кокса и др.) используется при существенной гетерогенности результатов исследований.

Он позволяет учесть влияние нескольких характеристик исследования (например, размера выборки, дозы препарата, способа его введения, характеристик больных и др.) на результаты испытаний вмешательства.

Результаты регрессионного мета-анализа обычно представляют в виде коэффициента наклона с указанием ДИ.

Следует заметить, что мета-анализ может выполняться для обобщения результатов не только контролируемых испытаний медицинских вмешательств, но и когортных исследований (например, исследований факторов риска).

Однако при этом следует учитывать высокую вероятность возникновения систематических ошибок.

Устойчивость. После получения обобщенной оценки величины эффекта возникает необходимость определить ее устойчивость.

Для этого выполняется так называемый анализ чувствительности. В зависимости от конкретной ситуации его можно проводить на основе нескольких различных методов, например:

Включение и исключение из мета-анализа исследований, выполненных на низком методологическом уровне

Изменение параметров данных, отбираемых из каждого анализируемого исследования, например, если в каких-либо исследованиях сообщается о клинических исходах в первые 2 нед. заболевания, а в других исследованиях — о клинических исходах в первые 3—4 нед. заболевания, то допустимо сравнение клинических исходов не только для каждого из этих периодов наблюдения, но и для суммарного периода наблюдения длительностью до 4 нед.

Исключение из мета-анализа наиболее крупных исследований. Если величина эффекта того или иного анализируемого вмешательства при анализе чувствительности существенно не изменяется, то имеются основания полагать, что выводы первичного мета-анализа достаточно обоснованы.

Существуют также способы оценки полноты выявления включенных в мета-анализ исследований. Обычно неполнота выявления связана с возникновением систематической ошибки, связанной с преимущественным опубликованием положительных результатов исследований (результатов, описывающих статистически значимые различия групп).

Для качественной оценки наличия такой систематической ошибки мета-анализа обычно прибегают к построению воронкообразной диаграммы рассеяния результатов отдельных исследований в координатах (величина эффекта, размер выборки). При полном выявлении исследований эта диаграмма должна быть симметричной. Вместе с тем существуют и формальные методы оценки существующей асимметрии.

Результаты мета-анализа обычно представляются графически (точечные и интервальные оценки величин эффектов каждого из включенных в мета-анализ исследований; пример на рис.1) и в виде таблиц с соответствующими статистиками.

Рис.1 Представление результатов мета-анализа

Литература

1. О.Ю. Реброва «Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA«

2. Дж. Флейс «Статистические методы изучения таблиц, долей и пропорций», перевод с английского И.Л. Легостаева, А.М. Никифорова

Источник

Метаанализ может не только дать оценку неизвестной общей истины, но и дать возможность сопоставить результаты различных исследований и выявить закономерности среди результатов исследований, источники разногласий между этими результатами или другие интересные взаимосвязи, которые могут выявиться с множественные исследования.

СОДЕРЖАНИЕ

История

Шаги в метаанализе

Метаанализу обычно предшествует систематический обзор, так как это позволяет идентифицировать и критически оценить все соответствующие доказательства (тем самым ограничивая риск систематической ошибки в итоговых оценках). Общие шаги заключаются в следующем:

Методы и предположения

Подходы

В общем, при выполнении метаанализа можно выделить два типа свидетельств: данные отдельных участников (IPD) и агрегированные данные (AD). Сводные данные могут быть прямыми или косвенными.

AD более широко доступен (например, из литературы) и обычно представляет собой сводные оценки, такие как отношения шансов или относительные риски. Это можно напрямую синтезировать в концептуально схожих исследованиях с использованием нескольких подходов (см. Ниже). С другой стороны, косвенные совокупные данные измеряют эффект двух видов лечения, каждое из которых сравнивалось с аналогичной контрольной группой в метаанализе. Например, если лечение A и лечение B напрямую сравнивались с плацебо в отдельных метаанализах, мы можем использовать эти два объединенных результата, чтобы получить оценку эффектов A и B в косвенном сравнении как эффект A против плацебо минус эффект B. против плацебо.

Доказательства IPD представляют собой необработанные данные, собранные исследовательскими центрами. Это различие вызвало необходимость в различных метааналитических методах, когда требуется синтез доказательств, и привело к развитию одноэтапных и двухэтапных методов. В одноэтапных методах IPD из всех исследований моделируются одновременно с учетом кластеризации участников в рамках исследований. Двухэтапные методы сначала вычисляют сводную статистику для AD из каждого исследования, а затем вычисляют общую статистику как средневзвешенное значение статистики исследования. За счет сокращения IPD до AD двухэтапные методы также могут применяться, когда IPD доступен; это делает их привлекательным выбором при выполнении метаанализа. Хотя обычно считается, что одноэтапные и двухэтапные методы дают схожие результаты, недавние исследования показали, что иногда они могут приводить к разным выводам.

Статистические модели для агрегированных данных

Прямые доказательства: модели, учитывающие только эффекты исследования.

Модель с фиксированными эффектами

Модель случайных эффектов

Распространенной моделью, используемой для синтеза гетерогенных исследований, является модель метаанализа со случайными эффектами. Это просто средневзвешенное значение величины эффекта группы исследований. Вес, который применяется в этом процессе взвешенного усреднения с метаанализом случайных эффектов, достигается в два этапа:

Это означает, что чем больше эта изменчивость в величине эффекта (также известная как неоднородность ), тем больше невзвешенность, и это может достигнуть точки, когда результат метаанализа случайных эффектов станет просто невзвешенным средним размером эффекта по всем исследованиям. С другой стороны, когда все размеры эффекта схожи (или вариабельность не превышает ошибку выборки), REVC не применяется, а метаанализ случайных эффектов по умолчанию сводится к простому метаанализу с фиксированным эффектом (только с обратным взвешиванием дисперсии).

Степень этого разворота зависит исключительно от двух факторов:

IVhet модель

Дои и Барендрегт в сотрудничестве с Кханом, Талибом и Уильямсом (из Университета Квинсленда, Университета Южного Квинсленда и Университета Кувейта) создали квази-правдоподобную альтернативу обратной дисперсии модели случайных эффектов (RE), для которой подробности доступны в Интернете. Это было включено в MetaXL версии 2.0, бесплатную надстройку Microsoft Excel для метаанализа, разработанную Epigear International Pty Ltd, и сделанную доступной 5 апреля 2014 года. Авторы заявляют, что явным преимуществом этой модели является то, что она решает две проблемы. основные проблемы модели случайных эффектов. Первое преимущество модели IVhet заключается в том, что охват остается на номинальном (обычно 95%) уровне для доверительного интервала, в отличие от модели со случайными эффектами, охват которой уменьшается с увеличением неоднородности. Второе преимущество состоит в том, что модель IVhet поддерживает весовые коэффициенты обратной дисперсии отдельных исследований, в отличие от модели RE, которая придает небольшим исследованиям больший вес (и, следовательно, более крупным исследованиям меньше) с увеличением неоднородности. Когда неоднородность становится большой, веса отдельных исследований в модели RE становятся равными, и, таким образом, модель RE возвращает среднее арифметическое, а не средневзвешенное. Этот побочный эффект модели RE не возникает с моделью IVhet, которая, таким образом, отличается от оценки модели RE с двух точек зрения: объединенные оценки будут отдавать предпочтение более крупным испытаниям (в отличие от штрафов за более крупные испытания в модели RE) и будут иметь уверенность. интервал, который остается в пределах номинального покрытия в условиях неопределенности (неоднородности). Doi & Barendregt предполагают, что, хотя модель RE предоставляет альтернативный метод объединения данных исследования, их результаты моделирования демонстрируют, что использование более конкретной вероятностной модели с несостоятельными предположениями, как в случае модели RE, не обязательно дает лучшие результаты. В последнем исследовании также сообщается, что модель IVhet решает проблемы, связанные с недооценкой статистической ошибки, плохим охватом доверительного интервала и повышенным MSE, наблюдаемым с помощью модели случайных эффектов, и авторы приходят к выводу, что исследователи отныне должны отказаться от использования модели случайных эффектов. в метаанализе. Хотя их данные убедительны, разветвления (с точки зрения величины ложно положительных результатов в базе данных Кокрейн) огромны, и поэтому принятие этого вывода требует тщательного независимого подтверждения. Доступность бесплатного программного обеспечения (MetaXL), которое запускает модель IVhet (и все другие модели для сравнения), облегчает это для исследовательского сообщества.

Прямые доказательства: модели, включающие дополнительную информацию

Модель качественных эффектов

Косвенные доказательства: методы сетевого метаанализа

В методах метаанализа косвенного сравнения (также называемых сетевым метаанализом, в частности, когда одновременно оценивается несколько видов лечения) обычно используются две основные методологии. Во-первых, это метод Бухера, который представляет собой однократное или повторяющееся сравнение замкнутого цикла из трех процедур, так что одно из них является общим для двух исследований и образует узел, на котором цикл начинается и заканчивается. Следовательно, для сравнения нескольких курсов лечения необходимы множественные сравнения два на два (петли из 3 процедур). Эта методология требует, чтобы в исследованиях с более чем двумя группами были выбраны только две группы, поскольку требуются независимые попарные сравнения. Альтернативная методология использует сложное статистическое моделирование для одновременного включения нескольких клинических испытаний и сравнений между всеми конкурирующими видами лечения. Они были выполнены с использованием байесовских методов, смешанных линейных моделей и мета-регрессионных подходов.

Байесовская структура

Определение модели метаанализа байесовской сети включает в себя написание модели направленного ациклического графа (DAG) для универсального программного обеспечения Монте-Карло цепи Маркова (MCMC), такого как WinBUGS. Кроме того, для ряда параметров должны быть указаны предыдущие распределения, а данные должны быть предоставлены в определенном формате. Вместе DAG, априорные значения и данные образуют байесовскую иерархическую модель. Чтобы еще больше усложнить ситуацию, из-за характера оценки MCMC необходимо выбрать сверхдисперсные начальные значения для ряда независимых цепочек, чтобы можно было оценить сходимость. В настоящее время нет программного обеспечения, которое автоматически генерирует такие модели, хотя есть некоторые инструменты, помогающие в этом процессе. Сложность байесовского подхода ограничивает использование этой методологии. Была предложена методология автоматизации этого метода, но она требует наличия данных об исходах на уровне группы, а они обычно недоступны. Иногда делаются большие заявления о врожденной способности байесовской структуры обрабатывать сетевой метаанализ и ее большей гибкости. Однако этот выбор реализации схемы вывода, байесовской или частотной, может быть менее важным, чем другие варианты моделирования эффектов (см. Обсуждение моделей выше).

Многопараметрическая система частотности

С другой стороны, частотные многомерные методы включают приближения и предположения, которые не указываются явно или не проверяются при применении методов (см. Обсуждение моделей метаанализа выше). Например, пакет mvmeta для Stata позволяет выполнять метаанализ сети в частотной структуре. Однако, если в сети нет общего компаратора, то с этим необходимо справиться путем расширения набора данных вымышленными руками с высокой дисперсией, что не очень объективно и требует решения относительно того, что составляет достаточно высокую дисперсию. Другой проблемой является использование модели случайных эффектов как в этой частотной структуре, так и в байесовской структуре. Сенн советует аналитикам с осторожностью относиться к интерпретации анализа «случайных эффектов», поскольку допускается только один случайный эффект, но можно предусмотреть множество. Сенн продолжает, что это довольно наивно, даже в случае, когда сравниваются только два лечения, предполагать, что анализ случайных эффектов учитывает всю неопределенность в отношении того, как эффекты могут варьироваться от испытания к испытанию. Новые модели метаанализа, такие как рассмотренные выше, безусловно, помогут облегчить эту ситуацию, и они были реализованы в следующей структуре.

Обобщенная структура парного моделирования

Индивидуальный мета-анализ

Другая форма дополнительной информации исходит из предполагаемой настройки. Если целевая настройка для применения результатов метаанализа известна, то можно будет использовать данные из настройки для адаптации результатов, таким образом, производя «специализированный мета-анализ»., Это использовалось в мета-анализах точности тестирования, где эмпирические знания о частоте положительных результатов теста и распространенности были использованы для получения области в пространстве рабочих характеристик приемника (ROC), известной как «применимая область». Затем выбираются исследования для целевого параметра на основе сравнения с этим регионом и объединяются для получения итоговой оценки, адаптированной к целевому параметру.

Агрегирование IPD и AD

Мета-анализ также может применяться для объединения IPD и AD. Это удобно, когда исследователи, проводящие анализ, имеют свои собственные необработанные данные при сборе агрегированных или сводных данных из литературы. Обобщенная интеграционная модель (GIM) является обобщением метаанализа. Это позволяет отличать модель, подобранную по данным отдельных участников (IPD) от моделей, используемых для вычисления агрегированных данных (AD). GIM можно рассматривать как метод калибровки модели для большей гибкости интеграции информации.

Проверка результатов метаанализа

Вызовы

Метаанализ нескольких небольших исследований не всегда позволяет предсказать результаты одного большого исследования. Некоторые утверждали, что недостатком метода является то, что источники смещения не контролируются методом: хороший мета-анализ не может исправить плохой дизайн или смещение в исходных исследованиях. Это означало бы, что в метаанализ следует включать только методологически обоснованные исследования, практику, называемую «синтезом наилучших доказательств». Другие метааналитики включили бы более слабые исследования и добавили бы предикторную переменную на уровне исследования, которая отражает методологическое качество исследований, чтобы изучить влияние качества исследования на величину эффекта. Однако другие утверждали, что лучший подход состоит в том, чтобы сохранить информацию о дисперсии в исследуемой выборке, используя как можно более широкую сеть, и что методологические критерии отбора привносят нежелательную субъективность, сводя на нет цель подхода.

Предвзятость публикации: проблема с файловым ящиком

Распределение размеров эффекта можно визуализировать с помощью воронкообразного графика, который (в его наиболее распространенной версии) представляет собой диаграмму разброса стандартной ошибки в зависимости от размера эффекта. Он использует тот факт, что более мелкие исследования (следовательно, более крупные стандартные ошибки) имеют больший разброс величины эффекта (будучи менее точными), в то время как более крупные исследования имеют меньший разброс и образуют вершину воронки. Если многие отрицательные исследования не были опубликованы, оставшиеся положительные исследования дают начало графику воронки, основание которого смещено в одну сторону (асимметрия графика воронки). Напротив, когда нет предвзятости публикации, эффект небольших исследований не имеет причин для отклонения в одну сторону, и поэтому получается симметричный график воронки. Это также означает, что при отсутствии предвзятости публикации не будет никакой связи между стандартной ошибкой и размером эффекта. Отрицательная или положительная связь между стандартной ошибкой и размером эффекта будет означать, что более мелкие исследования, которые обнаружили эффекты только в одном направлении, с большей вероятностью будут опубликованы и / или представлены для публикации.

Помимо визуальной воронки, были также предложены статистические методы обнаружения систематической ошибки публикации. Они противоречивы, потому что обычно имеют низкую мощность для обнаружения смещения, но также могут давать ложные срабатывания при некоторых обстоятельствах. Например, эффекты небольших исследований (предвзятые более мелкие исследования), в которых существуют методологические различия между более мелкими и более крупными исследованиями, могут вызвать асимметрию в размерах эффекта, которая напоминает предвзятость публикации. Однако эффекты небольших исследований могут быть столь же проблематичными для интерпретации метаанализов, и авторы метааналитики обязаны исследовать потенциальные источники систематической ошибки.

Для сокращения числа ложноположительных ошибок был предложен тандемный метод анализа предвзятости публикации. Этот тандемный метод состоит из трех этапов. Во-первых, вычисляется отказоустойчивое N Орвина, чтобы проверить, сколько исследований следует добавить, чтобы уменьшить статистику теста до тривиального размера. Если это количество исследований больше, чем количество исследований, использованных в метаанализе, это признак того, что нет систематической ошибки публикации, поскольку в этом случае требуется много исследований, чтобы уменьшить размер эффекта. Во-вторых, можно провести регрессионный тест Эггера, который проверяет, является ли график воронки симметричным. Как упоминалось ранее: симметричный график воронки является признаком отсутствия предвзятости публикации, поскольку размер эффекта и размер выборки не зависят. В-третьих, можно использовать метод обрезки и заполнения, который вводит данные, если график воронки асимметричен.

Проблема предвзятости публикации не является тривиальной, поскольку предполагается, что 25% метаанализов в психологических науках могли пострадать от предвзятости публикации. Однако низкая мощность существующих тестов и проблемы с внешним видом графика воронки остаются проблемой, а оценки систематической ошибки публикации могут оставаться ниже реальных.

Большинство дискуссий о предвзятости публикации сосредоточено на практике журналов, благоприятствующей публикации статистически значимых результатов. Однако сомнительные методы исследования, такие как переработка статистических моделей до достижения значимости, также могут способствовать получению статистически значимых результатов в поддержку гипотез исследователей.

Проблемы, связанные с исследованиями, в которых не сообщалось о статистически значимых эффектах

Проблемы, связанные со статистическим подходом

Проблемы, возникающие из-за предвзятости, связанной с повесткой дня

Например, в 1998 году федеральный судья США обнаружил, что Агентство по охране окружающей среды США злоупотребило процессом метаанализа для проведения исследования, в котором утверждалось, что табачный дым в окружающей среде (ETS) подвергается риску рака для некурящих с намерением повлиять на разработчиков политики. принять законы о запрете курения на рабочем месте. Судья установил, что:

В результате злоупотребления суд аннулировал главы 1–6 и приложения к EPA «Влияние пассивного курения на респираторное здоровье: рак легких и другие заболевания».

Слабые стандарты включения приводят к ошибочным выводам

Мета-анализ в образовании часто недостаточно ограничивает методологическое качество включаемых в него исследований. Например, исследования, включающие небольшие выборки или меры, разработанные исследователями, приводят к завышенным оценкам размера эффекта.

Приложения в современной науке

Современный статистический метаанализ делает больше, чем просто объединяет размеры эффекта набора исследований с использованием средневзвешенного значения. Он может проверить, демонстрируют ли результаты исследований больше вариаций, чем ожидаемые, из-за выборки разного числа участников исследования. Кроме того, характеристики исследования, такие как используемый инструмент измерения, выборка населения или аспекты дизайна исследования, могут быть закодированы и использованы для уменьшения дисперсии оценщика (см. Статистические модели выше). Таким образом, некоторые методологические недостатки исследований можно исправить статистически. Другие виды использования метааналитических методов включают разработку и проверку моделей клинического прогнозирования, где метаанализ может использоваться для объединения данных отдельных участников из разных исследовательских центров и для оценки обобщаемости модели или даже для агрегирования существующих моделей прогнозирования.

Источник