解读六——E1. 系统评价文献检索方法论

概述

在疾病预防和健康促进办公室(ODPHP,https://health.gov/),美国国立卫生研究院(NIH,https://www.nih.gov/),疾病控制和预防中心(CDC,https://www.cdc.gov/)以及健身运动和营养总统委员会(PCFSN,https://www.hhs.gov/fitness/index.html)的指导下, ICF(承包商)在此称为文献综述审查小组,负责支持2018年体育活动指南咨询委员会审查用于支持其报告编制的科学文献。

文献综述小组使用了美国农业部(USDA)营养证据库(NEL)1,医疗保健研究和质量机构(AHRQ)开发的系统评价(SR,systematic review)的最佳实践方法2,Cochrane协作系统3,和美国国家科学、工程和医学院的健康与医学部的SR标准4,共同评估和综合已发表的同行评审的身体活动研究。文献审查小组严格的、以协议为导向的方法旨在最大限度提高透明度,减少偏见,并确保委员会开展的各种SR具有相关性、及时性和高质量。使用这种基于证据的方法使得遵守“数据质量法案”5,该法案规定联邦机构必须确保用于形成联邦指导的信息的质量、客观性、实用性和完整性。在整个委员会的流程中实施严格的质量控制流程,以确保SR的设计、实施和综合的透明度、完整性、可重复性和研究卓越性。

REFERENCES

在联邦领导团队的支持下,2018年科学报告进程由委员会领导。文献审查小组完成的所有工作都在委员会成员的指导和审查之下。文献综述小组包括几个小组:(说明:所有文献评审小组的工作人员须在开展此团队工作之前披露潜在的利益冲突或专业偏见。未发现任何利益冲突或偏见。)

• 一个培训和质量控制小组:开发抽象工具和伴随抽象指南,开发和实施培训和质量控制协议,并确保委员会SR的整体质量和完整性;

• 若干SR联络员:为其指定的小组委员会和/或工作组管理文献评议小组的工作流程;

• 若干图书馆资料员:审查搜索策略,确认搜索结果,并检索文章全文;

• 一个分类小组:进行5小时分类培训,然后通过检索文献,确定对原始文章、现有报告、SR、荟萃分析(MA元分析)和汇总分析的标题和摘要进行检索,以及

• 若干文摘人员:在从原始文章、现有报告、SR、MA和汇总分析中抽取数据(摘要)之前,参加了为期5周分三个阶段的网络虚拟培训。他们还评估原始文章的偏见,评估了现有报告、SR,MA和汇总分析的质量。

采用六步工作法完成科学报告:

•第1步:选定系统评价问题

•第2步:制定系统审查战略

•步骤3:搜索、筛选和选择需要检查每个问题的证据

•步骤4:抽象数据并评估研究偏倚的质量和风险

•第5步:描述证据

•第6步:完成证据组合并起草科学报告

图E-1提供了该过程的直观示意。该模型显示每个步骤的六个总体步骤和相关任务。它还表明,在任何给定时间正执行多个SR。 对于每个SR顺序完成步骤2到6。 在委员会整个生命周期中,小组委员会在现场公开会议上介绍其工作状况供全体委员会审查和批准。 每个任务的责任方(完整的委员会P,小组委员会S和/或文献评议小组L)都包含在模型中。

系统评价具体过程

第1步:选定系统评价(SR)问题

2014年,由ODPHP,NIH,CDC和PCFSN领导的联邦规划小组与来自全国各地的专家组织了一次潜在范围和科学会议,以收集有关是否有足够新证据用于更新“2008年体育活动指南”信息。根据“2008年7月的体育活动指南咨询委员会报告”和快速发展的科学领域的摘要,该小组确定了一些新研究的关键领域:年龄小于6岁的孩子,老年人,整个寿命周期大脑健康,剂量反应和久坐行为。 2016年初,文献审查小组进行了一项范围界定工作,以确定自该报告完成以来发表在2008年科学报告中的主题文献数量。委员会使用了2014年的主要议题清单、范围界定工作摘要及其专业知识,以确定最终审查的主题清单。

在第一次公开会议上,委员会决定主题并成立了小组委员会。小组委员会成员随后在每个主题内制定并完善了明确重点的SR问题和子问题,用于系统搜索现有文献。SR问题的选定是在小组委员会电话会议期间进行的。

优化SR问题

在选定SR问题清单后,小组委员会成员根据以下内容对问题进行了排名:

• 可能对公众健康产生最大影响

• 有可能为公共卫生政策和/或计划提供信息

• 存在成熟的科学证据

• 潜在的普遍性

全体委员会在第二次公开会议期间审查和修订了SR问题及其优先顺序。对第二次公开会议后提出的问题或对问题的任何改进都提交所有小组委员会领导,供其审查和批准。

第2步:制定系统评价战略

开发分析框架

小组委员会为其每个SR问题制定了一个分析框架。分析框架是搜索的直观表示,为每个搜索策略提供基础。整个过程中使用框架来明确定义关键变量和术语,帮助确定包含和排除标准,为文献检索策略的发展提供信息,并控制范围。对于每个问题,小组委员会成员被要求使用PICO(人口,干预或暴露,比较和结果)方法开发分析框架的组成部分。分析框架规定了人口类型(参与者),干预类型(和比较)以及感兴趣的结果类型的标准。小组委员会电话会议讨论和完善这些框架。在某些情况下,这些讨论导致对SR问题的改进。开发分析框架通常与下一步(制定纳入和排除标准)相结合。

制定纳入和排除标准

SR联络员制定了一个模板,用于起草每次检索的纳入和排除标准,以确定研究是否有资格纳入SR,并确保SR中考虑的证据与美国人口相关。该模板与小组委员会成员共享,以供审查、反馈和批准。为了促进一致性,所有SR都包括四个基本标准并酌情使用其他标准。四个常数标准是:

• 出版语言:必须以英文全文发表研究。

• 出版状态:研究必须在同行评审的期刊上发表,或者由委员会确定的高质量报告发表。

• 研究类型:研究必须是现有的SR、MA、汇总分析、报告或原始研究,由委员会确定具有适当的适用性和质量。

    ◦ 如果符合SR问题的纳入标准,现有的评议(包括SR、MA和汇总分析)也被纳入考虑;不优先考虑选择特定类型的评议。

• 研究对象:研究必须包括人类受试者

视情况而定,小组委员会成员可考虑额外标准,以确定最佳证据回答每个SR问题。这些标准涉及以下内容:

• 研究对象的年龄

• 研究对象的健康状况

• 包括或排除比较组

• 出版发表日期

• 实验设计

• 干预/暴露

• 结果

制定搜索策略

制定一个搜索策略以保证对每篇同行评议文献进行SR。每个搜索策略包括以下项目:

• 搜索术语

• 用于组合搜索项的布尔逻辑

• 搜索的数据库

• 限制:搜索日期范围,搜索的语言,包含的文章类型(例如,同行评审文章,特殊数据过滤)

搜索策略还应记录搜索日期和每次搜索确定的文章数量。

每篇SR使用三个数据库(PubMed®,CINAHL(www.cinahl.com)和Cochrane)。确定这三个数据库是因为它们代表了与委员会SR相关领域的引文、摘要和完整文章的综合信息库。

SR联络员、图书馆员(来自ICF和国立卫生研究院图书馆)和小组委员会成员在一个迭代过程中共同制定每项战略。制定“核心体育活动搜索术语”清单并分享给委员会。每个小组委员会根据其每个SR问题添加或删除体育活动术语。核心术语有:"Aerobic activities", “Aerobic activity", "Cardiovascular activities", "Cardiovascular activity", "Endurance activities", "Endurance activity", "Exercise", "Physical activities", "Physical activity", "Physical conditioning", "Resistance training", "Sedentary lifestyle", "Strength training", "Walking", and “Sedentary” 。针对每个SR问题制定针对人口和/或健康结果的搜索术语。在适当情况下,SR小组委员会分享针对人口或健康结果的搜索术语(例如癌症,全因死亡率),以确保小组委员会之间的一致性。

一旦搜索条款得到小组委员会成员批准,SR联络人就实施搜索草案估算使用该搜索策略可识别出多少结果(文章)。如果小组委员会成员根据其专业知识对结果的数量似乎不合理或不准确,则SR联络员与小组委员会成员合作,改进搜索策略以确保其充分捕获解决SR问题的文章。如果小组委员会成员认为结果的数量合理和准确,则SR联络员分享通过搜索小组委员会审查、反馈和批准而确定的文章清单。

每个SR问题的分析框架,包含和排除标准以及搜索策略都可以在特定问题的证据组合中找到,可以在www.health.gov/paguidelines上查阅。

第3步:搜索,筛选和选择证据以进行评价

搜索、筛选和选择科学文献是一个迭代过程,旨在客观地确定最完整和相关的证据体以回答每个SR问题。根据分析框架、检索策略以及纳入和排除标准,SR联络人采用系统方式搜索、筛选和选择科学文献为每个小组委员会的审议提供透明的证据。

确定回答SR问题的证据来源

每个SR问题都通过以下方式得到解答:

对于每个SR,首先搜索和筛选现有评论和报告。 这些文件是用于防止重复工作和促进有效时间和资源管理的总结证据的宝贵来源。 在审查初始搜索结果或标题摘要后,小组委员会成员为每个SR做出使用现有审查和/或报告,原始研究或现有审查和/或报告与原始研究相结合的决定,或全文分类结果。

搜索高质量的现有评论

通过使用搜索策略确定了现有的评论,该策略仅限于仅识别SR、MA和汇总分析的出版物。 两名图书馆员独立审查了SR联络员开展的搜索策略,以确保质量和全面性,并根据需要提供建议。图书馆员还重复每次搜索,以识别搜索过程中的任何错误,并查看每个搜索策略的文档。

完成每次搜索后,删除了重复项,从而生成一组用于分类的文章。为分类确定的文章清单与小组委员会成员分享,他们提供了审查、反馈和批准。

搜索高质量的现有报告

SR联络人使用搜索术语“身体活动”,“锻炼”和“久坐”搜索了9个资源和网站,以识别和收集与搜索未识别的SR问题可能相关的高质量现有报告。 用于高质量的现有评论。 搜索结果导致1,277个标题由两个SR联络人独立审查,从而产生了195个可能相关的报告。 当发现差异时,第三个SR联络人审查了标题,以帮助达成共识。

SR联络员审查了报告标题和说明清单,并与小组委员会分享了他们认为可能相关的任何内容。 如果小组委员会成员同意现有报告与SR问题相关,则该报告转为分类。

搜索原始研究文章

如果小组委员会确定需要完整(从头)SR或部分(补充从头)SR,因为例如缺乏相关的现有审查,SR联络员制定了一项专门定制的完整或部分搜索策略 小组委员会审议小组委员会的需要。 然后,SR联络员实施了经批准的搜索策略。 图书馆员审查了搜索策略以确保质量和综合性质,并且重复搜索以识别搜索程序中的任何错误。

完成搜索后,删除了重复项,从而生成了一组分类文章。 为分类确定的文章清单与小组委员会成员分享,他们提供了审查,反馈和批准。

搜索以识别高质量报告的资源和网站包括:

AHRQ证据报告:http://www.guideline.gov/resources/ahrq-evidence-reports.aspx;

Campbell Collaboration SR数据库:http://www.campbellcollaboration.org/lib/;

https://onlinelibrary.wiley.com/journal/18911803;

Cochrane数据库:通过NIH图书馆访问;

灰色文献报告:http://www.greylit.org/;

卫生和医学司:http://www.nationalacademies.org/hmd/Reports.aspx;

国家指南信息交换机构:http://www.guideline.gov;

NICE:http://www.evidence.nhs.uk/;

兰德公司:通过NIH图书馆访问;

世界卫生组织:http://www.who.int/gho/publications/en/;

NIH图书馆:https://www.nlm.nih.gov/

PUBMED:https://www.ncbi.nlm.nih.gov/pubmed

分诊文章

文献检索完成后,所有文章标题和摘要均由两名分流小组成员,一名分流小组成员和一名小组委员会成员,或两名或多名小组委员会成员进行独立筛选或分类。 当发现差异时,另外的筛选者会审查标题或摘要以帮助达成共识。

进行补充搜索活动

鼓励小组委员会成员和联邦支持人员分享可能在搜索策略执行后对证据做出贡献的其他文章。 小组委员会成员和工作人员通过他们的专业知识和对文献的熟悉程度或通过手工搜索所包含的文章参考文献列表来确定这些文章。

确定证据来源

在审查了所有纳入的现有审查和报告的全文后,小组委员会成员决定是否可以使用这些证据来全部,部分或根本不回答SR问题。

• 如果所选的现有评论和报告可用于完整回答SR问题,则文献评审小组前进到步骤4:抽象数据和评估质量和偏差风险。

• 如果所选择的现有审查和报告可以用于部分回答S​​R问题(即与de novo SR结合),则文献审查小组前进到步骤4以查看现有的审查和报告。同时,小组委员会成员讨论了选定的现有审查和/或报告没有涉及SR问题的哪些组成部分。 SR联络人开发并实施了一种搜索策略,以回答问题的其他组成部分,如“搜索原创研究文章”部分所述。在实施之前,与小组委员会成员分享了经修订的检索策略,以供反馈和批准。

• 如果现有的评论和报告都不能用于回答SR问题(或者如果搜索策略未确定现有的评论和/或报告),则SR联络人会实施搜索策略以搜索原始研究文章。

第4步:抽象数据和评估质量和偏差风险

使用客观数据抽象方法来呈现和总结解决SR问题的研究的特征。 数据抽象的目标是准确地识别和简明地描述每项研究的关键要素,同时从整个证据中捕获每篇文章的一致信息。 抽象人员被聘用,培训和认证,以履行所有抽象职责,并在整个抽象过程中使用严格的质量控制程序。

进行抽象培训和质量控制

抽象候选人参加了为期五周的三阶段虚拟培训,最终形成了认证过程。 所有抽象人员在为委员会摘要文章之前都经过了认证。 培训由抽象员培训手册提供支持,该手册包含详细说明,定义,报告说明,响应选项和示例(包括在线数据库的屏幕截图),以及培训中使用的文章的注释版本。 除初始培训课程外,培训和质量控制团队还为抽象人员提供小组再培训和重新校准以及一对一的咨询和培训。 培训和质量控制团队持续不断地根据常见问题和常见错误提供反馈并制定指导文件(例如,常见问题解答)。

两个抽象(称为“对”)独立地执行所有数据抽象任务。 在在线数据库中为抽象人员分配了一批文章进行审查。 在两个抽象人完成批次后,他们审查了他们的条目,讨论了差异,并达成了协议:

• 当抽象者能够解决差异时,在线数据库被更新以反映该决定。

• 在需要时,抽象人员联系培训和质量控制团队成员,以讨论分歧或获得澄清。 培训和质量控制团队成员对存在差异的特定数据元素进行了独立审查,并提供了指导。 在抽象人员做出决定后,在线数据库进行了更新以反映决策。

在抽象的同时,培训和质量控制团队独立地抽取12.5%(至少)现有评论,报告和原始研究的数据,然后将他们的条目与抽象者对的条目进行比较以识别差异。 当抽象人员从抽象的SR,MA,汇总分析或报告抽象到摘要原始文章以及新的研究问题需要在抽象形式中进行更改时,培训和质量控制团队会审查更高百分比的文章。

摘要数据

使用标准抽象项目将数据输入在线数据库,一个用于现有评论和报告,另一个用于原始研究(标准抽象项目 - SR,MA,汇总分析;和报告和标准抽象项目 - 原始研究,见后)。 这些表格是根据2008年咨询委员会和社区预防服务指南SR使用的类似表格建模的,并根据小组委员会成员的意见为每个SR量身定制。 这对抽象者独立地阅读和审阅每篇文章,抽象出关键信息,并将其输入到在线数据库中,该数据库预填有关于文章的基本信息(例如,引用,摘要)。 在完成所有质量控制过程之后,使用完整的抽象数据来填充单个文章证据汇总表。

评估现有SR,MA和汇总分析的质量

(如果出版物的作者进行了SR,然后是MA,则该研究被归类为MA。 如果作者将一项研究称为汇总分析,则该出版物被归类为汇总分析,不论是否伴随SR。 仅由SR组成的出版物,作者也没有进行荟萃分析,被归类为SR。 小组委员会成员将现有审查分为SR,MA或汇总分析,与抽象和证据组合一致。)

除了从SR、MA和汇总分析中提取关键信息之外,这对抽象者还独立评估了每个现有评论的质量。使用AMSTARExBP评估每个SR,MA或汇总分析的质量.AMSTARExBP是“用于评估系统评价的评估工具”(AMSTAR)的修改版本,9 用于评估SR和MA的方法学质量。 AMSTARExBP是AMSTAR的改编版,专注于检查运动训练对血压影响的MAs。培训和质量控制团队进行了额外的修订,以使AMSTARExBP适应委员会(使用量身定制的AMSTARExBP仪器进行SR,MA和汇总分析质量评估)。培训和质量控制小组为委员会所做的调整是基于AMSTAR的方法改进出版物.10 主要修订澄清了在不同类型的评审中对质量项目进行评分的报告说明,并不打算修改工具本身。 SR,MA和汇总分析质量评估的结果用于制定质量评估图表,并与小组委员会成员共享以供审查。

评估现有报告的质量

除了从现有报告中提取关键信息外,成对的抽象者还独立评估每个报告的质量。 文献审查小组根据美国农业部NEL的反馈制定了一系列问题,评估现有报告(现有报告质量评估工具)中方法,建议和参考文献的完整性和适当性。 每份报告的质量评估结果用于制定质量评估图表,并与小组委员会成员共享以供审查。

评估原始研究的偏差风险

除了从每篇原始研究文章中提取关键信息外,成对的抽象者还评估了每项研究的偏倚风险。使用USDA NEL偏倚评估工具(BAT)的改编版本评估每项原始研究的偏倚风险或内部有效性.11 NEL BAT使用基于域的评估来帮助确定是否存在任何可能存在的系统性错误过度或低估研究结果。 NEL BAT解决了选择,性能,检测和磨损偏差问题。

NEL BAT由研究设计量身定制,不同的问题适用于随机对照试验(RCT)(14个问题),非随机对照试验(14个问题)和观察性研究(12个问题)。为了使NEL BAT适应委员会,培训和质量控制团队进行了微小的修订,以扩展报告指示以促进决策,并提供与委员会主题,问题和研究设计相关的示例(使用适应营养证据的原始研究偏差评估)图书馆偏差评估工具仪器)。研究结果的偏倚评估风险被用于制定偏倚总结图表的风险,并与小组委员会成员共享以供审查。

第5步:描述证据

为促进委员会对证据的审查和分析,文献综述小组为每个SR问题准备了证据组合。为了透明,证据组合记录了每个SR的完整流程,包括证据来源,结论,证据等级,证据描述,分析的人群,个人证据汇总表,偏倚风险和质量评估图表,搜索策略,摘要或全文分类中排除的文章,文献树,参考文献和理由。在SR联络员编制证据组合后,编辑和审查所有证据组合和参考列表以保持一致性。 SR联络员向相应的小组委员会提交了证据组合,以供审查,反馈和批准。

此步骤通常与步骤6:完整证据组合和草案咨询委员会科学报告同时进行。

每个SR问题的证据组合可在www.health.gov/paguidelines上查阅。

第6步:完成证据投资组合和科学报告草案

制定结论陈述

小组委员会成员审查并审议了证据主体(即包括现有审查,现有审查中包括的原始研究文章和/或包括原始研究),以制定回答其每个SR问题和任何子问题的结论陈述。结论陈述与证据紧密相关,侧重于围绕自变量和结果的研究之间的一般一致性,以及存在的不一致或限制的公认领域。结论声明仅反映了所审查的证据,而不是小组委员会成员可能从其他来源获知的信息。

对证据进行评分

除了SR证据组合外,委员会成员还获得了20100年体育活动指南咨询委员会评级标准(表E-1),以指导他们对支持每项结论陈述的证据的强度进行评估和评级。该标题改编自美国农业部NEL结论声明评估标准rubric12,并由委员会成员略作修改,以反映体育活动文献的具体特征。评估证据的强度是基于人口的适用性,暴露和研究的结果;对感兴趣的人群的普遍性;偏倚风险和研究限制;研究结果的数量和一致性;和影响的程度和精确度。

小组委员会在公开会议期间向全体委员会提交了结论陈述和证据强度等级供审议和批准。 必要时,小组委员会成员修改结论声明和成绩。 结论陈述和证据等级的任何变更都必须在公开会议期间重新提交给整个委员会。

制定叙述性摘要和研究建议

在小组委员会成员为SR问题和任何SR子问题制定结论声明和等级后,他们制定了有关该问题的分析和研究建议的叙述性摘要。 摘要包括证据的审查和综合,证据等级的理由和限制。 研究建议列出了其他研究可以通过解决现有研究中确定的差距,推进体育活动研究领域以及为未来版本的体育活动指南提供信息来增强证据基础的关键领域。

起草PAGAC科学报告

小组委员会成员使用证据主体起草了每个SR问题的摘要。 SR问题摘要汇编成委员会的科学报告。