Ergebnisse der literatursichtung

Projekt zur
Entwicklung, Umsetzung und Evaluation von Leitlinien zum adaptiven Management von Datenqualität in Ergebnisse der Literatursichtung
Dorothea Weiland
Institut für Medizinische Informatik, Biometrie und Epidemiologie Übersicht
• Vorstellung der Recherche-Strategie• Recherche-Ergebnis (quantitativ)• Recherche-Ergebnis (inhaltlich) – Datenqualität– Monitoring / Source Data Verification– Stichprobengröße– Feedback Recherche-Strategie 1
• Für die Literatursichtung relevante Bereiche: – Qualitätsmessung in Medizin und Industrie– Qualitätsindikatoren– Statistische Methoden in der Qualitätssicherung– Qualitätslenkung, Ringversuche– Richtlinien/Empfehlungen für die Erstellung und den Recherche-Strategie 2
– Datenbanken (z.B. Medline)– Suchmaschinen (z.B. Google)– Institutionen aus dem Bereich Qualitätsmanagement (z.B. Zentralstelle der Deutschen Ärzteschaft zur Qualitätssicherung in der Medizin) – Hauptaugenmerk: Recherche in Medline über • „Quality Control“• „Data Collection“• „Feedback“ Recherche-Strategie 3
• Prüfung der Suchergebnisse auf Relevanz (anhand von Titel / Abstract), Fokussierung auf: – Indikatoren für Datenqualität – Adaptive Source Data Verification (SDV)– Feedback-Maßnahmen • Für als relevant eingeschätzte Artikel: – Beschaffung der Volltexte, so weit möglich– Qualitative Analyse der Inhalte in Bezug auf das Recherche-Ergebnis
• 3430 Literaturstellen aus verschiedenen Medline- • Davon 146 relevant für den Bereich Datenqualität: – Datenqualität in der Medizin allgemein (11)– Datenqualität in epidemiologischen Studien/Surveys (8)– Datenqualität in klinischen Studien (39)– Datenqualität in der medizinischen Versorgung (46)– Datenqualität in Registern (31)– Sekundärdatenanalyse (5)– Data Warehousing (6) framework. J Am Med Info in medical registries: A literature Arts DGT, de Datenqualität
• Für Register oder Kohortenstudie: notwendige und erreichbare Datenqualität hängt v.a. ab von – der jeweiligen Fragestellung / geplanten Nutzung der Daten– den Prozessen, die die Daten erzeugen • Untersuchung der Datenqualität in Registern meist durch Vergleich mit anderen Datenquellen -Goldstandard für den Vergleich unklar! Ist Patientenakte hierfür geeignet? – hat Einfluss auf die Datenqualität – steigt, wenn den Datenlieferanten selbst Vorteile aus guter / Monitoring / Source Data Verification
– Kann Qualitätsbewusstsein wecken und schärfen– In der Literatur nur wenig quantitative Daten verfügbar – Oft eingesetzt zur Untersuchung von Vollständigkeit / Genauigkeit (klinische Studien, Register, Elektronische – In der Literatur einzelne Empfehlungen (Frequenz, Anzahl Variablen, Interpretation der Nicht- – Empfehlungen nicht durch empirische Untersuchungen mit Vergleich unterschiedlicher Ansätze begründet Stichprobengröße Monitoring / SDV 1
• 5 % der wichtigen und 1 % der anderen CRF, bei mehr als 10 Abweichungen pro 10.000 Felder gefunden, weitere 5 % der CRF (Pogash et al. • Mindestens 10 % der Daten pro Zentrum (Califf et • 10 % der Patienten, bei wichtigen Studien bis zu • Ca. 10 % der in einem Jahr angefallenen Operationen, 1/3 der beteiligten Kliniken Stichprobengröße Monitoring / SDV 2
• 100 % Verifikation kritischer Items und partielle Verifikation aller anderen Items: Bei den ersten 10 % der CRF alle Items, daraus geschätzte Fehlerrate bestimmt Umfang der partiellen Kontrolle der restlichen Items (Mullooly 1990) • 13 % der Patienten zufällig ausgewählt (O’Sullivan • 15 % - 20 % der Patienten (Weiss et al. 1993) Feedback
• Macht Defizite sichtbar und gibt Anreize zur • Effektives Feedback: zeitnah, kurz, relevant, individuell, Benchmarking mit Anonymisierung • Inhalte z.B. Rekrutierung, Eligibilität, – monatlich - quartalsweise – halbjährlich • Im Bereich von Kohortenstudien und Registern fehlt bislang eine empirische Absicherung für Strategien zum Datenmanagement und Monitoring • Die in der Industrie angewandten Verfahren (z. B. Total Quality Management) erscheinen für das gegebene Problem zu komplex Quellenangaben
Arts DGT, de Keizer N, Scheffer G-J. Defining and improving data quality in medical registries: A
literature review, case study, and generic framework. J Am Med Inform Assoc 2002; 9: 600-611
Califf RM, Karnash SL, Woodlief LH. Developing systems for cost-effective auditing of clinical
trials. Control Clin.Trials 1997;18(6):651-60.
Hakansson I, Lundstrom M, Stenevi U, Ehinger B. Data reliability and structure in the Swedish
National Cataract Register. Acta Ophthalmol.Scand. 2001;79(5):518-23.
Mullooly JP. The effects of data entry error: an analysis of partial verification.
Comput.Biomed.Res. 1990;23(3):259-67.
O'Sullivan DP, Needham CA, Bangs A, Atkin K, Kendal FD. Postmarketing surveil ance of oral
terbinafine in the UK: report of a large cohort study. Br J Clin Pharmacol. 1996;42(5):559-65.
Pogash RM, Boehmer SJ, Forand PE, Dyer AM, Kunselman SJ. Data management procedures in
the Asthma Clinical Research Network. Control Clin.Trials 2001;22(6 Suppl):168S-80S.
Weiss RB, Vogelzang NJ, Peterson BA, Panasci LC, Carpenter JT, Gavigan M, Sartel K, Frei E III,
McIntyre OR. A successful system of scientific data audits for clinical trials. A report from the Cancer and Leukemia Group B. JAMA 1993;270(4):459-64.
Weiss RB. Systems of protocol review, quality assurance, and data audit. Cancer
Chemother.Pharmacol. 1998;42 Suppl:S88-S92.
Für TMF-Mitglieder steht der vollständige Bericht auf den internen Seiten der TMF-Website zur Verfügung Vielen Dank für Ihre Aufmerksamkeit!

Source: http://www.ekmed.de/routinedaten/download/workshop_2006/weiland.pdf