 |
Algunas consideraciones sobre el diseño del protocolo de investigación |
|
Preparado por Luis M. Molinero (Alce
Ingeniería) |
|
|
Desgraciadamente cuántas veces los hechos han dado la razón a la cita con la que empieza este artículo, y quizás no tanto por no contar con un estadístico en la fase de diseño de un trabajo de investigación, como por no tener en cuenta desde el principio qué procedimientos metodológicos se utilizarán en el análisis de los datos. Una buena planificación inicial del trabajo de investigación es crucial para que al final los datos registrados puedan ser evaluables o, por el contrario, de escasa validez, faltos de credibilidad o insuficientes para arrojar luz sobre la hipótesis que motivó su desarrollo. Y, como en toda actividad intelectual, serán muy importantes los conocimientos, la experiencia, la intuición y el sentido común. Si un estudio no ha sido bien planificado, en la fase de análisis será muy difícil o incluso imposible subsanar los errores, por mucha sofisticación estadística que se utilice, pudiendo ocurrir que nos encontremos con que el fruto de un importante esfuerzo de trabajo, tiempo y recursos económicos, no sirva absolutamente para nada. Por el contrario, la dedicación que supone una buena planificación inicial del trabajo de investigación, se verá recompensado con creces tanto en la fase de recogida de datos, como en el análisis de éstos y en la fase final, aunque no menos importante, de la difusión y publicación de los mismos.
El diseño de un protocolo de investigación, para verificar con datos reales una hipótesis teórica de trabajo, es algo habitualmente complejo, cuyas características dependen del objetivo del estudio y suele tener una gran componente multidisciplinar, aunque puede establecerse una serie de fases, comunes en la mayor parte de los trabajos de investigación médica, sobre las que hay una abundante experiencia en la comunidad científica y por lo tanto una gran cantidad de interesantes referencias bibliográficas de las cuales, como no podía ser menos, muchas están disponibles en Internet. Por mi parte, además de proporcionar algunos enlaces que pueden ser de bastante ayuda para quien comienza la apasionante tarea de diseñar un protocolo de investigación, intentaré comentar algunos aspectos, fundamentalmente problemas, cuyo conocimiento puede ayudar a mejorar el diseño de un protocolo. Son el fruto, muchas veces amargo, de mi experiencia personal analizando datos de trabajos de los que me hubiera gustado ser algo más que forense.
El protocolo, que debe existir en cualquier trabajo de investigación, es el documento que describe las hipótesis a investigar, los objetivos del trabajo, fundamentos, diseño, metodología, consideraciones estadísticas, participantes, calendario de evolución, organización y supervisión. A continuación se indica un listado con una serie de ítem a considerar en el diseño del protocolo:
El diseño del cuestionario de recogida de datos es una fase crucial de cuya calidad dependerá en buena medida la calidad de los resultados finalmente obtenidos. Se debe hacer el máximo esfuerzo en seleccionar todos los datos que son relevantes para la hipótesis en estudio y huir de los diseños "enciclopédicos" que dificultarán la cumplimentación del cuaderno, desviando la atención de los puntos verdaderamente importantes. No sólo es imprescindible definir bien qué preguntas se efectuará y qué mediciones se va a registrar, sino también cómo se plantean las preguntas de forma clara, cómo se clasifican las respuestas y en qué lugar del cuaderno serán ubicadas.
A título de ejemplo voy a presentar una lista, no exhaustiva, de situaciones con un mal diseño, que he encontrado en diferentes ocasiones y que pueden complicarnos innecesariamente el análisis o incluso falsear los resultados.
Muchas
veces he visto que para recoger el sexo se destinan dos casillas
identificadas como M,F o V,M, y no entiendo por qué ese afán
en ahorrar espacio en el cuaderno y por qué no se escribe
Masculino, Femenino, o Varón, Mujer, o lo que sea, pero con todas
las letras. El problema surge al cumplimentar el formulario de forma rápida
o mecánica (como a menudo es la realidad) y que alguien tienda a
asociar M con mujer y no lea la otra opción. Insisto que es algo
que he comprobado que ocurre y puede que encontremos una proporción
anormalmente alta de mujeres en nuestro trabajo que no sepamos explicar.
Moraleja, en general hay que ser explícito, sin por ello ser
prolijo, y no acudir a abreviaturas, iniciales, acrónimos ni cosas
por el estilo.
La disposición de las preguntas y respuestas debe estar meditada para ayudar a su cumplimentación y evitar todos los errores posibles. En los numerosos cuestionarios que ud seguro ha rellenado en su vida ¿cuántas veces ha escrito el nombre donde deberían ir los apellidos debido a la posición de estos campos?
En
la siguiente figura vemos otro diseño que a lo mejor no nos llama
la atención a primera vista y sin embargo es muy conflictivo
Lo problemático en esta presentación está en que las casillas del medio no sabemos si se refieren a la respuesta de la derecha o de la izquierda, a no ser que miremos a los laterales, y aunque he exagerado la proximidad para resaltarlo (lo he visto tal cual en estudios reales), sigue siendo posible fuente de confusión incluso cuando hay mayor hueco. Se habría evitado con una presentación en columna:
Otro
diseño de pregunta que puede sesgar los resultados lo encontramos
en las de tipo dicotómico (NO, SI) que se reflejan en el cuaderno
con una simple casilla para marcar con una cruz:
El problema ahora radica en que una ausencia de marca equivale a un NO y puede que no siempre sea así. No podemos discernir entre el NO y ausencia de información debida a que no se conoce el dato, a que se olvidaron de registrarlo, etc. Es mucho mejor poner siempre las dos casillas (NO y SI), y en algunos casos incluso otras posibilidades, como Desconocido, No Aplicable.
En
las variables numéricas, sobre todo en resultados de pruebas analíticas,
en estudios multicéntricos me he encontrado en numerosas ocasiones
con que los mismos datos se registran en diferentes unidades, debido a que
se limitan a transcribir el valor que les da el laboratorio. Es pues
imprescindible que figure al lado del nombre de la prueba las unidades en
las que se recoge, lo que habitualmente sí se hace, pero
personalmente me gustaría que además figurase un intervalo
de referencia; puede ser el rango de normalidad, o un rango de valores
posibles, de tal manera que si por ejemplo estamos recogiendo el
Colesterol Total en mg/dl, y se indica un valor de 5.3, al ver que no se
parece en nada a los valores de referencia indicado, la persona que pasa
los datos pueda detectar inmediatamente el error, en este ejemplo
probablemente debido a que el laboratorio ha proporcionado la información
en mmol/L. Esa referencia será también de una gran ayuda a
la hora de depurar datos, en la fase de análisis, y poder detectar
valores extraños o atípicos. Otra posibilidad es añadir
un campo para indicar las unidades en las que viene expresado el dato.
Con
los valores analíticos también nos encontramos una situación
conflictiva cuando el resultado puede venir reflejado unas veces como
valor numérico y otras como cualitativo. Es el caso por ejemplo de
la microalbuminuria que quizás venga expresada como un valor numérico
y otras simplemente como NEGATIVA. Esto conviene tenerlo presente en la
fase de diseño, ya que afectará también a la
metodología a utilizar en el análisis de los datos, así
como a la construcción del archivo electrónico.
Pero
sin lugar a dudas, con lo que más problemas he tenido siempre es
con el registro de las fechas, sobre todo si el estudio se realiza a
primeros de año, cuando tenemos todavía en la cabeza el
guarismo del año anterior y lo escribimos equivocadamente en lugar
del nuevo año. También es muy frecuente registar
correctamente el día y el mes de una fecha, pero colocar el año
en curso, cuando ni remotamente se parece, por inercia mental... Así
luego nos encontramos con personas que murieron antes de nacer, con
efectos adversos que acaecen antes de que comience el tratamiento, con
gente que recibe el alta antes de ingresar, etc. Y lo malo es que para el
problema de un mal registro de las fechas no he encontrado ninguna solución,
al menos cuando se registran en papel. Otra cosa es si se utiliza un
formulario electrónico de datos, donde por programa podemos al
menos comprobar si se da una situación imposible como las
descritas. Supongo que poco a poco se irá generalizando este tipo
de formularios informatizados, que permiten verificar ciertos aspectos de
la información a tiempo, por ejemplo también la presencia de
valores absurdos en cantidades numéricas. Los formularios electrónicos
presentan además la indudable ventaja, entre otras muchas, de que
no hay intermediarios entre quien origina la información y quien la
registra, y así se puede verificar que la información es
completa y que no se dejan inadvertidamente campos sin cumplimentar que
son imprescindibles.
Un
tema importante cuando hay que calcular distancias entre fechas radica en
decidir si en el cuaderno se registran las fechas o ya directamente el
tiempo entre ellas. Personalmente soy partidario, cuando intervienen
diferentes personas o en estudios multicéntricos, de registrar las
fechas (a pesar de los problemas anteriormente descritos), ya que permite
uniformizar los cálculos. Permite aplicar, por ejemplo, un único
criterio a situaciones como la siguiente: si un paciente ingresa hoy y mañana
se le da el alta, ¿cuántos días de ingreso se
consideran 1 (diferencia entre las dos fechas) o 2?.
Y
algo parecido pasa cuando hay que calcular fórmulas en las que
intervienen cantidades, o resultados de escalas en cuestionarios en los
que hay que puntuar diferentes ítems. Siempre que no sea farragoso
es preferible registrar los datos originales y que sea el programa diseñado
para el registro de datos quien se encargue, de forma automática e
igual para todos, de efectuar los cálculos. Asimismo, si hay que
convertir variables que en origen son cuantitativas en cualitativas, también
es preferible registrar directamente el valor numérico, ya que
siempre será posible convertirlo en cualitativo pero no al
contrario, y a lo mejor cuando nos damos cuenta de que sería
interesante conocer la información sobre el valor original es ya
demasiado tarde. Y si, siguiendo esta recomendación, se opta por
recoger el valor original y se piensa convertir en categorías,
conviene especificarlo de antemano en el protocolo, así como las
categorías y el criterio que se va a seguir para la conversión.
Nadie dudará de que este punto sea vital en la definición de un buen protocolo de investigación. En la mayoría de los casos será una decisión sencilla, pero hay ocasiones en que no lo es tanto, como luego veremos. En cualquier caso siempre conviene definir una variable como objetivo principal del estudio y cuantificar y documentar qué se considera un cambio o diferencia de relevancia clínica en ese parámetro. También habrá que fijar si existen variables secundarias de interés en el estudio, aunque siempre subordinadas a la anterior.
En cuanto al periodo de observación vendrá condicionado, además de por las características físicas del proceso analizado, por limitaciones prácticas y económicas.
Si fuera necesario definir más de una variable principal objetivo del estudio, ha de quedar reflejado de antemano en el protocolo qué se considera un cambio con relevancia clínica y si es necesario que se produzca en todas ellas o sólo en alguna.
Ya se ha comentado que hay variables numéricas que pueden convertirse en cualitativas, aunque ese proceso pude demorarse hasta el análisis de datos, lo que permite disponer de un mayor detalle en la información. También hay datos que pueden obtenerse a partir de otros y aquí la decisión está en si recoger la información de partida o sólo el resultado. Así por ejemplo, en un estudio sobre factores de riesgo en un proceso infeccioso respiratorio en niños, un dato de interés es la exposición de éstos al tabaco, que vamos a suponer dicotómico por simplicidad (NO, SI). Sin embargo para llegar a esa respuesta podemos, y debiéramos, especificar en el protocolo, qué condiciones se deben cumplir: número de fumadores habituales dentro del domicilio, grado de parentesco, fundamentalmente si la madre es fumadora, etc. En el cuaderno de recogida de datos se puede registrar únicamente el resultado: exposición sí o no, o además los datos que conducen a esa clasificación. En mi opinión, siempre que no haya razones fundadas en contra, conviene recoger las preguntas originales y no solo la conclusión, ya que permiten disponer de un grado de información superior y más detallada.
Otro tanto ocurre con las fórmulas, conviene registrar los datos de partida y no el resultado, lo que permitirá además evitar errores. Si una variable de interés es el índice de masa corporal, se debiera recoger en el cuaderno de datos del peso y la talla a partir de los cuales se calculará.
Se dice que un ensayo clínico es aleatorizado cuando el tratamiento se asigna a cada paciente de forma aleatoria con el objetivo de que si los grupos son suficientemente grandes difieran solo en cuanto al factor que se está investigando, evitando así la posible presencia de sesgos en cuanto a las características de los pacientes en cada grupo, que falsee la interpretación de resultados.
En los estudios observacionales la selección de los pacientes que serán incluidos también debe efectuarse de forma aleatoria con el fin de cumplir el objetivo de que las conclusiones puedan ser representativas de la población en estudio.
La ausencia de aleatorización o su utilización incorrecta pueden invalidar completamente los resultados. Hay que ser estricto en ese sentido y no dejarse llevar por la comodidad a la hora de su aplicación, evitando a toda costa asignaciones "pseudo-aleatorias" basadas en una metodología sistemática, como puede ser, por citar un ejemplo de una metodología empleada habitualmente, decidir como criterio de inclusión utilizar el primer paciente que acude a la consulta, pensando que al fin y al cabo es algo "aleatorio". Se trata en este caso de una asignación sistemática que puede ocultar sesgos que no sospechamos; así por ejemplo pudiera darse el caso de que los pacientes que acuden a primera hora a la consulta sean más jóvenes que la media del paciente típico, debido a que buscan ese horario para poder acudir lo antes posible a su trabajo, mientras que los pacientes de más edad, los jubilados, quizás tiendan a acudir a la consulta más tarde. Sería mucho mejor sistema, sabiendo el número de pacientes que hay citados, elegir de entre ellos un número al azar, por ejemplo mediante un programa o mediante una tabla de números aleatorios.
Una buena práctica en la presentación de los resultados de un trabajo de investigación, recomendada e incluso exigida por las revistas de calidad, es especificar la metodología utilizada en la asignación o elección de los pacientes, siendo más explícitos que la mera frase de que fueron asignados o elegidos de forma aleatoria.
Un concepto muy relacionado con el proceso de aleatorización es del enmascaramiento del tratamiento asignado de tal manera que el paciente desconozca la rama a la que fue asignado e incluso el propio investigador lo ignore; todo ello con el fin de evitar los sesgos que se puedan derivar de ese conocimiento.
En el caso de los estudios descriptivos el proceso más importante es el de selección de los individuos que entrarán en la muestra, siendo aquí el objetivo que ésta sea lo más representativa posible de la población a la que se quiere extender las conclusiones, por lo que se desea que tenga el mismo grado de diversidad de la población en la mayor parte de características (edad, sexo, morbilidad etc) y fundamentalmente en aquellas que pudieran estar relacionadas con el objeto de estudio. Es lo que se conoce como proceso de muestreo, capítulo muy estudiado en sociología en las encuestas de opinión y de marketing, pero un tanto desconocido en el mundo de la investigación médica, y al que más adelante dedicaremos otro artículo.
En ocasiones se ha empleado mucho esfuerzo y letra impresa en discutir sobre qué tipo de diseño es el adecuado, qué proceso de muestreo, qué métodos estadísticos.., sin darnos cuenta que estamos poniendo el carro antes que los bueyes. Lo más importante es fijar claramente el objetivo de la investigación, qué variables hay que observar y qué esperamos de esa observación, de forma cuantificada, y a partir de ahí planificar el tipo de diseño experimental, el tamaño de muestra y los métodos analíticos que mejor nos permitirán cumplir nuestros objetivos. Por ello el diseño del protocolo y cuaderno de recogida de datos es una tarea crucial que condicionará totalmente los resultados del trabajo.
Para no alargar ya más este artículo, aunque apenas hemos comentado varios aspectos de gran importancia y que por tanto también deberán reflejarse en el protocolo, como son la estimación del tamaño de muestra con el que vamos a trabajar, asunto elusivo donde los haya y que será objeto de un próximo artículo, elección del tipo de diseño (prospectivo, caso-control, factorial, multicéntrico, etc), tipo de comparación (para comprobar superioridad, para mostrar equivalencia, dosis-respuesta, etc), análisis intermedios, metodología estadística de análisis y por último, pero no menos importante, presentación y publicación de los resultado, proponemos al lector interesado, y seguro que si ha llegado hasta aquí lo es, que no deje de visitar los enlaces de interés que presentamos a continuación, seleccionados cuidadosamente para completar lo que hasta ahora hemos expuesto. Entre ellos destacamos los documentos de la International Conference on Harmonisation ICH, así como The CONSORT (Consolidated Standards of Reporting Trials) recomendaciones de publicación a las que han dado su adhesión numerosas revistas, incluídas The Lancet, British Medical Journal, Journal of the American Medical Association, Annals of Internal Medicine, y varios e importantes grupos editoriales biomédicos, entre los que cabe citar el International Committee of Medical Journals Editors (Vancouver Group) y el Council of Science Editors.
Y para finalizar este artículo queremos destacar la posibilidad de publicar on-line el protocolo de un estudio, siempre que éste se adhiera precisamente a las guías indicadas en el CONSORT, asunto interesante pues aunque, como hemos destacado, el protocolo es la piedra angular de un trabajo de investigación, es una información que, salvo para los participantes en el estudio, desaparece una vez que éste ha finalizado, a pesar de que contiene información valiosa y a veces incluso imprescindible para interpretar los resultados (véase este enlace "RCT of cardiotocography versus Doppler auscultation..."). Por ello resulta muy interesante su registro, lo que permite difundir su conocimiento, y por tanto ayudar al diseño de nuevos protocolos, así como someter el trabajo propio a luz crítica de los demás.
Enlaces muy interesantes y de acceso libre |
|
Statistical
Principles for Clinical Trials ICH International Conference on Harmonisation guideline 1998. |
|
The
CONSORT statement: revised recommendations for improving the quality
of reports of parallel group randomized trials David Moher, Kenneth F Schulz and Douglas G Altman BMC Medical Research Methodology 2001 1: 2 |
|
Clinical
Trials, Overview Biostatitics in Clinical Trials Editors Carol K. Redmond, Theodore Colton John Wiley 2000 |
|
MRC
Guidelines for Good Clinical Practice in Clinical Trials MRC Clinical Trials Series Medical Research Council 1998 |
|
Registro
de protocolos de estudios en BioMed Central |
|
Publishing
study protocols: making them visible will improve registration,
reporting and recruitment Fiona Godlee BioMed Central BMC News and Views 2001 2: 4 |
|
Randomised controlled trial of
cardiotocography versus Doppler auscultation of fetal heart at admission
in labour in low risk obstetric population
Gary Mires, Fiona Williams, Peter Howie, Sandy Goldbeck-Wood, Gordon D Murray, and Britt-Ingjerd Nesheim BMJ 2001; 322: 1457-1462. |
 Indice
de artículos |
 |
alceingenieria.net
Artículo
en formato PDF