ORIGINAL

Sobre la capacidad discriminativa de diferentes autoanticuerpos en el diagnóstico del Lupus Eritematoso Sistémico

On the discriminative capacity of several autoantibodies for the diagnosis of Systemic Lupus Erythematosus

Damelia Echevarría Martínez¹, Helena Kokuina², Yahima Peña³, Sergio Santana Porbén⁴, Delsy Marrero Hernández⁵

¹ Médico, Especialista de Primer Grado en Laboratorio Clínico. Servicio de Laboratorio Clínico. Hospital Clínico quirúrgico “Hermanos Ameijeiras”. Centro Habana. La Habana. Cuba

² Médico, Especialista de Segundo Grado en Inmunología Clínica. Sección de Inmunología del Servicio de Laboratorio Clínico. Hospital Clínico quirúrgico “Hermanos Ameijeiras”. Centro Habana. La Habana. Cuba

³ Licenciada en Bioquímica. Sección de Inmunología del Servicio de Laboratorio Clínico. Hospital Clínico quirúrgico “Hermanos Ameijeiras”. Centro Habana. La Habana. Cuba

⁴ Médico, Especialista de Segundo Grado en Bioquímica Clínica. Profesor Asistente. Servicio de Laboratorio Clínico. Hospital Pediátrico “Juan Manuel Márquez”. Marianao. La Habana. Cuba

⁵ Médico, Especialista de Primer Grado en Inmunología Clínica. Profesora instructora. Cuba

* Autor para correspondencia.

Correo electrónico: ssergito@infomed.sld.cu (Sergio Santana Porbén).

Recibido el 26 de marzo de 2020; aceptado el 7 de junio de 2020.

Cómo citar este artículo:

Echevarría Martínez D, Kokuina H, Peña Y, Santana Porbén S, Marrero Hernández D. Sobre la capacidad discriminativa de diferentes autoanticuerpos en el diagnóstico del Lupus Eritematoso Sistémico. JONNPR. 2020;5(11):1333-55. DOI: 10.19230/jonnpr.3657

How to cite this paper:

Echevarría Martínez D, Kokuina H, Peña Y, Santana Porbén S, Marrero Hernández D. On the discriminative capacity of several autoantibodies for the diagnosis of Systemic Lupus Erythematosus. JONNPR. 2020;5(11):1333-55. DOI: 10.19230/jonnpr.3657

                               This work is licensed under a Creative Commons

Attribution-NonCommercial-ShareAlike 4.0 International License

La revista no cobra tasas por el envío de trabajos,

ni tampoco cuotas por la publicación de sus artículos.

Resumen

Introducción. Se han propuesto varios autoanticuerpos en el diagnóstico diferencial del Lupus Eritematoso Sistémico (LES). El uso de estos autoanticuerpos puede resultar en diferentes características operacionales.

Objetivo. Evaluar las características operacionales de autoanticuerpos selectos en el diagnóstico diferencial del LES.

Diseño del estudio. Retrospectivo, analítico.

Serie de estudio. Ciento sesenta y nueve sujetos (LES: 35.5 %; Enfermedades del tejido conectivo diferentes del LES: 38.5 %; Sujetos aparentemente sanos: 26.0 %; Mujeres: 84.6 %; Edad promedio: 30.9 ± 17.9 años; Tiempo promedio de evolución de la enfermedad lúpica: 3.9 ± 4.7 años).

Métodos. Los anticuerpos anti-ADN de doble cadena (anti-ADNdc), anti-nucleosomas (anti-Nuc), anti-proteína Smith (anti-Sm) y anti-ribosomas P (anti-Rib P) se determinaron mediante técnicas inmunoenzimáticas (Orgentec Diagnostika, Mainz, Alemania). Los anticuerpos antinucleares (ANA) se determinaron indistintamente mediante técnicas inmunoenzimáticas (ANA-EIA) e inmunofluorescentes con células Hep2 (ANA-Hep2). Se calcularon las características operacionales de los autoanticuerpos en el diagnóstico diferencial del LES. Asimismo, se obtuvieron las correspondientes curvas ROC en cada instancia de análisis, y se estimó la exactitud diagnóstica del anticuerpo del área bajo la curva ROC (AROC).

Resultados. La exactitud de los anticuerpos empleados en el diagnóstico diferencial del LES fue como sigue (en orden descendente): anti-ADNdc: 0.9528 ± 0.0288; anti-Nuc: 0.7851 ± 0.0675; ANA-EIA: 0.7755 ± 0.2633; anti-Sm: 0.5926 ± 0.0790; anti-Rib P: 0.5770 ± 0.2641; y ANA-Hep2: 0.5341 ± 0.2635; respectivamente. Excepción hecha de los anti-ADNdc, las características operacionales de los otros anticuerpos fueron dependientes del punto de corte, la subpoblación muestreada, y el método analítico. Conclusiones. Los anticuerpos anti-ADNdc son los más exactos en el diagnóstico diferencial del LES.

Palabras clave

Lupus eritematoso sistémico; Autoanticuerpos; Características operacionales; Curva ROC

Abstract

Rationale. Several autoantibodies have been proposed for the differential diagnosis of Systemic Lupus Erythematosus (SLE). Use of these autoantibodies might result in different operational characteristics. Objective. To assess the operational characteristics of selected autoantibodies in the differential diagnosis of SLE.

Study design. Retrospective, analytical.

Study serie. One-hundred and sixty-nine subjects (SLE: 35.5 %; Non-SLE diseases of connective tissue: 38.5 %; Apparently healthy subjects: 26.0 %; Women: 84.6 %; Average age: 30.9 ± 17.9 years; Average evolution time of lupic disease: 3.9 ± 4.7 years).

Methods. Anti-double stranded DNA (anti-dsDNAdc), anti-nucleosomes (anti-Nuc), anti-Smith protein (anti-Sm) and anti-ribosomes (anti-Rib) autoantibodies were determined by immunoenzymatic techniques (Orgentec Diagnostika, Mainz, Alemania). Anti-nuclear antibodies (ANA) were indistinctely determined either by immunoenzimatic techniques (ANA-EIA) or immunofluorescent methods with Hep2 cells (ANA-Hep2). Operational characteristics of the autoantibodies in the differential diagnosis of SLE were calculated. In addition, corresponding ROC curves for each instance of analysis were obtained, and diagnostic accuracy was estimated from the area under the ROC curve (AROC).

Results. Accuracy of the autoantibodies used in the differential diagnosis of SLE was as follows (in descending order): anti-dsDNA: 0.9528 ± 0.0288; anti-Nuc: 0.7851 ± 0.0675; ANA-EIA: 0.7755 ± 0.2633; anti-Sm: 0.5926 ± 0.0790; anti-Rib: 0.5770 ± 0.2641; and ANA-Hep2: 0.5341 ± 0.2635; respectively. With the exception of anti-dcDNA, operational characteristics of the remaining antibodies were dependent upon cut-off value, sampled subpopulation, and analytical method.

Conclusions. anti-dsDNA antibodies were the most accurate in the differential diagnosis of SLE.

Keywords

Systemic Lupus Erythematosus; Autoantibodies; Operational characteristics; ROC curve

Introducción

El lupus eritematoso sistémico (LES) es una enfermedad autoinmune crónica, de carácter inflamatorio, y con una afectación multisistémica^(1,2). La prevalencia del LES en la población general se estima entre 4 – 250 casos por cada 100,000 habitantes, particularidades geográficas aparte^(3,4). El LES es de 5 – 15 veces más frecuente en las mujeres, y cerca del 90 % de los casos ocurren en mujeres en edad fértil, entre los 15 – 40 años de edad.

El tratamiento y seguimiento del LES conlleva altos costos resultantes de la asistencia médica, demandas de hospitalizaciones y estudios diagnósticos, junto con los que se derivan de la incapacidad física que la enfermedad produce^(5,6). El estudio LUCIE calculó los costos de la atención del LES en hasta 4,748.00 €/año en los casos más graves de la enfermedad. Asimismo, cerca del 50 % de los pacientes en edad laboral estaban en situación de desempleo a consecuencia de su enfermedad⁽⁷⁾.

No existe un patrón clínico único de manifestación del LES. Teniendo en cuenta la variabilidad de las manifestaciones clínicas de esta enfermedad, y de los hallazgos de laboratorio, se ha propuesto la clasificación e implementación de una definición del LES que esté basada en pruebas clínicas^(8,9).

En el LES pueden estar presentes más de 100 autoanticuerpos,⁽¹⁰⁾ pero sin dudas el papel protagónico en la superproducción de los mismos le corresponde a los anticuerpos antinucleares (ANA): categoría que reconoce los antígenos intracelulares tanto nucleares como citoplasmáticos⁽¹¹⁾. No obstante, la ocurrencia de los ANA puede ser no solo de origen autoinmune, sino también infecciosa e incluso natural⁽¹²⁾. La prevalencia de los ANA puede oscilar entre 67 – 94 % según el método analítico empleado y el origen étnico de la población muestreada⁽¹³⁾.

Dentro de los criterios de diagnóstico y clasificación del LES se encuentran las especificidades de los anticuerpos antinucleares, dentro de las cuales se incorporan los isotipos IgG de los anticuerpos anti-desoxirribonucleicos de doble cadena (anti-DNAdc IgG) y anti-Smith (anti-Sm)^(14,15). Los anticuerpos anti-ADNdc IgG se dirigidos frente a determinantes del ácido nucleico, mientras que los anticuerpos anti-Sm se desarrollan frente a ribonucleoproteínas. Los anticuerpos anti-ADNdc IgG son variables en el tiempo de aparición, y la fluctuación de los niveles séricos de los mismos se correlaciona con la actividad de la nefritis lúpica. Sin embargo, los niveles de los anticuerpos anti-Sm apenas varían, pero se presentan solo en el 25 % de los pacientes lúpicos^(17,18). Otras especificidades consideradas en el diagnóstico del LES comprenderían los anticuerpos anti-nucleosomas (anti-Nuc) y antirribosomales P (anti- Rib P)⁽⁶⁾.

Las determinaciones de los autoanticuerpos pueden confirmar la presencia de la enfermedad lúpica, a la vez que estimar la gravedad de la misma y evaluar el pronóstico y el curso ulterior^(16,17). No obstante, la implementación de tales autoanticuerpos en la práctica clínica del LES implica el reconocimiento de la variabilidad biológica de los mismos, la frecuencia de ocurrencia de ocurrencia en la población diana, y el comportamiento operacional del método analítico empleado en la determinación. Hasta el momento en que se escribe este ensayo, no se tienen valores de referencia de los ANA y las especificidades autoinmunes que sean propios de la población cubana^(18,19).

El Hospital Clínicoquirúrgico “Hermanos Ameijeiras” (La Habana, Cuba) es un centro de tercer nivel de salud en el país donde la actuación médica se conduce mediante protocolos interdisciplinarios redactados para cada entidad de interés clínico. La ocasión se ha presentado entonces para determinar las características operacionales de los ANA y las especificidades autoinmunes antes señaladas tanto en pacientes lúpicos como aquellos aquejados por enfermedades autoinmunes del tejido conectivo diferentes del LES.

Material y Método

Locación del estudio

Servicio de Laboratorio Clínico, Hospital Clínicoquirúrgico “Hermanos Ameijeiras” (La Habana, Cuba).

Diseño del estudio

Retrospectivo, analítico.

Serie de estudio

Se incluyeron en la presente serie de estudio los registros clínicos de los adultos de ambos sexos, con edades entre 18 – 65 años, que fueron diagnosticados con LES en el Servicio de Reumatología de la institución, con un tiempo de evolución de la enfermedad lúpica < 5 años, y en los que se indicó la determinación de los ANA y las especificidades que les son propias entre Marzo del 2016 y Noviembre del 2017 (ambos inclusive). Se incluyeron también en la serie de estudio adultos diagnosticados con otras conectivopatías diferentes del LES (con una evolución < 10 años) como la esclerodermia, el Síndrome de Sjögren, la polimiositis y la dermatomiositis, la artritis reumatoide, la fibromialgia, y la enfermedad mixta del tejido conectivo. Igualmente, fueron incluidos dentro de la serie de estudio como sujetos aparentemente sanos los trabajadores del hospital en los que se retiraron muestras de sangre en ocasión del chequeo anual de salud y donantes voluntarios de sangre. Se aseguró que estos sujetos estuvieran libres de síntomas osteomioarticulares, no refirieran antecedentes de enfermedades autoinmunes, y no ingirieran inmunosupresores. En el caso de las mujeres aparentemente sanas, se aseguró que no estuvieran embarazadas en el momento de las determinaciones serológicas.  

Por consiguiente, se excluyeron aquellos pacientes con más de 5 años de evolución de la enfermedad lúpica, los enfermos no LES con más 10 años de diagnóstico y tratamiento, aquellos sujetos a terapia sistémica con corticoesteroides, inmunosupresores y/o inmunomoduladores en los seis meses previos a la realización de las determinaciones serológicas, y las mujeres embarazadas. También se excluyeron a aquellos enfermos de los cuales no se pudieron recuperar los datos demográficos, clínicos y serológicos requeridos para el completamiento de los procederes prescritos en la presente investigación.

Consideraciones bioéticas

El diseño experimental del estudio fue aprobado por las Comisiones hospitalarias de Investigación y de Ética. Dada la naturaleza descriptiva del estudio, no fue necesaria la obtención del consentimiento informado del paciente para la inclusión en la serie de estudio. No obstante, se debe hacer saber que, como parte de los protocolos de atención vigentes localmente en la institución, el paciente es informado de los objetivos y propósitos de la atención médica, los procederes diagnósticos prescritos, y la terapéutica a administrar en cada etapa de la enfermedad objeto de atención.

En todo momento se respetó la confidencialidad, el anonimato y la discreción en el tratamiento y uso de los datos recuperados de las historias clínicas de los pacientes incluidos en la investigación.

Determinaciones serológicas

Las determinaciones serológicas se realizaron en el Servicio hospitalario de Laboratorio Clínico de acuerdo con las instrucciones de los fabricantes de los estuches de reactivos (Orgentec Diagnostika, Mainz, Alemania) y los procedimientos analíticos vigentes localmente. Los ANA se cuantificaron indistintamente mediante técnicas de tinción inmunofluorescente (IFI) de células Hep2; e inmunoenzimáticas. En el primer caso, la presencia de los ANA se evidenció de la fluorescencia del núcleo y/o citoplasma de las células HEp2. En el segundo caso, la positividad se estableció ante una densidad óptica > 0.30. Por su parte, los anticuerpos anti-DNAdc IgG, -Sm, -Nuc y -Rib P se determinaron mediante técnicas inmunoenzimáticas. Las positividades se establecieron según el punto de corte provisto por el fabricante, a saber: anti-DNAdc IgG: > 20 U.mL^-1; anti-Nuc: > 20 U.mL^-1; anti-Sm: > 25 U.mL-1; y anti-Rib P: > 10 U.mL^-1; respectivamente.

Procesamiento de los datos y análisis estadístico-matemático de los resultados

Los datos demográficos, clínicos y serológicos de los pacientes incluidos en la serie de estudio se recuperaron de las correspondientes historias clínicas, así como de los registros del Banco de Sangre y la Unidad de Atención a los Trabajadores; y se ingresaron en un contenedor digital construido sobre EXCEL para OFFICE de WINDOWS (Microsoft, Redmon, Virginina Estados Unidos). 

Para cada subgrupo de pacientes se calcularon las positividades de los ANA y especificidades. Igualmente, se estimaron las características operacionales (sensibilidad | especificidad | exactitud) para el punto de corte (definido por el fabricante) exhibidas por los autoanticuerpos en el diagnóstico diferencial del LES. Los sujetos aquejados de otras colagenopatías, así como aquellos aparentemente sanos, sirvieron como la población de contraste (léase también de referencia).

Finalmente, se construyeron las correspondientes curvas ROC integrando las características operacionales de la determinación del autoanticuerpo para cualquier punto de corte dentro de una sucesión de todos los posibles que pudieran emplearse en la definición de la positividad. La exactitud diagnóstica se estimó del área bajo la curva ROC mediante métodos no paramétricos^(20-22).

Resultados

La Tabla 1 muestra las características demográficas y clínicas de la serie de estudio. La edad promedio de los sujetos estudiados fue de 30.9 ± 17.9 años. El tiempo de evolución de la enfermedad fue de 3.9 ± 4.7 años. Predominaron las mujeres sobre los hombres.

Tabla 1. Características demográficas y clínicas de los sujetos estudiados en el presente trabajo. Según el tipo de la variable, se presentan la media ± desviación estándar de la característica, o el número y [entre corchetes] el porcentaje de sujetos en cada estrato de la característica. Leyenda: LES: Lupus Eritematoso Sistémico; No LES: Otras conectivopatías diferentes del LES. Estas conectivopatías incluyeron las siguientes: artritis reumatoide, polimiositis, esclerosis sistémica, enfermedad mixta del tejido colágeno (EMTC), síndrome de Sjögren. Para más detalles: Consulte el texto del presente ensayo.

Característica	LES	No LES	Aparentemente sanos	Todos
Tamaño	60	65	44	169
Edad, años	40.1 ± 13.1	49.0 ± 12.4	28.0 ± 12.0	39.0 ± 17.9
Sexo
· Femenino	50 [83.3]	57 [87.7]	36 [81.8]	143 [84.6]
· Masculino	10 [16.7]	8 [12.3]	8 [18.2]	26 [15.4]
Tiempo de evolución de la enfermedad	2.9 ± 2.1	4.9 ± 4.2	No Procede	3.9 ± 4.7
Tamaño de la serie de estudio: 169.
Fuente: Registro de datos primarios.

La Tabla 2 muestra los resultados obtenidos después de la determinación de los anticuerpos en los sujetos estudiados. El número de respuestas positivas se distribuyó para-todos-los-pacientes de la manera siguiente (en orden descendente): ANA-EIA: 54.4 %; ADNdc: 36.1 %; ANA-Hep2: 34.3 %; Nuc: 29.6 %: Sm: 13.6 %; y Rib: 8.9 %; respectivamente. Como se anticipó, la respuesta positiva al autoanticuerpo fue dependiente de la condición del sujeto. Las respuestas positivas fueron mayores entre los sujetos LES: ADNdc: 81.7 % (No LES:

D = -66.3 %; Sanos: D = -77.2%); ANA-EIA: 91.7 % (No LES: D = -39.4 %; Sanos: D = -84.9 %); ANA-Hep2: 80.0 % (No LES: D = -16.9 %; Sanos: D = -59.5 %); Nuc: 70.0 % (No LES: D = -57.7 %; Sanos: D = -70.0 %); Sm: 31.7 % (No LES: D = -25.5 %; Sanos: D = -31.7 %); Rib P: 23.3 % (No LES: D = -21.8 %; Sanos: D = -23.3 %); respectivamente.

Tabla 2. Resultados obtenidos después de la determinación de los autoanticuerpos de interés en las distintas subpoblaciones. Los resultados se corresponden con las respuestas positivas obtenidas con cada autocanticuerpo. Leyenda: LES: Lupus Eritematoso Sistémico. No LES: Otras conectivopatías diferentes del LES. ANA: Anticuerpos antinucleares. ANA-EIA: ANA determinado mediante EIA. EIA: Ensayo inmunoenzimático. ANA-HEp-2: ANA determinado mediante tinción inmunofluorescente de células HEp-2. Anti-DNAdc: Anti-ácido desoxirribonucleico de doble cadena. Anti-Sm: Anti-Smith. Anti-Nuc: Anti-nucleosoma. Anti -Rib P: Anti-Ribosoma P.

Autoanticuerpo	LES	No LES	Aparentemente sanos	Todos
Tamaño	60	65	44	169
Anti-ADNdc	49 [81.7]	10 [15.4]	2 [  4.5]	61 [36.1]
ANA-EIA	55 [91.7]	34 [52.3]	3 [  6.8]	92 [54.4]
ANA-Hep2	48 [80.0]	41 [63.1]	9 [20.5]	58 [34.3]
Anti-Nuc	42 [70.0]	8 [12.3]	0 [  0.0]	50 [29.6]
Anti-Sm	19 [31.7]	4 [  6.2]	0 [  0.0]	23 [13.6]
Anti-Rib P	14 [23.3]	1 [  1.5]	0 [  0.0]	15 [  8.9]
Fuente: Registro de datos primarios.
Tamaño de la serie de estudio: 169.

La Tabla 3 muestra las características operacionales propias de la determinación de los autoanticuerpos en los sujetos LES. Las características operacionales del autoanticuerpo se ajustaron según la respuesta observada indistintamente frente a sujetos aparentemente sanos y enfermos afectados de conectivopatías diferentes del LES. Las características operacionales del autoanticuerpo reflejaron el comportamiento del mismo en el punto de corte suministrado por el proveedor de los estuches de reactivos.

Tabla 3. Características operacionales de la determinación de los autoanticuerpos en el diagnóstico del Lupus eritematoso sistémico. El error de estimación asociado a la característica operacional se obtuvo como los propios de una proporción binomial. Para más detalles: Consulte el texto del presente ensayo. Leyenda: LES: Lupus Eritematoso Sistémico. No LES: Otras conectivopatías diferentes del LES. ANA: Anticuerpos antinucleares. ANA-EIA: ANA determinado mediante EIA. EIA: Ensayo inmunoenzimático. ANA-HEp-2: ANA determinado mediante tinción inmunofluorescente de células HEp-2. Anti-DNAdc: Anti-ácido desoxirribonucleico de doble cadena. Anti-Sm: Anti-Smith. Anti-Nuc: Anti-nucleosoma. Anti -Rib P: Anti-Ribosoma P.

Autoanticuerpo	Sensibilidad	Especificidad	Exactitud
Anti-ADNdc
· vs. No LES	0.817 ± 0.05	0.846 ± 0.04	0.832 ± 0.03
· vs. Aparentemente sanos	0.817 ± 0.05	0.955 ± 0.03	0.894 ± 0.03
ANA-EIA
· vs. No LES	0.917 ± 0.03	0.477 ± 0.06	0.688 ± 0.04
· vs. Aparentemente sanos	0.917 ± 0.03	0.932 ± 0.04	0.923 ± 0.03
ANA-Hep2
· vs. No LES	0.800 ± 0.05	0.369 ± 0.06	0.576 ± 0.04
· vs. Aparentemente sanos	0.800 ± 0.05	0.795 ± 0.06	0.798 ± 0.04
Anti-Nuc
· vs. No LES	0.700 ± 0.06	0.877 ± 0.04	0.792 ± 0.04
· vs. Aparentemente sanos	0.700 ± 0.06	1.000	0.827 ± 0.04
Anti-Sm
· vs. No LES	0.317 ± 0.06	0.938 ± 0.03	0.640 ± 0.04
· vs. Aparentemente sanos	0.317 ± 0.06	1.000	0.606 ± 0.05
Anti-Rib P
· vs. No LES	0.233 ± 0.05	0.985 ± 0.01	0.624 ± 0.04
· vs. Aparentemente sanos	0.233 ± 0.05	1.000	0.557 ± 0.05
Fuente: Registro de datos primarios.
Tamaño de la serie de estudio: 169.

Los métodos de determinación de los autoanticuerpos difirieron entre sí respecto de la sensibilidad diagnóstica. En orden descendente, la sensibilidad del autoanticuerpo en el diagnóstico del LES fue como sigue: ANA-EIA: 0.917 ± 0.03; anti-ADNdc: 0.817 ± 0.05; ANA-Hep2: 0.800 ± 0.05; Anti-Nuc: 0.700 ± 0.06; Anti-Sm: 0.317 ± 0.06; y Anti-Rib P: 0.233 ± 0.05; respectivamente. Por otro lado, la especificidad diagnóstica fue siempre mayor en los sujetos aparentemente sanos: Enfermos No LES: Anti-ADNdc: 0.846 ± 0.04 (Sanos: D = +0.109); ANA-EIA: 0.477 ± 0.06 (Sanos: D = +0.455); ANA-Hep2: 0.369 ± 0.06 (Sanos: D = +0.426); Anti-Nuc: 0.877 ± 0.04 (Sanos: D = +0.123); Anti-Sm: 0.938 ± 0.03 (Sanos: D = +0.062); y Anti-Rib P: 0.985 ± 0.01 (Sanos: D = +0.015); respectivamente.

Las Figuras 1 – 5 muestran las curvas ROC construidas para el examen de las características operacionales de la determinación del autoanticuerpo en el diagnóstico del LES para todo punto de corte posible. Para cualquier autoanticuerpo, la curva ROC ajustada según la especificidad diagnóstica obtenida en sujetos aparentemente sanos brindó un comportamiento operacional más que optimista, si se juzga del tamaño del área bajo la curva ROC. Se exceptúa la determinación de los autoanticuerpos anti-ADNdc, donde las curvas ROC fueron superponibles una sobre la otra.

Fuente: Registro de datos primarios.

Tamaño de la serie de estudio: 169.

Figura 1. Curvas ROC construidas para la determinación de los autoanticuerpos anti-ADNdc en las subpoblaciones muestreadas. La línea vertical representa el fallo de la especificidad diagnóstica observado en el punto de corte recomendado por el proveedor del estuche de reactivos.

Fuente: Registro de datos primarios.

Tamaño de la serie de estudio: 169.

Figura 2. Curvas ROC construidas para la determinación de los autoanticuerpos antinucleares en las subpoblaciones muestreadas. Izquierda: ANA determinados mediante un ensayo inmunoenzimático. Derecha: ANA determinado mediante tinción inmunofluorescente de células HEp-2. La línea vertical representa el fallo de la especificidad diagnóstica observado en el punto de corte recomendado por el proveedor del estuche de reactivos. Leyenda: ANA: Autoanticuerpos antinucleares. EIA: Ensayo inmunoenzimático.

Fuente: Registro de datos primarios.

Tamaño de la serie de estudio: 169.

Figura 3. Curvas ROC construidas para la determinación de los autoanticuerpos antinucleosomas en las subpoblaciones muestreadas.

Fuente: Registro de datos primarios.

Tamaño de la serie de estudio: 169.

Figura 4. Curvas ROC construidas para la determinación de los autoanticuerpos anti-Smith en las subpoblaciones muestreadas.

Fuente: Registro de datos primarios.

Tamaño de la serie de estudio: 169.

Figura 5. Curvas ROC construidas para la determinación de los autoanticuerpos anti-ribosomas P en las subpoblaciones muestreadas. La línea vertical representa el fallo de la especificidad diagnóstica observado en el punto de corte recomendado por el proveedor del estuche de reactivos.

Finalmente, la Tabla 4 muestra los estimados del área bajo la curva ROC propios de cada autoanticuerpo en los dos escenarios de administración del mismo.

Tabla 4. Áreas bajo la curva ROC propias de los autoanticuerpos empleados en el diagnóstico del LES. Los valores estimados de las áreas bajo la curva ROC se ajustaron según la subpoblación muestreada. El área bajo la curva ROC (y el correspondiente error de estimación) se estimó mediante métodos no paramétricos (salvo que se diga lo contrario). Se presenta la diferencia D entre las correspondientes áreas bajo la curva ROC. Para más detalles: Consulte el texto del presente ensayo. Leyenda: LES: Lupus Eritematoso Sistémico. No LES: Otras conectivopatías diferentes del LES. ANA: Anticuerpos antinucleares. ANA-EIA: ANA determinado mediante EIA. EIA: Ensayo inmunoenzimático. ANA-HEp-2: ANA determinado mediante tinción inmunofluorescente de células HEp-2. Anti-DNAdc: Anti-ácido desoxirribonucleico de doble cadena. Anti-Sm: Anti-Smith. Anti-Nuc: Anti-nucleosoma. Anti -Rib P: Anti-Ribosoma P.

Autoanticuerpo	LES vs. Sanos	LES vs. No LES
Anti-ADNdc	0.9609 ± 0.0243	0.9528 ± 0.0288	D = +0.0089
ANA-EIA ¶§	0.9289 ± 0.2794	0.7755 ± 0.2633	D = +0.1534
ANA-Hep2 ¶§	0.8068 ± 0.2965	0.5341 ± 0.2635	D = +0.2727
Anti-Nuc	0.9949 ± 0.0056	0.7851 ± 0.0675	D = +0.2098
Anti-Sm	0.9377 ± 0.0368	0.5926 ± 0.0790	D = +0.3451
Anti-Rib P ¶§	0.5972 ± 0.2682	0.5770 ± 0.2641	D = +0.0202
¶ El área bajo la curva ROC fue estimada según^(21).
§ El error de estimación del área bajo la curva ROC se estimó mediante métodos recursivos^(22).
Fuente: Registro de datos primarios.
Tamaño de la serie de estudio: 169.

El área bajo la curva ROC es un estimado de la exactitud diagnóstica del método de determinación del autoanticuerpo correspondiente. Solo en el caso de la determinación de los anticuerpos anti-ADNdc, la exactitud diagnóstica fue independiente de la subpoblación muestreada: LES vs. Sujetos aparentemente sanos: 0.9609 ± 0.0243 vs.  

LES vs. No LES: 0.9528 ± 0.0288 (D = +0.0089; p > 0.05: test de comparación de curvas ROC correlacionadas). En las restantes instancias, el área bajo la curva ROC cuando el rendimiento del autoanticuerpo se ajustó según la especificidad observada en sujetos no LES fue siempre menor (datos no mostrados). La exactitud de los autoanticuerpos ANA-Hep2, anti-Sm y anti-Rib P en el diagnóstico diferencial del LES respecto de otras conectivopatías fue apenas superior a la dictada por el azar.

Discusión

Este trabajo ha evaluado las características operacionales de los autoanticuerpos empleados en el diagnóstico diferencial del LES, entre ellos, los ANA y algunas de sus especificidades. La evaluación del valor diagnóstico de distintos autoanticuerpos es absolutamente necesaria en el LES, por cuanto esta enfermedad no cuenta con características clínicas ni patognomónicas ni tampoco excluyentes: las manifestaciones clínicas del LES pueden demorar años en presentarse abiertamente. La aparición en la circulación sanguínea de los autoanticuerpos expuestos en este trabajo suele preceder las manifestaciones clínicas del LES, y por lo tanto, la determinación de los mismos en muestras de sangre se convierte en una herramienta esencial para el diagnóstico temprano de esta enfermedad^(14,23,34).

De todos los autoanticuerpos evaluados, solamente los anti-ADNdc fueron los que mostraron la mayor exactitud diagnóstica, característica ésta que fue independiente del punto de corte empleado y la subpoblación muestreada. Los anticuerpos anti-DNAdc son utilizados universalmente como criterio diagnóstico del LES, y se consideran como la especificidad antinuclear de mayor valor clínico tanto para el diagnóstico como para el seguimiento del LES ^(14,25). No obstante, se ha de señalar que el comportamiento operacional de los anti-ADNdc pudiera depender del tiempo de evolución de la enfermedad, y por medio de esta variable, de la exposición a los fármacos inmunosupresores.⁽²⁶⁾ En esta serie de estudio los pacientes incluidos se restringieron a aquellos con un LES de diagnóstico relativamente reciente. Estudios ulteriores deben orientarse al examen del comportamiento operacional de los anticuerpos anti-ADNdc en pacientes LES que difieren por el tiempo de evolución de la enfermedad lúpica.

Por el contrario, los ANA mostraron un comportamiento operacional desigual, y dependiente tanto del método empleado en la determinación como de la subpoblación de estudio. El empleo de un método inmunoenzimático en la determinación de los ANA se tradujo en elevadas tasas de sensibilidad y exactitud diagnóstica (≥ 90.0 %) cuando estas características se ajustaron teniendo como referencia a una subpoblación de sujetos aparentemente sanos. Sin embargo, este comportamiento no se reprodujo cuando la determinación inmunoenzimática de los ANA se aplicó en el diagnóstico diferencial del LES respecto de otras colagenopatías. La exactitud discriminativa en este escenario fue menor del 80.0 %: una pérdida de 15 puntos porcentuales. La baja tasa de especificidad diagnóstica de este método de determinación pudiera explicar (en parte) este hallazgo. El empleo de un método IFI para el diagnóstico de los ANA tampoco se reflejó en mejores características operacionales: aunque la sensibilidad diagnóstica encontrada fue moderada, la especificidad (y por transitividad la exactitud) fue apenas superior a la esperada del azar.

La presencia de ANA es un criterio esencial en el diagnóstico del LES,⁽¹¹⁾ pero la prevalencia de los mismos puede oscilar entre el 67.0 – 94.0 % según el método empleado y el origen étnico de la población muestreada^(12,13). La determinación IFI de los ANA mediante células Hep2 ha sido elevada en años recientes a la categoría de método de referencia en el cribado de los ANA, por cuanto ofrece un amplio surtido de antígenos celulares en las distintas fases del ciclo proliferativo⁽²⁷⁾. Pero no obstante las ventajas diagnósticas que se le suelen adscribir a la determinación IFI de ANA con células HEp-2, son varios los estudios que han revelado comportamientos operacionales deficientes de la misma debido a, entre otras factores, la interpretación subjetiva de los resultados y la insuficiente estandarización de componentes tecnológicos como el sustrato (como la densidad celular y el nivel de proliferación, así como los epítopes crípticos o escondidos), el proceso de inmovilización de la célula, el anticuerpo secundario, e incluso el herraje de microscopía empleado durante la lectura final⁽²⁸⁾. La limitada sensibilidad de la determinación IFI con HEp-2 se ha demostrado frente a antígenos como SS-A/Ro60, Ro52/TRIM21, Jo-1(histidil tRNA sintetasa), Rib-P y PM/Scl ^(29,30). En un estudio publicado que comparó las características operacionales de los métodos EIA e IFI, se observó una sensibilidad diagnóstica similar, pero el método EIA se distinguió por una especificidad superior: hallazgos coincidentes con los vistos en este estudio⁽³¹⁾.

Los anticuerpos anti-Nuc, que pertenecen a la familia anti-ADNdc, son marcadores inmunológicos exactos del LES en diferentes poblaciones⁽³²⁾. La determinación de los anti-Nuc ha representado una alternativa diagnóstica útil en pacientes LES que no expresan anti-ADNdc ⁽³³⁾. En correspondencia con lo anterior, la determinación de los anti-Nuc mostró una sensibilidad del 70.0 % acompañada de una especificidad cercana al 90.0 %; todo lo cual se trasladó a una exactitud diagnóstica casi del 80.0 %.

Los anticuerpos anti-Sm y anti-Rib han sido propuestos como parte del panel serológico del LES⁽³⁴⁾. Sin embargo, la exactitud diagnóstica implícita en la determinación de los mismos fue apenas superior a la del azar. Los anticuerpos anti-Sm aparecen frente a ribonucleoproteínas en el curso del LES,⁽³⁵⁾ pero solo se presentan en el 25.0 % de los pacientes lúpicos⁽³⁶⁾: hallazgo congruente con lo anotado en este estudio. Se ha señalado la dependencia de los anticuerpos anti-Sm respecto de la constitución genética y las características demográficas de las poblaciones⁽³⁷⁾, y esta circunstancia podría explicar la prevalencia de los mismos en pacientes LES cubanos que se caracterizan por un grado elevado de mestizaje⁽³⁸⁾. Por su parte, los anticuerpos anti-Rib se dirigen contra proteínas ribosomales dentro de la respuesta autoinmune desencadenada por el LES, y han sido propuestos como una nueva adición al panel serológico de la enfermedad⁽³⁹⁾. Sin embargo, y tal como se señalaba para otros autoanticuerpos, la prevalencia de los anti-Rib puede mostrar diferencias poblacionales, siendo poco frecuente en pacientes caucasoides (13 – 20 %), pero más frecuente en los asiáticos (> 40 %)⁽⁴⁰⁾.

Se debe señalar que las características operacionales de los distintos autoanticuerpos estudiados en el presente trabajo se exploraron en el punto de corte previsto por el fabricante del estuche de reactivos. La implementación acrítica de tales puntos de corte en sujetos cubanos podría ser poco realista, al suponer tasas de especificidad diagnóstica que serían difíciles de satisfacer en la realidad clínica del diagnóstico diferencial del LES. A modo de ejemplo: con un punto de corte de 20 U.mL^-1, la especificidad diagnóstica de los autoanticuerpos anti-ADNdc observada fue ≥ 85.0 %. Dada la exactitud corriente de la determinación de los anticuerpos anti-ADNdc (≥ 95.0 %), y que basta con asegurar que la tasa promedio de exactitud sea siempre ≥ 80.0 % para los fines asistenciales actuales, el punto de corte se podría elevar hasta 50 U.mL^-1 y todavía se aseguraría una especificidad ≥ 95.0 %. No obstante, el efecto de los cambios que se hagan en el punto de corte de la determinación de un autoanticuerpo (u otro) podría evaluarse en trabajos ulteriores mediante el cálculo correspondiente de las razones de verosimilitudes (del inglés likelihood ratios), y el examen de cómo cambian tales razones a medida que se modifica el punto de corte. También la selección de un punto de corte sobre otro podría examinarse mediante el cálculo comparativo de las áreas parciales bajo la curva ROC cuando la misma se restringe a intervalos de elevada especificidad diagnóstica según los intereses del analista.

Conclusiones

Los autoanticuerpos anti-ADNdc fueron los más exactos en el diagnóstico diferencial del LES, seguidos de los anti-Nuc y los ANA determinados mediante métodos inmunoenzimáticos. Por el contrario, los anticuerpos anti-Sm y anti-Rib P y los ANA determinados mediante métodos IFI con células Hep2 mostraron tasas disminuidos de exactitud diagnóstica.

Futuras extensiones

Una evaluación más exhaustiva de las características operacionales de los distintos autoanticuerpos empleados en el diagnóstico diferencial del LES comprendería el cálculo de las razones de verosimilitudes según el punto de corte, el método analítico, y la subpoblación muestreada. También se podría estimar la sensibilidad esperada en la zona de elevada especificidad diagnóstica según el criterio del proveedor del estuche de reactivos mediante el cálculo de la correspondiente área parcial bajo la curva ROC. El efecto que tendría en las características operacionales del autoanticuerpo el cambio que se haga en los puntos de corte empleados para la definición de la positividad diagnóstica sería asimismo otra línea de indagación a satisfacer en futuras investigaciones. Igualmente, las características operacionales del autoanticuerpo deberían examinarse en presencia de covariables como el tiempo de evolución de la enfermedad lúpica.

Referencias

1. Boumpas DT, Bertsias GK, Fanouriakis A. 2008–2018: A decade of recommendations for systemic lupus erythematosus. Ann Rheum Dis 2018;77:1547-8.

2. Colmán IA, Ávila G, Acosta ME, Aquino A, Centurión O, Duarte M. Manifestaciones clínicas y laboratoriales en el Lupus Eritematoso Sistémico-LES. Mem Inst Investig Cienc Salud 2016;14(1):0-0. Disponible en: https://revistascientificas.una.py/index.php/RIIC/article/view/780. Fecha de última visita: 5 de Mayo del 2020.

3. Stojan G, Petri M. Epidemiology of systemic lupus erythematosus: An update. Curr Op Rheumatol 2018;30:144-53.

4. Izquierdo JA, Martínez NC, Ochaita PL. Características epidemiológicas de los pacientes con lupus eritematoso cutáneo. Actas Dermo-Sifiliográficas 2014;105:69-73.

5. Li T, Carls GS, Panopalis P, Wang S, Gibson TB, Goetzel RZ. Long‐term medical costs and resource utilization in systemic lupus erythematosus and lupus nephritis: A five‐year analysis of a large Medicaid population. Arthritis Care Res 2009;61:755-63.

6. Khamashta MA, Bruce IN, Gordon C, Isenberg DA, Ateka-Barrutia O, Gayed M; et al. The cost of care of systemic lupus erythematosus (SLE) in the UK: Annual direct costs for adult SLE patients with active autoantibody-positive disease. Lupus 2014;23:273-83.

7. Cervera R, Rúa-Figueroa I, Gil-Aguado A, Sabio JM, Pallarés L, Hernández-Pastor LJ, Iglesias M. Direct cost of management and treatment of active systemic lupus erythematosus and its flares in Spain: The LUCIE study. Rev Clín Esp 2013;213:127-37.

8. Tedeschi SK, Johnson SR, Boumpas D, Daikh D, Dörner T, Jayne D; et al. Developing and refining new candidate criteria for systemic lupus erythematosus classification: An international collaboration. Arthritis Care Res 2018;70:571-81.

9. Pons-Estel BA, Bonfa E, Soriano ER, Cardiel MH, Izcovich A, Popoff F; et al. First Latin American clinical practice guidelines for the treatment of systemic lupus erythematosus: Latin American Group for the Study of Lupus (GLADEL, Grupo Latino Americano de Estudio del Lupus)–Pan-American League of Associations of Rheumatology (PANLAR). Ann Rheum Dis 2018;77:1549-57.

10. Yaniv G, Twig G, Shor DBA, Furer A, Sherer Y, Mozes O, et al. A volcanic explosion of autoantibodies in systemic lupus erythematosus: A diversity of 180 different antibodies found in SLE patients. Autoimm Rev 2015;14:75-9.

11. Leuchten N, Hoyer A, Brinks R, Schoels M, Schneider M, Smolen J; et al. Performance of antinuclear antibodies for classifying systemic lupus erythematosus: A systematic literature review and meta‐regression of diagnostic data. Arthritis Care Res 2018;70:428-38.

12. Willems P, De Langhe E, Westhovens R, Vanderschueren S, Blockmans D, Bossuyt X. Antinuclear antibody as entry criterion for classification of systemic lupus erythematosus: Pitfalls and opportunities. Ann Rheum Dis 2019;78(8):e76-e76. Disponible en: https://ard.bmj.com/content/78/8/e76.abstract. Fecha de última visita: 7 de Febrero del 2020.

13. Kokuina E. Autoanticuerpos como biomarcadores de actividad de la enfermedad del lupus eritematoso sistémico. Rev Cubana Med 2014;53(2): 201-23. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0034-75232014000200009&lng=es. Fecha de última visita: 7 de Febrero del 2020.

14. Arbuckle MR, James JA, Kohlhase KF, Rubertone MV, Dennis GJ, Harley JB. Development of anti‐dsDNA autoantibodies prior to clinical diagnosis of systemic lupus erythematosus. Scand J Immunol 2001;54(1‐2):211-9.

15. Arroyo-Ávila M, Santiago-Casas Y, McGwin G, Cantor RS, Petri M, Ramsey-Goldman R; et al. Clinical associations of anti-Smith antibodies in PROFILE: A multi-ethnic lupus cohort. Clin Rheumatol 2015;34:1217-23.

16. Gheita TA, Abaza NM, Hammam N, Mohamed AAA, El-Gazzar II, Eissa AH. Anti-dsDNA titre in female systemic lupus erythematosus patients: Relation to disease manifestations, damage and antiphospholipid antibodies. Lupus 2018;27:1081-7.

17. Mummert E, Fritzler MJ, Sjöwall C, BentowC, Mahler M. The clinical utility of anti-double-stranded DNA antibodies and the challenges of their determination. J Immunol Meth 2018;459: 11-9.

18. Kokuina E, Estévez del Toro M, Gutiérrez Á, Ortiz A, Sánchez Y, Pérez Campos D. Anticuerpos antinucleares específicos y afectaciones orgánicas en 180 pacientes con lupus eritematoso sistémico. Rev Cuba Reumatol 2015;17(2):104-111. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1817-59962015000200002&lng=es. Fecha de última visita: 8 de Febrero del 2020.

19. Fernández Mesa TA, Sánchez Martínez C, Junco-Calzadilla, R., González, G. D. G., & Iglesias-González, I. M. (2016). Importancia diagnóstica de los anticuerpos antinucleares. Revista Cubana de Reumatología, 18(2), 192-196. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1817-59962016000400004. Fecha de última visita: 8 de Febrero del 2020.

20. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982;143:29-36.

21. Cantor SB, Kattan MW. Determining the area under the ROC curve for a binary diagnostic test. Med Dec Making 2000;20:468-70.

22. Obuchowski NA, Bullen JA. Receiver operating characteristic (ROC) curves: Review of methods with applications in diagnostic medicine. Phys Med Biol 2018;63(7):07TR01-07TR01. Disponible en: https://iopscience.iop.org/article/10.1088/1361-6560/aab4b1/meta. Fecha de última visita: 7 de Febrero del 2020.

23. Spronk PE, Bootsma H, Kallenberg CG. Anti-DNA antibodies as early predictor for disease exacerbations in SLE. Clin Rev Allergy Immunol 1998;16:211-8.

24. Aho KI, Koskela PE, Mäkitalo R, Heliövaara M, Palosuo TI. Antinuclear antibodies heralding the onset of systemic lupus erythematosus. J Rheumatol 1992;19:1377-9.

25. Bai Y, Tong Y, Liu Y, Hu H. Self‐dsDNA in the pathogenesis of systemic lupus erythematosus. Clin Exp Immunol 2018;191:1-10.

26. Rekvig OP. Anti‐dsDNA antibodies as a classification criterion and a diagnostic marker for systemic lupus erythematosus: critical remarks. Clin Exp Immunol 2015;179:5-10.

27. Adams BB, Mutasim DF. The diagnostic value of anti-nuclear antibody testing.International Journal of Dermatology 2000;39(12):887-91. Disponible en: https://onlinelibrary.wiley.com/doi/abs/10.1046/j.1365-4362.2000.00109.x. Fecha de última visita: 7 de Febrero del 2020.

28. Meroni PL, Chan EK, Damoiseaux J, Andrade LEC, Bossuyt X, Conrad K; et al. Unending story of the indirect immunofluorescence assay on HEp-2 cells: Old problems and new solutions? Ann Rheum Dis 2019;78(6):e46-e46. Disponible en: https://ard.bmj.com/content/78/6/e46?utm_term=1-B&utm_content=americas&utm_campaign=alljjs&utm_medium=cpc&utm_source=trendmd. Fecha de última visita: 9 de Febrero del 2020.

29. Hoffman IEA, PeeneIVeys EM, Keyser F. Detection of specific antinuclear reactivities in patients with negative anti-nuclear antibody immunofluorescence screening tests. Clin Chem 2002;48:2171-6.Disponible en: http://www.clinchem.aaccjnls.org/content/48/12/2171.short. Fecha de última visita: 9 de Febrero del 2020.  

30. Kidd K, Cusi K, Mueller R, Goodner M, Boyes B, Hoy E. Detection and identification of significant ANAs in previously determined ANA negative samples. Clin Lab 2005;51:517-21.Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/16285474. Fecha de última visita: 8 de Febrero del 2020.

31. Shovman O, Gilburd B, Barzilai O, Shinar E, Larida B, Zandman G, et al. Evaluation of the BioPlex 2200 ANA screen. Analysis of 510 healthy subjects: Incidence of natural/predictive autoantibodies. Ann NY Acad Sci 2005;1050(1):380-8.Disponible en: https://nyaspubs.onlinelibrary.wiley.com/doi/abs/10.1196/annals.1313.120. Fecha de última visita: 10 de Febrero del 2020.

32. Cairns PA, McMillan SA, Crockard AD, Meenagh GK, Duffy EM, Armstrong DJ; et al. Antinucleosome antibodies in the diagnosis of systemic lupus erythematosus. Ann Rheum Dis 2003; 62: 272–3. Disponible en: https://ard.bmj.com/content/62/3/272.short. Fecha de última visita: 7 de Febrero del 2020.

33. Min DJ, Kim SJ, Park SH, Seo YI, Kang HJ, Kim WU; et al. Anti-nucleosome antibody: significance in lupus patients lacking anti-double-stranded DNA antibody. Clin Exp Rheumatol 2002;20:13-8.

34. Migliorini P, Baldini C, Rocchi V, Bombardieri S. Anti-Sm and anti-RNP antibodies. Autoimmunity 2005;38:47-54.

35. Zieve GW, Khusial PR. The anti-Sm immune response in autoimmunity and cell biology. Autoimmun Rev 2003;2:235-40.

36. Agarwal S, Harper J, Kiely PDW. Concentration of antibodies to extractable nuclear antigens and disease activity in systemic lupus erythematosus. Lupus 2009;18:407-12.

37. Martinez-Cordero E, Martinez-Miranda E, Negrete-Garcia MC, Padilla A, Aguilar Leon DE. Anti-dsDNA and Sm autoantibodies in systemic lupus erythematosus. Clin Rheumatol 1992;11:341-5.

38. Kokuina E. Importancia de indicar e interpretar las pruebas de autoanticuerpos. Rev Cubana Med 2016;55(4):324-39. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0034-75232016000400007&lng=es. Fecha de última visita: 10 de Febrero del 2020.

39. Ghirardello A, Caponi L, FranceschiniF, Zampiere S, Quinzanini M, Bendo R; et. al. Diagnostic test for antiribosomal P protein antibodies: A comparative evaluation of immunoblotting and ELISA assays. J Autoimmun 2002;19(1-2):71-7. Disponible en: https://www.sciencedirect.com/science/article/pii/S0896841102905950. Fecha de última visita: 8 de Febrero del 2020.

40. Mahler M, Kessenbrock K, Szmyrka M; et al. International multicenter evaluation of autoantibodies to ribosomal P proteins. Clin Vacc Immunol 2006;13:77-83. Disponible en: http://cvi.asm.org/content/13/1/77.short. Fecha de última visita: 9 de Febrero del 2020.