ARTÍCULO DE INVESTIGACIÓN / RESEARCH ARTICLE
PRECISIÓN DEL PRONÓSTICO DE LA PROPAGACIÓN DEL COVID-19 EN
COLOMBIA
ACCURACY OF COVID-19 PROPAGATION FORECAST IN COLOMBIA
Fecha recibido: abril 15 de 2020
Fecha aceptado: abril 30 de 2020
Jorge Enrique Díaz-Pinzón
a
Correo electrónico autor principal Ing. Jorge Enrique Díaz Pinzón: jediazp@unal.edu.co
a
Ingeniero. Magister en Gestión de la Tecnología Educativa, Especialista en Administración de la
Informática Educativa. Docente de matemáticas e Investigador, Secretaría de Educación de Soacha,
Cundinamarca.
Orcid.org/0000-0002-8870-7769.
ISSN: 0121-7372 • ISSN electrónico: 2462-991X - REPERT MED CIR. 2020;29(Supl. 1):27-32
Doi: https://doi.org/10.31260/RepertMedCir.01217372.1045
Resumen
Introducción: el nuevo Coronavirus (COVID-19) ha sido clasificado por la
Organización Mundial de la Salud como una emergencia en salud pública de
importancia internacional (ESPII). Se han reconocido casos en todos los
continentes. El 6 de marzo de 2020 se confirmó el primer caso en Colombia.
Objetivo: presentar la precisión de un pronóstico de la dinámica de transmisión del
COVID-19 en Colombia. Metodología: para desarrollar la investigación se utilizó la
base de datos de las personas infectadas con el Covid-19, esta información
corresponde al período 6 de marzo al 14 de abril de 2020. Para su análisis de
predicción se manejó el método modelo de Brown, utilizando el paquete estadístico
SPSS v.25. Resultados: se apreció que el error de pronóstico fue muy bajo y
correspondió al MAPE (error porcentual medio absoluto), con un 0,03%, seguido del
MAD (desviación media absoluta), con un valor de 0,95, es decir que en ambos
casos la predicción obtuvieron un alto grado de confiabilidad. Conclusiones: el uso
de modelación matemática se ha desarrollado en grado representativo en las
últimas décadas y son de gran impulso para ilustrar escenarios eficaces de
prevención y control de enfermedades infectocontagiosas.
Palabras clave: Covid-19, pronóstico, transmisión de enfermedad infecciosa;
Infección por Coronavirus.
© 2020 Fundación Universitaria de Ciencias de la Salud - FUCS. Este es un artículo Open Access bajo la licencia
CC BY-NC-ND (http:// creativecommons.org/licenses/by-nc-nd/4.0/)
Abstract
Introduction: the new Coronavirus (COVID-19) has been declared by the World
Health Organization as a public health emergency of international concern (PHEIC).
Cases have been reported on all continents. The first case was confirmed in
Colombia on March 6 2020. Objective: to present the accuracy of a forecast of the
dynamics of COVID-19 in Colombia. Methodology: the database including people
infected with Covid-19 was used to develop the research. This information
corresponds to the period between March 6 and April 14 2020. The Brown´s model
method was used for the predictive analysis in the SPSS v.25 statistical package.
Results: it was observed that the prediction error value was very low and
corresponds to a mean absolute percentage error (MAPE) of 0.03%, followed by a
mean absolute deviation (MAE) of 0.95, hence, in both cases the quality of prediction
had a high degree of reliability. Conclusions: in the last decades, the use of
mathematical models has been developed at a representative degree, providing a
major impetus for illustrating effective scenarios of infectious disease prevention and
control.
Keywords: Covid-19, prognosis, infectious disease transmission; Coronavirus
infection
© 2020 Fundación Universitaria de Ciencias de la Salud - FUCS. This is an open access article under the CC
BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Introducción
Los coronavirus son una amplia familia de virus que logran causar enfermedades
tanto en animales como en humanos. En los humanos, se sabe que varios
coronavirus ocasionan infecciones respiratorias que consiguen ir desde el resfriado
común hasta enfermedades más complicadas como el síndrome respiratorio de
Oriente Medio (MERS) y el síndrome respiratorio agudo severo (SRAS). El
coronavirus que se ha manifestado más recientemente causa la enfermedad por
coronavirus COVID-19.
1
Según el Ministerio de Salud y Protección Social
2
los coronavirus (CoV) son virus
que brotan habitualmente en diferentes áreas del mundo y causan infección
respiratoria aguda (IRA) es decir gripa, que pueden llegar a ser leve, moderada o
grave.
El nuevo Coronavirus (COVID-19) ha sido clasificado por la Organización Mundial
de la Salud como una emergencia en salud pública de importancia internacional
(ESPII). Se han reconocido casos en todos los continentes y el 6 de marzo se
confirmó el primer caso en Colombia. La infección se evidencia cuando una persona
enferma tose o estornuda y expulsa partículas del virus que entran en contacto con
otras personas.
En diciembre 2019 surgió una asociación de casos de neumonía en la ciudad de
Wuhan (provincia de Hubei, China), con una muestra común a un mercado
mayorista de mariscos, pescado y animales vivos. El 7 de enero 2020 las
autoridades chinas establecieron como agente promotor del brote un nuevo virus de
la familia coronaviridae, que ulteriormente fue designado SARS-CoV-2. La
secuencia genética fue compartida por las autoridades chinas el 12 de enero. La
enfermedad ocasionada por este nuevo virus se ha designado por consenso
internacional COVID-19. El Comité de Emergencias del Reglamento Sanitario
Internacional (RSI, 2005) manifestó el brote como una emergencia de salud pública
de importancia internacional (ESPII) en su reunión del 30 de enero de 2020.
Posteriormente el 11 de marzo de 2020 la OMS lo consideró como una pandemia
global.
3
En Colombia, el Instituto Nacional de Salud (INS) notifica diariamente al Ministerio
de Salud las cifras de casos confirmados acumulados de COVID-19: total casos,
casos en hospitalizaciones, ingreso en UCI, fallecidos y casos recuperados.
A pesar de las múltiples incertidumbres que a nivel biológico, clínico y
epidemiológico subsisten en relación con este nuevo virus, lo que ya parece claro
es que cada país ha respondido o está respondiendo a la misma amenaza con
diferentes medidas y/o con una temporización diferente. Este hecho hace que las
curvas epidemiológicas de los países afectados se estén comportando de manera
distinta y que el costo social y económico de las respectivas respuestas pueda ser
diferente.
4
Según Montesinos
5
, el empleo de modelos matemáticos para enfermedades
infecciosas ha aumentado en grado significativo en los años anteriores debido a que
suministran información ventajosa para tomar decisiones, y establecer medidas
activas en el control o erradicación de una enfermedad infecciosa. Estos modelos
son muy ventajosos porque sujetan propiedades esenciales de la dispersión de una
enfermedad de una forma sintética.
El pronóstico atañe a una predicción de un evento de interés (EI) después de su
inicio. El término, hace referencia a posibles resultados de un EI y a la frecuencia
con la que se puede esperar que se originen.
6
El objetivo de este trabajo de investigación es presentar la precisión de un
pronóstico de la dinámica de transmisión del COVID-19 en Colombia; el método
utilizado para hallar el pronóstico fue el modelo lineal de Brown teniendo en cuenta
el registro de la primera persona infectada el 6 de marzo 2020 hasta el 13 de abril
2020.
Metodología
Tendencia lineal de Brown
Este modelo es apropiado para las series con una tendencia lineal y sin
estacionalidad. Sus parámetros de suavizado son el nivel y la tendencia, que se
admiten iguales. Por ello, el modelo de Brown es un caso específico del modelo de
Holt. El modelo de suavizado exponencial de Brown es muy análogo a un modelo
ARIMA con cero órdenes de auto regresión, dos órdenes de distinción y dos órdenes
de media móvil, con el coeficiente para el segundo orden de media móvil igual al
cuadrado de la mitad del coeficiente de primer orden.
7
Este método radica en realizar dos suavizaciones exponenciales, a partir de las
cuales se alcanzará el valor estimado, o pronóstico que indagamos realizar,
mediante un cálculo realizado con una expresión sencilla. La primera se emplea a
los valores observados en la serie de tiempo y la segunda a la serie mitigada
obtenida mediante la primera atenuación. Debido a que los valores calculados al
realizar las dos primeras atenuaciones no son los datos considerados a obtener, es
decir, que formarán las inferencias de los valores que se espera que tome la serie
de tiempo en el futuro cercano, emplearemos una notación distinta a la de la
expresión final con la cual se calculan los valores que componen en realidad el
pronóstico.
8,9
Este es el modelo más ventajoso para el pronóstico a corto plazo, se identifica
porque busca mitigar los valores picos de la función por medio de un coeficiente
denominado Alfa “α”.
10
El objetivo de los métodos de serie de tiempo es manifestar un patrón en los datos
históricos y luego extrapolarlo hacia el futuro; el pronóstico se fundamenta solo en
valores pasados de la variable que tratamos de predecir.
11
A continuación, se
presenta la formulación del método de Brown:
S
t
1
=
(α x X
t
)
+
[ (1- α) x S
t-1
]
S
t
2
= (α x S
t
)
+
[ (1- α) x S
t-1
]
a
t
= S
t
1 +
(S
t
1
- S
t
2
) = S
t
1
- S
t
2
b
t
=

(S
t
1
- S
t
2
)
F
t+m
= a
t
+ b
t
m
Donde:
S
t
1
= Valor del suavizamiento exponencial simple al finalizar el periodo t
S
t
2
= Valor del suavizamiento exponencial doble al finalizar el periodo t
a
t
= Ajuste de la serie al finalizar el periodo t
b
t
= Ajuste de tendencia al finalizar el periodo t
α= Constante de aislamiento
m= Varia desde 1 hasta m, y determina el número de pronósticos que se deseen
F
t+m
= Pronostico en el periodo t + m
Medición del error en pronósticos
Persistentemente se van a presentar errores en el cálculo de un pronóstico. En la
práctica, se pretende minimizar ambos tipos de errores optando por el mejor método
de pronóstico, y es por eso que existe la medición del error en pronósticos. Las
medidas de error de pronóstico calculadas para un solo método en un solo período
de tiempo carecen de significado. Su utilidad reside cuando comparamos las
medidas de error con las medidas de otros métodos de pronóstico o con otros
períodos de tiempo.
12
A continuación, describiremos varias medidas de error y sus
correspondientes fórmulas que utilizaremos en la precisión del pronóstico de
acuerdo con Betancourt.
12
Suma acumulada de errores de pronóstico (CFE)
Es la medida más primordial de todas y es la que da origen a las demás. Es la suma
acumulada de los errores de pronóstico.
   
Desviación media absoluta (MAD)
Mide la dispersión del error de pronóstico o, dicho de otra manera, la medición del
tamaño del error en unidades. Es el valor absoluto de la diferencia entre el riesgo
real y el pronóstico, dividido sobre el número de periodos.


 
Error cuadrático medio (MSE)
Al igual que la DAM, el MSE es una medida de dispersión del error de pronóstico,
no obstante, esta medida maximiza el error al elevar al cuadrado, infligiendo
aquellos periodos donde la diferencia fue más alta a comparación de otros. En
consecuencia, se recomienda el uso del MSE para periodos con desviaciones
pequeñas.

  
Error porcentual medio absoluto (MAPE)
El MAPE entrega la desviación en términos porcentuales y no en unidades como
las anteriores medidas. Es el promedio del error absoluto o diferencia entre el riesgo
real y el pronóstico, indicado como un porcentaje de los valores reales.






Señal de rastreo
La señal de rastreo es una medida de desempeño que permite medir la desviación
del pronóstico respecto a variaciones en la demanda. Las señales de rastreo
positivas indican que el riesgo real es mayor que el pronóstico. Las señales de
rastreo negativas indican que la demanda es menor que el pronóstico. Los errores
negativos y positivos deben equilibrarse entre sí para que la señal de rastreo se
centre muy cerca de cero. (De Antonio)
  


Se realizó un estudio descriptivo de análisis de series temporales correspondiente
al período 6 de marzo 2020 a 14 de abril 2020 en Colombia, para obtener una
precisión del pronóstico de contagio por COVID-2019. Las fuentes de información
empleadas estuvieron constituidas por el conjunto de series cronológicas obtenidas
del Ministerio de Salud y Protección Social.
Las características de la información disponible permitieron evaluar la calidad de las
series y el aspecto necesario para poder comenzar el proceso de predicción. Se
consideró al conjunto de las series como suficientemente consistente para realizar
el análisis. Se decidió utilizar la información de casos confirmados por el contagio
con COVID-19 y que se calcularon en 2979 personas afectadas, hombres 1529 y
mujeres 1450. Se deseaba analizar la precisión del pronóstico versus el riesgo real
de contagio en el período 6 de marzo 2020 a 14 de abril 2020. Para su análisis de
predicción se manejó el método de predicción modelo de Brown, utilizando el
paquete estadístico SPSS v.25.
Ahora para llevar a cabo la precisión del pronóstico que es el grado de cercanía
entre la expresión de cantidad y el valor real de ésta, se emplearon métricas para
calcular la precisión de los pronósticos MAE (error absoluto medio), MAPE (error
absoluto medio relativo), MSE (error cuadrático medio) y CFE (suma acumulada de
errores de pronóstico).
Resultados
En la (tabla 1) se muestran los diferentes errores con la información de contagio
real y pronóstico del COVID-19, durante el período 6 de marzo a 14 de abril 2020,
con la información de 40 días de observación. Se aprecia que el error de pronóstico
fue muy bajo y correspondió al MAPE (error porcentual medio absoluto) con un
0,03%, seguido del MAD (desviación media absoluta) con un valor de 0,95 es decir
que en ambos casos la predicción tiene un alto grado de confiabilidad.
Tabla 1. Error de pronóstico para el COVID-19
Periodo
Contagio
Real
Pronóstico
Desviación
absoluta
media
(MAD)
Error
cuadrático
medio
(MSE)
Error
porcentual
absoluto
medio
(MAPE)
1
1
1
0,00
0,00
0,00%
2
1
1
0,00
0,00
0,00%
3
1
1
0,00
0,00
0,00%
4
3
1
2,00
4,00
66,67%
5
3
4
1,00
1,00
33,33%
6
9
4
5,00
25,00
55,56%
7
13
13
0,00
0,00
0,00%
8
16
17
1,00
1,00
6,25%
9
24
19
5,00
25,00
20,83%
10
45
30
15,00
225,00
33,33%
11
57
61
4,00
16,00
7,02%
12
75
71
4,00
16,00
5,33%
13
102
91
11,00
121,00
10,78%
14
128
125
3,00
9,00
2,34%
15
175
153
22,00
484,00
12,57%
16
210
214
4,00
16,00
1,90%
17
240
247
7,00
49,00
2,92%
18
306
272
34,00
1156,00
11,11%
19
378
360
18,00
324,00
4,76%
20
470
444
26,00
676,00
5,53%
21
491
535
62,00
3844,00
12,63%
22
539
553
4,00
16,00
0,74%
23
608
584
24,00
576,00
3,95%
24
702
668
34,00
1156,00
4,84%
25
798
785
13,00
169,00
1,63%
26
906
890
16,00
256,00
1,77%
27
1065
1.009
56,00
3136,00
5,26%
28
1161
1.204
43,00
1849,00
3,70%
29
1267
1.274
7,00
49,00
0,55%
30
1406
1.374
32,00
1024,00
2,28%
31
1485
1.533
48,00
2304,00
3,23%
32
1579
1.582
3,00
9,00
0,19%
33
1780
1.673
107,00
11449,00
6,01%
34
2054
1.942
112,00
12544,00
5,45%
35
2223
2.291
68,00
4624,00
3,06%
36
2473
2.420
53,00
2809,00
2,14%
37
2709
2.702
7,00
49,00
0,26%
38
2776
2.944
168,00
28224,00
6,05%
39
2852
2.904
52,00
2704,00
1,82%
40
2979
2.941
38,00
1444,00
1,28%
Suma de errores
1101,00
79665,00
345,28%
CFE
38,00
MAD
0,95
MSE
36,10
MAPE
0,03%
Señal de
rastreo
40,00
Figura 1. Contagio real versus pronóstico.
En la (figura 1) se describe como la línea de contagio real de color azul y la línea
de pronóstico de color naranja son muy similares entre sí, en la mayoría del recorrido
permanecen superpuestas una con otra, confirmando los errores mínimos de la
(tabla 1), es decir el pronóstico se ajusta al contexto de contagio real de pacientes
con COVID-19.
El coeficiente de determinación ajustado (R
2
)
El R
2
, coeficiente de determinación nos indica en qué medida los datos se ajustan
al modelo seleccionado, tendencia lineal de Brown, en este caso el R
2
= 0,998, y si
lo convertimos a porcentaje se va obtener un 99.8%, esto significa que los datos se
ajustan en un 99,8% al modelo seleccionado.
0
500
1000
1500
2000
2500
3000
3500
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39
Número de casos confirmados
Días desde que se registro el primer caso
Contagio Real Pronóstico
Conclusiones
El modelo de Brown nos ilustra un escenario posible de la enfermedad, lo cual a la
luz de los resultados no es nada halagador para Colombia, por lo tanto, se hace
necesario continuar con el aislamiento para que se genere una estabilización de la
enfermedad. Esta predicción puede cambiar si todos los colombianos somos
responsables en guardar la cuarentena.
Este modelo analizado no tiene en cuenta el crecimiento hasta alcanzar un ‘pico’, y
es fundamental para el sistema sanitario saber cuándo se va a llegar, por lo tanto,
es necesario realizar un monitoreo permanente para esclarecer el futuro de la
enfermedad.
Los alisamientos exponenciales establecen métodos muy simples y la posibilidad
de ponderar las observaciones a través de las constantes de suavizamiento le
otorga gran poder para la predicción. Ofrecer pronósticos, que brinden cierto grado
de confianza, acerca de la evolución futura de las causas de muerte en un horizonte
de tiempo determinado favorece a alcanzar una mejor preparación del sistema de
salud para su enfrentamiento.
9
Además, la utilización de modelos de predicción de
comparativamente fácil construcción como los obtenidos con alisamientos
exponenciales en este estudio, logran resultar muy útiles para la vigilancia de
eventos de salud diversos ya que admiten a las autoridades sanitarias el
conocimiento previo que facilita en gran medida la toma de decisiones oportunas.
9
Se apreció que el error de pronóstico fue muy bajo, y correspondió al MAPE (error
porcentual medio absoluto), con un 0,03%, seguido del MAD (desviación media
absoluta), con un valor de 0,95, es decir que en ambos casos la predicción obtuvo
un alto grado de confiabilidad.
El autor recomienda realizar otro tipo de análisis con otros modelos matemáticos
por ejemplo el modelo SIR es uno de los modelos epidemiológicos más simples e
idóneos para capturar muchas de las características típicas de los brotes
epidémicos. El nombre del modelo procede de las iniciales S
(población susceptible), I (población infectada) y R (población recuperada). El
modelo concierne las variaciones las tres poblaciones (susceptible, infectada y
recuperada) a través de la tasa de infección y el período infeccioso promedio.
13,14
Consecuentemente, es vital identificar una población objetivo en la que las
predicciones que convenzan una necesidad clínica, y un conjunto de datos
representativo (preferiblemente que incluya pacientes consecutivos) en el que se
pueda desarrollar y validar el modelo de predicción. En lugar de desarrollar y
restaurar las predicciones en su entorno local, los datos de participantes individuales
de múltiples países y sistemas de salud deberían permitir una mejor comprensión
de la generalización e implementación de modelos de predicción en otros entornos
y poblaciones.
15
La inestabilidad en las frecuencias relativas de los resultados señalados presenta
un reto importante para el modelador de predicciones. Un modelo de predicción
aplicado en un entorno con una frecuencia relativa desigual del resultado podría
originar predicciones mal calibradas
16
y podría precisar actualizarse antes de que
consiga aplicarse de forma segura en ese nuevo entorno.
17 18
Declaración de conflictos de interés
El autor declara ningún conflicto de intereses.
Referencias
1. Organización Mundial de la Salud. OMS. Preguntas y respuestas sobre la
enfermedad por coronavirus (COVID-19) [Internet]. 2020 [citado 2020 marzo 26].
Recuperado de: https://www.who.int/es/emergencies/diseases/novel-coronavirus-
2019/advice-for-public/q-a-coronaviruses
2. Ministerio de Salud y protección Social. Orientaciones para el tamizaje de viajeros
procedentes de zonas con circulación del nuevo coronavirus (covid-19) [Internet].
2020 [citado 2020 marzo 26]. Recuperado de:
https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/VS/asif04-guia-
tamizaje-poblacional-puntos-entrada-coronavirus.pdf
3. ISCIII. Informe sobre la situación de COVID-19 en España. 2020 [Internet]. 2020
[citado 2020 marzo 26]. Recuperado de:
https://www.isciii.es/QueHacemos/Servicios/VigilanciaSaludPublicaRENAVE/Enfer
medadesTransmisibles/Paginas/InformesCOVID-19.aspx
4. Chaccour, C. COVID-19: Cinco respuestas de salud pública diferentes ante la
epidemia [Internet]. 2020 [citado 2020 marzo 26]. Disponible en:
https://www.isglobal.org/healthisglobal/-/custom-blog-portlet/covid-19-cinco-
respuestas-de-salud-publica-diferentes-ante-la-epidemia/2877257/0
5. Montesinos, O. Hernández, C. Modelos matemáticos para enfermedades
infecciosas [Internet]. 2020 [citado 2020 mar 26]. Recuperado de:
https://www.scielosp.org/pdf/spm/2007.v49n3/218-226
6. Manterola, C; Santander, C; Otzen, T. Cómo valorar e interpretar un artículo sobre
pronóstico. Rev Chil Cir. 2013;65(1):77-84. doi: http://dx.doi.org/10.4067/S0718-
40262013000100015
7. IBM. Modelos personalizados de suavizado exponencial [Internet]. 2010 [citado
2020 marzo 26]. Recuperado de:
https://www.ibm.com/support/knowledgecenter/es/SSLVMB_sub/statistics_mainhel
p_ddita/spss/trends/idh_idd_exp_smooth_crit.html
8. Modelos de pronóstico. Suavización Exponencial Doble Método de Brown
Ajuste a la Tendencia [Internet]. 2020 [citado 2020 abril 04]. Recuperado de:
http://modelosdepronosticos.info/metodo_de_suavizacion_exponencial_doble_met
odo_de_brown.html
9. Coutin, M, Gisele. Pronósticos de mortalidad por enfermedades no transmisibles
seleccionadas. Rev Cubana Hig Epidemiol. 2008;46(3):1-14
10. Ramos, D. Bacca, A. Importancia de la planeación de la demanda en una
empresa del sector industrial [Internet]. 2014 [citado 2020 abril 7]. Recuperado de:
https://core.ac.uk/download/pdf/143448212.pdf
11.Villareal, F. Introducción a los Modelos de Pronósticos [Internet]. 2016 [citado
2020 abril 7]. Recuperado de:
https://www.matematica.uns.edu.ar/uma2016/material/Introduccion_a_los_Modelo
s_de_Pronosticos.pdf
12. Betancourt, D. F. Medición del error en pronósticos de demanda [Internet]. 2016
[citado 2020 abril 13]. Recuperado de: https://ingenioempresa.com/medicion-error-
pronostico/
13. Galindo-Uribarri, S; Rodríguez- Meza, M; Cervantes-Cota, J. Las matemáticas
de las epidemias: caso México 2009 y otros. Ciencia Ergo Sum. 2009;20(3):238-
246.
14. Navarro-Robles, E. Martínez-Matsushita, L; López-Molina, R; Fritz-Hernández,
F; Flores-Aldana, B; Mendoza-Pérez, J. Modelo para estimación del
comportamiento epidémico de la influenza A (H1N1) en México [Internet]. 2011
[citado 2020 abril 04]. Recuperado de:
https://scielosp.org/article/rpsp/2012.v31n4/269-274/
15.BMJ 2020. Modelos de predicción para el diagnóstico y pronóstico de la infección
por covid-19: revisión sistemática y valoración crítica. [Internet]. 2020 [citado 2020
abril 23]. Recuperado de: https://www.bmj.com/content/369/bmj.m1328
16.Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW.
Calibration: the Achilles heel of predictive analytics. BMC medicine. 2019;17(1):230.
http://dx.doi.org/10.1186 / s12916-019-1466-7
17.Steyerberg E. Clinical prediction models. A practical approach to development,
validation, and updating. United State: Springer; 2009.
18.Riley RD, Ensor J, Snell KI, Debray TP, Altman DG, Moons KG, et al. External
validation of clinical prediction models using big datasets from e-health records or
IPD meta-analysis: opportunities and challenges. BMJ. 2016;353:i3140.
http://dx.doi.org/10.1136/bmj. i3140