ARTÍCULO DE INVESTIGACIÓN

 

 

UTILIDAD PREDICTIVA DE MORTALIDAD DE LA ESCALA RÁPIDA DE EMERGENCIAS (REMS) EN UN HOSPITAL DE ALTA COMPLEJIDAD

 

 

 

Fecha recibido: diciembre 4 de 2017

Fecha aceptado: mayo 11 de 2018

 

 

 

 

 

 

 

 

 

Miguel Angel Saavedra MDaNelson Alfonso Jaime MDb, Cristian Fabián Chávez MDb, Juan Esteban Orjuela MDb, Ronald Raúl Rengifo MDb

 

 

 

Correo electrónico auto principal Dr. Miguel Angel Saavedra: escalarems2017@gmail.com

 

 

 

 

 

a Servicio Medicina de Urgencias, Hospital de San José, Fundación Universitaria de Ciencias de la Salud, Bogotá DC, Colombia.

b Medicina de Urgencias, Fundación Universitaria de Ciencias de la Salud, Bogotá DC, Colombia.

 

 

 

 

 

 

Resumen

Objetivo: determinar la utilidad predictiva de la escala rápida de emergencias (REMS) en términos de mortalidad intrahospitalaria y estancia de pacientes adultos sean quirúrgicos o no que ingresan al servicio de urgencias del Hospital de San José de Bogotá. Método: estudio analítico, retrospectivo de pacientes que ingresaron a urgencias de un  hospital de cuarto nivel de Bogotá, Colombia, entre septiembre 2016 y febrero 2017. Resultados: se incluyeron 1080 pacientes aleatoriamente con una frecuencia de muerte intrahospitalaria de 10.19% (n: 110), mediana de edad en los fallecidos de 73 años vs 55 años en los no fallecidos. La mediana calculada del puntaje de la escala REMS fue significativamente mayor en el grupo con  de muerte intrahospitalaria 7 (5-10)  que en los que no fallecieron  3 (0-3). Según el modelo de regresión logística las variables más relacionadas con muerte intrahospitalaria fueron: días de estancia intrahospitalaria (OR: 1.08 IC 95% 1.04-1.12), escala REMS (OR: 1.5 IC 95% 1.34 -1.7), inmunocompromiso (OR: 6.27 IC 95% 2.12-18.5) y patología oncológica (OR 12 IC 95% 6.25-26.6). El punto de corte asociado con mortalidad fue de 6 para la escala, teniendo en cuenta las otras variables que impactaron en la mortalidad se establece un OR de 4.3 (IC 95% 2.3 - 8). El poder discriminativo de la prueba da una AUC de 0.97 considerado bueno. Conclusiones: en nuestra población la escala REMS fue un buen predictor de mortalidad intrahospitalaria en urgencias por condición quirúrgica o no, considerándola como buena herramienta para la toma de decisiones clínicas, derivación y usos de recursos. No es posible establecer esta relación en condición traumática debido al tamaño de la muestra. Teniendo en cuenta el análisis de otras variables es posible establecer una nueva escala en la cual se incluya el REMS y variables asociadas estadísticamente significativas.

Palabras clave:  emergency medicine, medical emergency services, in-hospital mortality, acute physiology and chronic health evaluation, health care quality.

© 2018 Fundación Universitaria de Ciencias de la Salud - FUCS. Este es un artículo Open Access bajo la licencia CC BY-NC- ND (http://creativecommons.org/licenses/by-nc- nd/4.0/).

 

Abstract

Objective: to test the Rapid Emergency Medicine Score (REMS) utility as a predictor in terms of in-hospital mortality and hospital stay in adult surgical and non-surgical patients admitted to the emergency department (ED) of Hospital de San José in Bogotá. Method: this was an analytic retrospective study including patients admitted to a fourth level hospital in Bogotá, Colombia ED, between September 2016 and February 2017. Results: 1080 patients were randomly included obtaining an in-hospital mortality rate of 10.19% (n: 110), median age of nonsurvivors 73 years vs 55 years of survivors. The estimated median REMS was significantly higher in the in-hospital nonsurvivors group 7 (5-10) than that in the survivors group 3 (0-3). A logistic regression analysis demonstrated variables most related with in-hospital death were: days of hospital stay (OR: 1.08 95% CI 1.04 to 1.12), REMS (OR: 1.5 95% CI 1.34 to 1.7), immunocompromised state (OR: 6.27 95% CI 2.12 to 18.5) and oncologic pathology (OR 12 95% 6.25 to 26.6). The mortality cut off point for the scale was 6. An OR of 4.3 (95% CI 2.3 to 8) was obtained considering the other variables that impacted mortality. The discriminatory power of the area under the curve (AUC) value of 0.97 was considered good. Conclusions: in our population REMS was a good predictor tool of in-hospital mortality in surgical and non-surgical patients admitted to the ED, and was considered a good tool for clinical decision making, classification and resource use. This score could not be employed to discriminate trauma patients due to the sample size. Considering the analysis of other variables, a new scale including REMS may be developed including associated statistically significant variables.

Key Words:  emergency medicine, medical emergency services, in-hospital mortality, acute physiology and chronic health evaluation, health care quality.

© 2018 Fundación Universitaria de Ciencias de la Salud - FUCS. This is an open access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).

 

Introducción

 

El servicio de urgencias es la puerta de entrada de la mayoría de pacientes hospitalizados de una institución1, es importante la rápida valoración e intervención para establecer el pronóstico de los que se encuentran graves, cuyos resultados finales y supervivencia están determinados  por la severidad de la enfermedad detectada durante la admisión y la calidad del manejo que se provee durante todo el proceso de tratamiento.  Las estancias largas se han asociado con resultados negativos.2-5

El uso de escalas de severidad es una de las mejores herramientas para estratificar y definir la prioridad de los pacientes en urgencias.6-15 En 1981 Knaus y col. publicaron el Acute Physiology and Chronic Health Evaluation (APACHE)16,  que en 1985 fue modificada llamada APACHE II17-19 que se utiliza en las unidades de cuidados intensivos20-23, pero es poco práctica en los servicios de emergencias.24 Por tal razón, a partir de este se han derivado una serie de escalas predictivas de fácil realización e interpretación en dicho contexto.7,9.10

 

En 2003 Olsson y col.25 desarrollaron una simplificada, la escala rápida de emergencias (REMS) derivada del APACHE II, de fácil aplicación en urgencias con el fin de predecir la mortalidad de los pacientes no quirúrgicos.12,26-28 Esto con el objetivo de contribuir en la toma de decisiones clínicas, predicción de mortalidad y estancia hospitalaria, impactando sobre la calidad de atención en los servicios de urgencias.

Tiene variables de fácil registro como tensión arterial, frecuencias cardiaca y respiratoria, saturación periférica de oxígeno, escala de Glasgow y edad, asignándole una puntuación de acuerdo con los hallazgos de 0 a 6, con un puntaje mínimo de 0 y un máximo de 26, directamente proporcional con la gravedad.25,26,29

Modificado de:Thomas Olsson, MD, Andreas Terent, MD, PhD, Lars Lind, MD, PhD, Rapid Emergency Medicine Score Can Predict Long-term Mortality in Nonsurgical Emergency Department Patients, Acad Emerg Med October 2004, Vol. 11, No. 10 d.

 

Con el REMS también ha sido comparado el pronóstico temprano y la muerte en casos de infarto agudo al miocardio.30 En trauma tiene una capacidad similar para evaluar la mortalidad hospitalaria de los pacientes con traumatismos en urgencias comparativamente con APACHE II y con otras escalas de trauma como Revised Trauma Score (RTS), Injury Severity Score (ISS) and Shock Index (SI).31-34 También tiene un buen rendimiento comparado con Modified Early Warning Score (MEWS) como predictor de hospitalización en pacientes médicos y quirúrgicos generales admitidos en urgencias.35 En el entorno prehospitalario ha demostrado la capacidad de evaluar el estado agudo del paciente y el cambio clínico durante la atención, reflejándose en las mayores prioridades de despacho y transporte.36

Se desarrolló un estudio analítico, retrospectivo, con el objetivo de definir la utilidad de la escala rápida de emergencias (REMS) como predictor de mortalidad y estancia hospitalaria, de los pacientes adultos que ingresaron al servicio de urgencias del Hospital de San José de Bogotá y así permitir la identificación de aquellos que se encontraban en condición clínica crítica, su atención precoz, direccionamiento y estancia final.

Métodos

Diseño: estudio analítico, de cohorte retrospectivo.

 

Población

Pacientes mayores de 18 años atendidos en urgencias del Hospital de San José de Bogotá, Colombia, durante el periodo comprendido entre el 1 de septiembre 2016 y el 28 de febrero de 2017.

 

Tipo y estrategia de muestreo

Muestreo aleatorio. Se revisaron y analizaron las historias clínicas de los ingresos, evoluciones y epicrisis de cada uno de los pacientes y se tabularon según las variables establecidas. El cálculo del tamaño muestral fue de 890 pacientes para un modelo de regresión logística con covariables continuas (escala REMS), con un poder de 95%, significancia a dos colas de 5%, para un diseño desbalanceado con una tasa de eventos baja, un tamaño del efecto de 0.405 y una razón de tamaño de la muestra de 9.

 

Criterios de selección

Criterios de inclusión: adultos ingresados a urgencias del hospital mencionado a quienes se realizó historia clínica completa, mayores de 18 años, con condición médica y/o quirúrgica durante el periodo de tiempo estipulado en el estudio. Criterios de exclusión: pacientes remitidos o que fueron trasladados a otra institución, quienes ingresaron en asistolia o requirieron reanimación cardiopulmonar básica y avanzada, cuando la  condición clínica fue toxicológica (es decir que la causa que motivó la consulta fuera derivada de intoxicación), los que solicitaron salida voluntaria, con más de un registro de variables faltantes, los admitidos en forma directa a UCI y las embarazadas.

 

Plan de análisis

Las variables continuas se describieron utilizando medidas resumen y dispersión según su distribución estadística y las categóricas usando frecuencias absolutas y porcentajes. Las comparaciones entre grupos se realizaron usando pruebas no paramétricas de chi cuadrado en el caso de variables categóricas y prueba de t student o la prueba de rangos de wilcoxon para variables continuas. Las asociaciones y diferencias estadísticamente significativas se identificaron por valores p menores de 0.05.

Se ajustó un modelo de regresión logística backward con selección de variables por utilidad tomando como variable la respuesta mortalidad. Fueron variables independientes la edad, género, reingreso, comorbilidades, causa de ingreso, días de estancia intrahospitalaria, derivación final y escala REMS. Variable dependiente: muerte durante la hospitalización. Se evaluó la bondad de ajuste del modelo mediante una prueba de Hosmer-Lemeshow. El análisis estadístico de la información se realizó con el software stata 13.0.

Consideraciones éticas

El proyecto de investigación fue aprobado por el comité de ética de investigación en seres humanos del Hospital de San José de Bogotá, bajo los lineamientos éticos de la declaración de Helsinki de 2013, haciéndose énfasis en sus artículos 22 y 24, referidos a la realización del protocolo de investigación y las precauciones tomadas para resguardar la intimidad de las personas participantes en la investigación y su respectiva confidencialidad.

Resultados

Se analizaron un total de 1080 pacientes, 55.83% (603) hombres y una mediana de edad de 57 años (41-72 años).  La causa de ingreso de tipo no quirúrgico fue más frecuente representando 66.2% de los pacientes, seguida por las de origen quirúrgico en 20% y trauma 13.8% (tabla 1).

Respecto a la distribución de comorbilidades el 38.6% no presentaban ninguna, en tanto que de todas las de origen cardiaco se presentaron en 27.7%, seguidas por patología oncológica 9.63%, metabólica 8.8% y finalmente la relacionada con condición neurológica que se presentó en 6.94% (tabla 1).

La comorbilidad oncológica fue la que mayor aportó en el desenlace fatal intrahospitalario y estuvo presente en 39.42% (P=0.001), seguida por la respiratoria (21.2%), el inmunocompromiso (19.6%), neurológica (14.6%) y la relacionada con enfermedad cardiovascular presente en 10% de los pacientes fallecidos (tabla 1).

El 92.8% de los pacientes fueron direccionados para continuar con manejo intrahospitalario en observación y/o piso de hospitalización, el 4.72% (51) requirieron manejo en unidad de cuidado intensivo y 2.31% (25) permanecieron en la sala de reanimación del servicio de urgencias (tabla 1).

El porcentaje de reingresos a la institución fue de 7.04% (76),  de los cuales fallecieron 15.7% (12) (p=0.094), lo que no refleja una diferencia estadística significativa entre los pacientes que reingresan y la condición de muerte intrahospitalaria (tabla 1).

En lo que concierne a la frecuencia de muerte intrahospitalaria dentro de los pacientes analizados, esta se presentó en 10.19% con un total de 110 fallecidos. De las mujeres analizadas fallecieron 12.79% (61) y del total de hombres 8.13% (49). La mortalidad intrahospitalaria relacionada con condición quirúrgica fue de 17.13% comparada con los que ingresaron por causa no quirúrgica (10.07%).  Del total de pacientes que debieron direccionarse a la unidad de cuidados intensivos el 76.47% fallecieron, mientras los que pasaron a observación y/o piso de hospitalización el 4.58% fallecieron. (p=0.001) (tabla 2).

La mediana de edad en los pacientes que fallecieron fue significativamente mayor, 73 años (RIQ 62-79), en comparación con los no fallecidos, 55 años (39-71) (p=0.001) (tabla 3). La mediana de tiempo de estancia intrahospitalaria en los fallecidos fue de 5 días (RIQ 1-11 días) en comparación con los no fallecidos, que fue de 1 día (tabla 4). La mediana de puntajes calculados del score de REMS fue significativamente mayor en el grupo de muerte intrahospitalaria, 7 (RIQ 5-10), que en los que no presentaron desenlace fatal, 3 (RIQ 0-3) (p=0.001) (tabla 4). Los pacientes que fueron derivados a observación y/o sala de hospitalización general tenían una mediana de puntaje de REMS de 3 (0-6) y aquellos a sala de reanimación y unidad de cuidados intensivos de 8 (6-11) y 6 (5-9) respectivamente (tablas 2 y 5).

Según el modelo de regresión logística, las variables que se encuentran más relacionadas con muerte intrahospitalaria fueron: días de estancia intrahospitalaria (OR 1.08 IC 1.04 -1.12 - p=0.001), valor del puntaje del score REMS (OR 1.5 IC 1.34-1.70 - p=0.001), por cada punto sumado del score aumenta 1.5 veces la probabilidad de muerte intrahospitalaria. La comorbilidad relacionada con inmunocompromiso tiene un OR 6.27 IC 2.12-18 p= 0.001 y la comorbilidad oncológica OR 12.9 IC 6.25-26.6 p= 0.001 (tabla 4). Para nuestro estudio el punto de corte para el score de REMS fue de 6, teniendo en cuenta las otras variables que impactaron en mortalidad se logra establecer un OR de 4.3 con p= 0.001. El poder discriminativo de la prueba da una AUC 0.97 (figura 1).

 

 

 

Discusión

La correcta clasificación de los pacientes en urgencias juega un papel determinante para los desenlaces de los enfermos críticos. El triage es el área encargada mediante un método idóneo de selección y clasificación de pacientes que permite determinar la prioridad con la cual se atenderán, basados en sus necesidades terapéuticas y recursos disponibles, para así lograr agilizar procesos, evitar sobrecargas y desenlaces negativos37,38 Este es el primer paso de la valoración en nuestro medio, tradicionalmente realizado por un médico o enfermera, quienes toman decisiones basadas en un entrenamiento previo y de manera subjetiva dada por la experiencia para evaluar la gravedad de los pacientes.39

Hasta la fecha no existen estudios realizados en el servicio de urgencias que intenten establecer la asociación de ciertas variables con mortalidad intrahospitalaria y además incluirlas dentro de un modelo predictivo como lo es el REMS en la población colombiana y el riesgo de mortalidad intrahospitalaria de nuestra población,  además de definir el sitio adecuado donde estos pacientes debieran recibir la atención medica definitiva.

 

Los intentos por mejorar la evaluación y sobre todo en sistemas de salud colapsados como el nuestro, deben contar con herramientas prácticas, útiles y sencillas que nos permitan identificar con mayor precisión aquellos en condición médica crítica.

 

La escala REMS permite identificar estos pacientes en condición crítica en urgencias y establece el riesgo de mortalidad intrahospitalaria25, 26, a diferencia de la mayoría de las actuales que han sido desarrolladas en unidades de cuidado crítico o en áreas quirúrgicas que no son prácticas en el servicio de urgencias.21,23, pues en muchos casos se requieren exámenes paraclínicos que no se disponen en el primer contacto.

Este estudio de cohorte retrospectiva revela  el poder discriminatorio excelente con un AUC 0.97 de la escala rápida de emergencias (REMS), para predecir la mortalidad intrahospitalaria de los que ingresan al servicio de urgencias por condición médica o quirúrgica de un hospital universitario terciario.

 

Fue posible establecer que los valores más altos del score cursaban con mayor riesgo de muerte intrahospitalaria, por cada incremento de un punto hasta un máximo de 26 se asoció con un OR de 1.5 para mortalidad hospitalaria, con un punto de corte de 6 que se correlaciona con lo descrito en la literatura mundial.

 

En nuestra población se demostró que los pacientes que requieren ser derivados a sala de reanimación y/o unidad de cuidado intensivo tienen valores REMS más altos (REMS >8), en comparación con aquellos que fueron enviados para manejo en la unidad de observación o en las salas de hospitalización general (REMS <3), por lo que se puede determinar que la aplicación al primer contacto con el paciente podría ayudar en la toma de decisiones como el direccionamiento y adecuada utilización de recursos.

 

Lo anterior está relacionado con los hallazgos encontrados por Olsson, T. y col.25,26 en 2003 donde la escala REMS fue superior al RAPS en predecir mortalidad intrahospitalaria, pero con una modesta asociación entre la escala y la duración de la estancia intrahospitalaria. También el estudio realizado por  S. Goodacre y col. publicado en el 200640, se reafirma la superioridad de la escala REMS como predictor de mortalidad intrahospitalaria.

 

El estudio realizado en 2010 para determinar si la escala rápida de medicina de emergencias es un método igual de eficaz para valorar el pronóstico de mortalidad intrahospitalaria en pacientes con diagnósticos quirúrgicos y no quirúrgicos en el servicio de urgencias de adultos del Hospital Juárez de México, confirmó el alto valor predictivo  de la mortalidad intrahospitalaria ya sea en casos quirúrgicos o no.

 

Encontramos otras variables estadísticamente significativas como predictores de mortalidad intrahospitalaria, entre las que se destacan los días de estancia hospitalaria, la comorbilidad oncológica y la inmunosupresión, las cuales junto con el REMS deben tenerse en cuenta para futuros modelos predictivos de mortalidad. La limitación del estudio se relaciona con el diseño retrospectivo, lo cual hace que sea imposible establecer causalidad, aunque la fuerte asociación encontrada entre la mortalidad y las variables podría sugerir que si existe alguna relación.

Este estudio amplía la utilidad de la escala REMS en el servicio de urgencias demostrando la capacidad para predecir la mortalidad en la población con diferentes patologías tanto médicas como quirúrgicas. Sin embargo, no es posible formular conclusiones acerca de la aplicabilidad en casos de trauma debido al tamaño de la muestra.  Cabe recordar que la literatura describe la escala REMS en el contexto de trauma, obteniendo resultados con una capacidad similar para evaluar la mortalidad hospitalaria de los pacientes con traumatismos en urgencias comparable con APACHE II y otras escalas de trauma como Revised Trauma Score (RTS), Injury Severity Score (ISS) and Shock Index (SI).33,34

Como conclusión, en nuestro estudio la escala REMS fue un buen predictor de mortalidad intrahospitalaria en pacientes ingresados al servicio de urgencias ya sea por condición quirúrgica o no. Fue imposible establecer esta relación en casos de trauma debido al tamaño de la muestra. Teniendo en cuenta el análisis de otras variables se dejan sentadas las bases para proyectar un estudio prospectivo en nuestra población, con el fin de desarrollar un nuevo score que tenga un buen poder discriminativo y se ajuste a diferentes contextos clínicos.

 

Declaración de conflicto de interés

Los autores declaran no tener conflictos de interés en relación a este estudio.

Declaración de financiamiento

El estudio fue financiado con recursos propios de los investigadores.  

 

 

 

 

 

 

 

 

 

 

 

 

                                                                                  

 

 

Tabla 1. Características de la población

 

 

 

 

 

 

 

 

VARIABLES

 

Número

Porcentaje

Causa de ingreso

Quirúrgica

216

20.00

no quirúrgica

715

66.20

Género

mujer

477

44.17

hombre

603

55.83

Reingreso

no

1004

92.96

si

76

7.04

Comorbilidades

neumológica

33

3.06

metabólica

95

8.80

neurológica

75

6.94

cardiovascular

300

    27.78

inmunológica

56

5.19

oncológica

104

9.63

ninguna

417

    38.61

Derivación

observación

962

89.07

hospitalización

42

  3.89

Uci

51

  4.72

reanimación

24

  2.22

Muerte intrahospitalaria

no

970

89.81      

si

110

10.19

 

 

 

 

 

 

 

 

 

                                                                                          

 

 

 

 

 

 

 

 

 

MUERTE INTRAHOSPITALARIA

VARIABLES

 

No

Si

Total

Reingreso

no

906

98

1.004

90.24

9.76

100.00

64

12

76

si

84.21

15.79

100.00

Comorbilidad

neumológica

26

7

33

78.79

21.21

100.00

metabólica

90

5

95

94.74

5.26

100.00

neurológica 

64

11

75

85.33

14.67

100.00

cardiovascular

270

30

300

90.00

10.00

100.00

imunológica

45

11

56

80.36

19.64

100.00

oncológica

63

41

104

60.58

30.42

100.00

ninguna

412

5

417

98.80

1.20

100.00

Derivación

hospitalización

958

46

1.04

95.42

4.58

100.00

Uci

12

39

51

23.53

76.47

100.00

reanimación

0

25

25

0.00

100.00

100.00

 

 

                                                             

Tabla 2. Variables asociadas con muerte intrahospitalaria

 

 

 

 

 

 

 

 

 

                                                                Tabla 3. Mortalidad intrahospitalaria por edad y días de estancia

Mortalidad intrahospitalaria

 

 

No

Si

Edad (RIQ)

 55(39-71)

 73 (62-71)

 

Días de estancia

 1 (0-1)

 5 (1-11)

 

Score REMS

 3 (0-7)

 7 (5-10)

 

 

 

 

 

    

 

 

                                                                                  Tabla 4. Regresión logística de mortalidad

 

Muerte intrahospitalaria

 

Odds Ratio

P>|z|

[95% IC]

Días de estancia

1.08

<0.001

(1.04; 1.12)

REMS score

1.51

<0.001

(1.34;1.70)

Inmunocompromiso

6.27

0.001

(2.12;18.5)

Comorbilidad oncológica

1.29

<0.001

(6.25; 26.6)

 

 

 

 

 

                                                                         

 

 

 

      Tabla 5. Puntaje REMS por mortalidad y derivación

Variables relacionadas

REMS Me (RIQ)

Fallecidos

7 (5-10)

No fallecidos

3(0-5)

Tipo de derivación

hospitalización

3(0-6)

UCI

6(5-9)

sala reanimación

8(6-11)

 

 

 

 

 

 

 

 

 

 

 

Figura 1. Curva ROC escala REMS  y mortalidad. El punto de corte score REMS 6 fue muy bueno para determinar pacientes y mortalidad AUC 0.97. (Figura realizada por los autores).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Referencias

 

1.         Jones AE, Fitch MT, Kline JA. Operational performance of validated physiologic scoring systems for predicting in-hospital mortality among critically ill emergency department patients. Crit Care Med. 2005;33(5):974-8.

2.         Singer AJ, Thode HC, Viccellio P, Pines JM. The association between length of emergency department boarding and mortality. Acad Emerg Med. 2011;18(12):1324-9.

3.         Cattermole GN, Mak SK, Liow CH, Ho MF, Hung KY, Keung KM, et al. Derivation of a prognostic score for identifying critically ill patients in an emergency department resuscitation room. Resuscitation. 2009;80(9):1000-5.

4.         Sun Y, Heng BH, Tay SY, Seow E. Predicting hospital admissions at emergency department triage using routine administrative data. Acad Emerg Med. 2011;18(8):844-50.

5.         Olsson T, Terent A, Lind L. Charlson Comorbidity Index can add prognostic information to Rapid Emergency Medicine Score as a predictor of long-term mortality. Eur J Emerg Med. 2005;12(5):220-4.

6.         Brabrand M, Folkestad L, Clausen NG, Knudsen T, Hallas J. Risk scoring systems for adults admitted to the emergency department: a systematic review. Scand J Trauma Resusc Emerg Med. 2010;18:8.

7.         Vincent JL, Moreno R. Clinical review: scoring systems in the critically ill. Crit Care. 2010;14(2):207.

8.         Nguyen HB, Rivers EP, Havstad S, Knoblich B, Ressler JA, Muzzin AM, et al. Critical care in the emergency department: A physiologic assessment and outcome evaluation. Acad Emerg Med. 2000;7(12):1354-61.

9.         Le Gall JR, Lemeshow S, Saulnier F. A new Simplified Acute Physiology Score (SAPS II) based on a European/North American multicenter study. JAMA. 1993;270(24):2957-63.

10.      Lemeshow S, Teres D, Klar J, Avrunin JS, Gehlbach SH, Rapoport J. Mortality Probability Models (MPM II) based on an international cohort of intensive care unit patients. JAMA. 1993;270(20):2478-86.

11.      Hyzy RC. ICU scoring and clinical decision making. Chest. 1995;107(6):1482-3.

12.      Calle P, Cerro L, Valencia J, Jaimes F. Usefulness of severity scores in patients with suspected infection in the emergency department: a systematic review. J Emerg Med. 2012;42(4):379-91.

13.      Kuo SH, Tsai CF, Li CR, Tsai SJ, Chao WN, Chan KS, et al. Rapid Emergency Medicine Score as a main predictor of mortality in Vibrio vulnificus-related patients. Am J Emerg Med. 2013;31(7):1037-41.

14.      Macdonald SP, Arendts G, Fatovich DM, Brown SG. Comparison of PIRO, SOFA, and MEDS scores for predicting mortality in emergency department patients with severe sepsis and septic shock. Acad Emerg Med. 2014;21(11):1257-63.

15.      Hilderink MJ, Roest AA, Hermans M, Keulemans YC, Stehouwer CD, Stassen PM. Predictive accuracy and feasibility of risk stratification scores for 28-day mortality of patients with sepsis in an emergency department. Eur J Emerg Med. 2015;22(5):331-7.

16.      Knaus WA, Zimmerman JE, Wagner DP, Draper EA, Lawrence DE. APACHE-acute physiology and chronic health evaluation: a physiologically based classification system. Crit Care Med. 1981;9(8):591-7.

17.      Knaus WA, Draper EA, Wagner DP, Zimmerman JE. APACHE II: a severity of disease classification system. Crit Care Med. 1985;13(10):818-29.

18.      Wagner DP, Draper EA. Acute physiology and chronic health evaluation (APACHE II) and Medicare reimbursement. Health Care Financ Rev. 1984;Suppl:91-105.

19.      Rhee KJ, Fisher CJ, Willitis NH. The Rapid Acute Physiology Score. Am J Emerg Med. 1987;5(4):278-82.

20.      Yu S, Leung S, Heo M, Soto GJ, Shah RT, Gunda S, et al. Comparison of risk prediction scoring systems for ward patients: a retrospective nested case-control study. Crit Care. 2014;18(3):R132.

21.      Salluh JI, Soares M. ICU severity of illness scores: APACHE, SAPS and MPM. Curr Opin Crit Care. 2014;20(5):557-65.

22.      Moseson EM, Zhuo H, Chu J, Stein JC, Matthay MA, Kangelaris KN, et al. Intensive care unit scoring systems outperform emergency department scoring systems for mortality prediction in critically ill patients: a prospective cohort study. J Intensive Care. 2014;2:40.

23.      Sekulic AD, Trpkovic SV, Pavlovic AP, Marinkovic OM, Ilic AN. Scoring Systems in Assessing Survival of Critically Ill ICU Patients. Med Sci Monit. 2015;21:2621-9.

24.      Knaus WA, Wagner DP, Draper EA, Zimmerman JE, Bergner M, Bastos PG, et al. The APACHE III prognostic system. Risk prediction of hospital mortality for critically ill hospitalized adults. Chest. 1991;100(6):1619-36.

25.      Olsson T, Lind L. Comparison of the rapid emergency medicine score and APACHE II in nonsurgical emergency department patients. Acad Emerg Med. 2003;10(10):1040-8.

26.      Olsson T, Terent A, Lind L. Rapid Emergency Medicine score: a new prognostic tool for in-hospital mortality in nonsurgical emergency department patients. J Intern Med. 2004;255(5):579-87.

27.      Olsson T, Terent A, Lind L. Rapid Emergency Medicine Score can predict long-term mortality in nonsurgical emergency department patients. Acad Emerg Med. 2004;11(10):1008-13.

28.      Howell MD, Donnino MW, Talmor D, Clardy P, Ngo L, Shapiro NI. Performance of severity of illness scoring systems in emergency department patients with infection. Acad Emerg Med. 2007;14(8):709-14.

29.      Bulut M, Cebicci H, Sigirli D, Sak A, Durmus O, Top AA, et al. The comparison of modified early warning score with rapid emergency medicine score: a prospective multicentre observational cohort study on medical and surgical patients presenting to emergency department. Emerg Med J. 2014;31(6):476-81.

30.      Ji CL, Zhou HR, Peng CH, Yang XL, Zhang Q. [Comparison of value of GRACE, APACHEII and REMS for early prognosis of death in patients with acute myocardial infarction]. Zhonghua Wei Zhong Bing Ji Jiu Yi Xue. 2013;25(11):660-3.

31.      Polita JR, Gomez J, Friedman G, Ribeiro SP. Comparison of APACHE II and three abbreviated APACHE II scores for predicting outcome among emergency trauma patients. Rev Assoc Med Bras (1992). 2014;60(4):381-6.

32.      Imhoff BF, Thompson NJ, Hastings MA, Nazir N, Moncure M, Cannon CM. Rapid Emergency Medicine Score (REMS) in the trauma population: a retrospective study. BMJ Open. 2014;4(5):e004738.

33.      Nakhjavan-Shahraki B, Baikpour M, Yousefifard M, Nikseresht ZS, Abiri S, Mirzay Razaz J, et al. Rapid Acute Physiology Score versus Rapid Emergency Medicine Score in Trauma Outcome Prediction; a Comparative Study. Emerg (Tehran). 2017;5(1):e30.

34.      Miller RT, Nazir N, McDonald T, Cannon CM. The modified rapid emergency medicine score: A novel trauma triage tool to predict in-hospital mortality. Injury. 2017;48(9):1870-7.

35.      Ma QB, Fu YW, Feng L, Zhai QR, Liang Y, Wu M, et al. Performance of Simplified Acute Physiology Score 3 In Predicting Hospital Mortality In Emergency Intensive Care Unit. Chin Med J (Engl). 2017;130(13):1544-51.

36.      Alter SM, Infinger A, Swanson D, Studnek JR. Evaluating clinical care in the prehospital setting: Is Rapid Emergency Medicine Score the missing metric of EMS? The American journal of emergency medicine. 2017;35(2):218-21.

37.      Aacharya RP, Gastmans C, Denier Y. Emergency department triage: an ethical analysis. BMC Emerg Med. 2011;11:16.

38.      Christ M, Grossmann F, Winter D, Bingisser R, Platz E. Modern triage in the emergency department. Dtsch Arztebl Int. 2010;107(50):892-8.

39.      Resolución 5596. Por la cual se definen los criterios técnicos para el Sistema de Selección y Clasificación de pacientes en los servicios de urgencias "Triage" Diario Oficial No. 49.739 (2015).

40.      Goodacre S, Turner J, Nicholl J. Prediction of mortality among emergency medical admissions. Emerg Med J. 2006;23(5):372-5.