Estrategias de investigación cuantitativa

class: bottom, right

.right[![:scale 30%](https://escudouchile.files.wordpress.com/2012/06/logotipo-facso-ciencias-sociales-u-de-chile.png)]

# Estrategias de investigación cuantitativa
## Carrera de Sociología, 2 sem. 2019

## Prof. Juan Carlos Castillo

## **Tema 4**: Operacionalización 2, confiabilidad & validez

---
# **ESTE CURSO**

## - Caracterización investigación cuantitativa (Unidad 1)
 - Problema, hipótesis, diseño, ética

## - **Medición y operacionalización (Unidad 2)**

## - Implementación (Unidad 3)

.right[

[WEB: estrategias-ic.netlify.com](https://estrategias-ic.netlify.com/)

]

---
class: roja, middle, center, slideInRight

#  RESUMEN

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación
]

.right-column[
- Tema vs problema

{{content}}
]
--
- Relación entre 2 o más conceptos

{{content}}
--

- Contrastable empíricamente

{{content}}
--
- Relevante
  - Hombros de gigante
  - Brecha
  - Ellos dicen, yo digo

{{content}}
--
- Viable (tiempo,recursos)

{{content}}
--
- Se resume en una pregunta de investigación

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación

### Revisión de antecedentes
]

.right-column[
- Conceptuales

- Empíricos
]

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación

### Revisión de antecedentes

### Hipótesis
]

.right-column[
- Afirmación sobre **resultados (generales)** del estudio:

- Basadas en **antecedentes** conceptuales presentados previamente

- **Contrastables** empíricamente

- **Breves**, no contener argumentos (los argumentos son previos)

- **Útiles**: permiten definir hacia donde apuntan los análisis

]

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación

### Revisión de antecedentes

### Hipótesis

### Diseño & alcances
]

.right-column[

### Alcances

![](../images/alcances.png)

]

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación

### Revisión de antecedentes

### Hipótesis

### Diseño & alcances
]

.right-column[
.medium[
### Diseños experimentales

|                                        | Experimentos | Cuasi-experimentos | Pre-experimentos |
|----------------------------------------|--------------|--------------------|------------------|
| Manipulación de variable independiente |       *      |                    |                  |
| Grupo de comparación                   |       *      |          *         |                  |
| Medición de variable dependiente       |       *      |          *         |         *        |

]
]

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación

### Revisión de antecedentes

### Hipótesis

### Diseño & alcances
]

.right-column[
### Diseños observacionales

![](../images/observacionales.png)
]

---
# Flujo investigación cuantitativa

.left-column[
### Problema de investigación

### Revisión de antecedentes

### Hipótesis

### Diseño & alcances

### **Operacionalización**
]

.right-column[
- *Medición*:

- asignar **números** a características en base a reglas
  - categorías excluyentes y exhaustivas

{{content}}
]
--
- *Niveles de medición: **NOIR***
  - Nominal, ordinal, intervalar, razón

{{content}}
--

- *Operacionalización*

- Establecer dimensiones, subdimensiones e indicadores para los conceptos en estudio

---
# Operacionalización

.center[![:scale 110%](../images/operac2.jpg)]

---
class: inverse

# Esta sesión:

## - Confiabilidad y validez

## - Actividad práctica: Tabla de operacionalización

---
class: roja, middle, center

# Confiabilidad y Validez

---
# Confiabilidad y Validez

.center[![:scale ](../images/confival.png)]

---
# Fuentes de error

.center[**Marco de error total de encuestas:**]

.center[![:scale 90%](../images/totalsurveyerror.gif)]

.small[
Groves, R. et al .(2004), Survey Methodology, New York: Wiley.
]
---
class: inverse, middle, center

# Confiabilidad y validez se relacionan con el
# _Error de medición_

---
class: inverse, middle, center

# Confiabilidad
---
# Confiabilidad

-La confiabilidad puede ser definida como el grado de **consistencia** entre mediciones del mismo atributo

![:scale 90%](../images/conf1.png)

---
# Confiabilidad

.center[![:scale 70% ](../images/varianzaerror.png)]

---
# Confiabilidad

- Mientras mayor es la **proporción de la varianza** atribuida a varianza verdadera, más confiable es el test

- La medición de la confiabilidad intenta **aislar la varianza de error** de la verdadera, y cuantificar la verdadera

- En la realidad el puntaje verdadero no existe, dado que no hay mediciones perfectas. Por lo tanto, debemos **ESTIMARLO**

---
# Confiabilidad

- La mayor parte de las estimaciones de la confiabilidad se asocian al concepto de **correlación**

- La correlación es una medida de asociación entre dos variables

- Varía entre -1 y +1

- Mientras más cerca de |1|, mayor es la asociación

---
# Confiabilidad

.center[
![:scale 70%](../images/corr.png)
]

---
# Confiabilidad: Tipos

.left-column[
## Estabilidad temporal
]

.right-column[
- correlación entre puntajes obtenidos en distintos momentos en el tiempo

- ... PERO
  - Se producen procesos de **aprendizaje** simplemente por aplicar muchas veces un test.

- Entre aplicación y aplicación el sujeto puede **cambiar** en la variable latente medida.
]

---
# Confiabilidad: Tipos

.left-column[
## Estabilidad temporal
## Formas paralelas
]

.right-column[
- Dos tests compuestos de diferentes ítems, pero que tienen la misma dificultad, cubren los mismos temas y los ítems que los componen miden igualmente bien el concepto.

- **Coeficiente de fiabilidad**: correlación entre las puntuaciones obtenidas por los sujetos en dos formas paralelas de un test (se conoce como coeficiente de equivalencia).

- **Desventaja**: dificultad en construir formas paralelas homogéneas

]

---
# Confiabilidad: Tipos

.left-column[
## Estabilidad temporal
## Formas paralelas
## Consistencia interna
]

.right-column[
- grado en el cual una serie de items asociados a una misma dimensión correlacionan entre sí.

- Medición: KR20 (para dicotómicos), KR21 o **Alfa de Cronbach** (para continuos), en general sobre 0.7 es considerado como aceptable

- Cálculo de Alfa de Cronbach: lo veremos en las sesiones de análisis de resultados
]

---
class: inverse, middle, center
# Validez

---
# ¿Qué es validez?

- Respuesta tradicional: cuando mide lo que se supone debería medir.

- Respuesta actual: la validez no es propiedad de un test, sino más bien de las **inferencias** que se otorgan a un determinado resultado,  puntaje o test score.

--
.center[
### “The degree to which all the accumulated evidence supports the intended interpretation of test scores for the proposed purpose” (AERA, APA, NCME, 1999)
]

---
class: middle, right

## “La validez no es una propiedad del test o evaluación como tal, sino más bien del significado de los puntajes del test. Estos puntajes son una función no solo de los ítems o condiciones de estímulo, sino también de las personas que responden, así como del contexto de la evaluación. En particular, lo que debe ser válido es el significado o la interpretación de la puntuación; así como cualquier implicación para la acción que este significado implique"
Messick, 1995

---
# Validez

- La validez proviene de evidencia acumulada a la fecha,

- La validez es un tema de grados (más/menos) más que absolutos (es/no es).

- Dada la diversidad de usos del puntaje de un test, las bases para la interpretación válida de los puntajes puede provenir de diferentes métodos

---
# Validación

- Es el proceso de juntar y evaluar evidencia acerca de la validez

- En la validación, tanto quien desarrolla el test como quienes responden juegan un rol fundamental

- Información acerca del proceso de validación debe aparecer en el manual del test

- En algunos casos se requerirá de estudios de validación local

---
# Tipos de validez

.left-column[
## Contenido
]

.right-column[
- Establece un juicio sobre qué tan adecuadamente un test da cuenta del universo de conductas/atributos que se supone debe representar
  - Ej: un test con validez de contenido de los temas de un curso debería representar a todos los temas cubiertos

- Métodos asociados: observación y consulta con expertos

- Problemas: Sesgos / subjetividad
]
---
## Ej. cuadernillo de validación por jueces

.center[![:scale ](../images/juezvalid.png)]
---
# Tipos de validez

.left-column[
## Contenido
## Criterio
]

.right-column[
- Instrumento se considera válido en la medida que demuestra estar relacionado con criterios establecidos, en dos versiones:
  - **Validez concurrente**: relación con una medida obtenida al mismo tiempo
  - **Validez predictiva**: grado en el cuál un puntaje predice una medida criterio

- Problemas
  - En muchos casos no hay criterios específicos establecidos
  - Los criterios pueden presentar problemas de confiabilidad/validez
]

---
# Tipos de validez

.left-column[
## Contenido
## Criterio
## Estructura interna

]

.right-column[
- Grado en que las relaciones entre los ítems de una dimensión se corresponden con el proceso de operacionalización.
  - indicadores de dimensiones (factores) del constructo (test) corresponden a los predichos teóricamente.

- El marco conceptual puede implicar una única dimensión o varias dimensiones distintas entre sí.

- Técnicas estadística asociada:
  - Análisis Factorial Exploratorio (AFE)
  - Análisis Factorial Confirmatorio (AFC).

]

---

.center[![:scale ](../images/factor.png)]

.small[
Fuente: [Magaña et al.(2017). Análisis Factorial Confirmatorio para medir las limitantes percibidas en el pregrado para el desarrollo de actividades de investigación. Nova scientia, 9(18), 515-536.](http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S2007-07052017000100515)
]
---
class:inverse

# RESUMEN

## Mensaje central: considerar multiples **fuentes de ERROR** en las mediciones al momento de construir los instrumentos

--
- *Confiabilidad*: consistencia del instrumento

- Estabilidad
  - Formas paralelas
  - Consistencia interna

--
- *Validez*: evidencia acumulada para la interpretación de las puntuaciones

- Contenido
  - Criterio
  - Estructura interna

---
.right[![:scale 30%](https://escudouchile.files.wordpress.com/2012/06/logotipo-facso-ciencias-sociales-u-de-chile.png)]

# Estrategias de investigación cuantitativa
## Carrera de Sociología, 2 sem. 2019

## Prof. Juan Carlos Castillo