análisis de correlación canónica – canonical correlation analysis

Análisis de Correlación Canónica (ACC)

Primary Disciplinary Field(s): Estadística Multivariante, Psicometría, Aprendizaje Automático (Machine Learning)
Proponentes Fundamentales: Harold Hotelling (1936)

1. Campos Disciplinarios y Proponentes

El Análisis de Correlación Canónica (ACC), conocido en inglés como Canonical Correlation Analysis (CCA), es una técnica estadística multivariante diseñada para explorar y medir la asociación entre dos conjuntos de variables. A diferencia de técnicas como la regresión múltiple, que examina la relación entre un conjunto de predictores y una única variable de respuesta, o el análisis de componentes principales (ACP), que se centra en la estructura interna de un único conjunto, el ACC aborda la interrelación simétrica entre dos grupos distintos de variables. Su propósito esencial es identificar y cuantificar las correlaciones más fuertes entre combinaciones lineales de las variables en cada conjunto.

El desarrollo fundacional del ACC se atribuye al estadístico y economista estadounidense Harold Hotelling, quien lo introdujo formalmente en 1936. Hotelling buscaba una metodología robusta que pudiera sintetizar la relación entre dos conjuntos de mediciones sin imponer una estructura de dependencia unidireccional (como causa y efecto). Su trabajo sentó las bases para gran parte de la estadística multivariante moderna, proporcionando una herramienta poderosa para la reducción de dimensionalidad y la interpretación de sistemas complejos.

Aunque el ACC se originó en el ámbito de la estadística matemática pura, sus aplicaciones se han expandido profundamente en campos como la psicometría (donde se utiliza para relacionar conjuntos de puntuaciones de pruebas), la econometría (para vincular indicadores macroeconómicos con variables financieras) y la biología (para correlacionar conjuntos de datos genéticos y fenotípicos). En el contexto del aprendizaje automático, el ACC ha resurgido como una técnica clave para el reconocimiento de patrones y la fusión de datos multimodales, proporcionando una base para algoritmos más sofisticados de aprendizaje profundo.

2. Principios Fundamentales y Objetivo

El principio rector del Análisis de Correlación Canónica es la búsqueda de pares de variables latentes, denominadas variables canónicas o componentes canónicos, que maximicen su correlación mutua. Supongamos que tenemos dos conjuntos de variables observadas, $X = {x_1, x_2, …, x_p}$ y $Y = {y_1, y_2, …, y_q}$. El ACC construye una combinación lineal de las variables en $X$, denotada $U_k$, y una combinación lineal de las variables en $Y$, denotada $V_k$, de tal manera que la correlación entre $U_k$ y $V_k$ sea la máxima posible. Este valor máximo de correlación se denomina correlación canónica.

Formalmente, el objetivo del ACC es encontrar los vectores de pesos $a_k$ y $b_k$ que maximicen la correlación $rho(U_k, V_k)$, donde $U_k = a_k^T X$ y $V_k = b_k^T Y$. Tras encontrar el primer par de variables canónicas $(U_1, V_1)$ que maximiza la correlación, el proceso se repite para encontrar un segundo par $(U_2, V_2)$. La restricción clave es que los pares subsiguientes de variables canónicas deben ser ortogonales a todos los pares canónicos previamente extraídos. Esta ortogonalidad asegura que cada par sucesivo capture una dimensión de la relación lineal que es independiente de las anteriores.

El número total de pares de variables canónicas que se pueden extraer es igual al mínimo entre el número de variables en el primer conjunto ($p$) y el número de variables en el segundo conjunto ($q$). Sin embargo, en la práctica, solo los primeros pares, aquellos que exhiben correlaciones canónicas significativamente altas, son retenidos para la interpretación. El resultado final del ACC no solo es la magnitud de la correlación, sino también los coeficientes canónicos (los pesos $a_k$ y $b_k$) que indican la contribución relativa de cada variable original a la formación de las variables canónicas.

3. Desarrollo Histórico y Contexto Matemático

El nacimiento del Análisis de Correlación Canónica en 1936 por Harold Hotelling representó un hito en la estadística multivariante, ofreciendo una solución elegante a problemas de interdependencia que hasta entonces eran abordados de manera fragmentada. Antes del ACC, los investigadores se veían obligados a realizar múltiples correlaciones bivariadas o a emplear técnicas de regresión que requerían designar arbitrariamente un conjunto como predictivo y el otro como dependiente. Hotelling formalizó la idea de que la estructura de la relación entre dos conjuntos podría ser explorada simétricamente, sin la necesidad de una distinción causal.

Matemáticamente, el ACC se resuelve mediante la resolución de un problema de autovalores y autovectores. La formulación implica la matriz de covarianza cruzada entre los dos conjuntos de variables, así como las matrices de covarianza internas de cada conjunto. La solución requiere encontrar los autovalores de la matriz $Sigma_{XX}^{-1} Sigma_{XY} Sigma_{YY}^{-1} Sigma_{YX}$, donde $Sigma$ representa las matrices de covarianza. Los autovalores resultantes están directamente relacionados con los cuadrados de las correlaciones canónicas, y los autovectores corresponden a los coeficientes canónicos que definen las combinaciones lineales.

El ACC está intrínsecamente relacionado con otras técnicas de reducción de dimensionalidad. Puede considerarse una generalización de la regresión múltiple (en el caso de que el segundo conjunto de variables contenga solo una variable dependiente) y tiene vínculos conceptuales profundos con el Análisis de Componentes Principales (ACP). De hecho, si se aplica el ACC a un único conjunto de variables, la solución matemática converge al ACP. Esta conexión subraya la posición del ACC como una herramienta fundamental para comprender la estructura lineal subyacente en datos complejos, sirviendo como puente entre el análisis de interdependencia (como el ACP) y el análisis de dependencia (como la regresión).

4. Componentes Clave del Modelo

• Variables Canónicas ($U_k, V_k$): Son las combinaciones lineales de las variables originales que maximizan la correlación. Representan las dimensiones subyacentes o factores latentes que mejor explican la relación entre los dos conjuntos. Son variables sintéticas, no observables directamente, y su interpretación depende de la carga de las variables originales.
• Correlaciones Canónicas ($rho_k$): Son los coeficientes de correlación de Pearson calculados entre cada par de variables canónicas ($U_k$ y $V_k$). Estos valores varían entre 0 y 1, y su magnitud indica la fuerza de la asociación lineal entre los dos conjuntos a lo largo de esa dimensión específica.
• Coeficientes Canónicos (Pesos): Son los pesos aplicados a las variables originales para formar las variables canónicas. Al igual que en la regresión, estos coeficientes son sensibles a la multicolinealidad dentro de los conjuntos de variables, lo que a menudo dificulta su interpretación directa.
• Cargas Canónicas (Estructura de Correlación): Son las correlaciones entre las variables observadas originales y las variables canónicas derivadas. Las cargas son generalmente preferidas sobre los coeficientes canónicos para la interpretación, ya que no se ven afectadas por la multicolinealidad y revelan qué variables originales contribuyen más a la definición de cada dimensión canónica.

5. Interpretación y Pruebas de Significación

La interpretación de los resultados del ACC se realiza en dos etapas principales: primero, determinar cuántos pares canónicos son estadísticamente significativos; y segundo, comprender la naturaleza de la relación que describe cada par significativo. Para determinar la significación, se utiliza comúnmente la prueba de Lambda de Wilks ($Lambda$), que evalúa la hipótesis nula de que todas las correlaciones canónicas son iguales a cero. Si la prueba resulta significativa, se procede a probar la significación de los pares canónicos restantes de forma secuencial.

Una vez que se ha determinado el número de dimensiones significativas, la tarea crucial es interpretar las variables canónicas. Esto se logra examinando las cargas canónicas. Las variables originales que muestran cargas altas (cercanas a +1 o -1) en una variable canónica específica son las que definen el significado conceptual de esa dimensión. Por ejemplo, si el primer conjunto de variables incluye medidas de motivación y el segundo conjunto incluye medidas de rendimiento, y el primer par canónico tiene altas cargas positivas en “autoestima” (del conjunto X) y “ventas trimestrales” (del conjunto Y), se puede inferir que la primera dimensión canónica representa una relación positiva entre la confianza psicológica y el éxito comercial.

Es fundamental distinguir entre la correlación canónica y la redundancia. La correlación canónica mide la asociación entre las variables canónicas derivadas, que son combinaciones óptimas. Sin embargo, no indica cuánta varianza de las variables originales es explicada por el modelo. La medida de redundancia, propuesta por Stewart y Love, cuantifica la cantidad de varianza de un conjunto de variables originales explicada por las variables canónicas del otro conjunto. Una alta correlación canónica con baja redundancia implica que las variables canónicas son altamente correlacionadas, pero no logran capturar mucha de la varianza total de los datos originales, lo cual limita la utilidad predictiva del modelo.

6. Aplicaciones Prácticas en Diversos Campos

Las aplicaciones del ACC son vastas, especialmente en la investigación social y económica donde la interdependencia de grandes bloques de variables es la norma. En psicología y educación, el ACC es invaluable para relacionar conjuntos de habilidades cognitivas (por ejemplo, memoria, razonamiento verbal) con conjuntos de medidas de rendimiento académico o laboral. Permite a los investigadores identificar los factores latentes subyacentes que vinculan las estructuras internas de dos dominios de medición.

En econometría y finanzas, el ACC se utiliza para estudiar la relación entre indicadores macroeconómicos (como tasas de interés, inflación y PIB) y variables de mercado (como precios de acciones o volatilidad). Al identificar pares canónicos, los economistas pueden descubrir las dimensiones fundamentales que impulsan la co-movilidad entre diferentes sectores de la economía, facilitando la construcción de modelos predictivos que capturen la estructura de riesgo sistémico.

Más recientemente, el ACC ha encontrado un nicho crítico en el campo del Aprendizaje Automático Multimodal. Cuando se trabaja con datos que provienen de diferentes fuentes o “modalidades” (como imágenes y texto, o audio y video), el ACC puede utilizarse para encontrar un espacio latente común donde las representaciones de ambas modalidades están altamente correlacionadas. Esto es crucial para tareas como la recuperación de información intermodal o la fusión de datos de sensores heterogéneos, permitiendo que un algoritmo aprenda una representación conjunta que maximiza la información compartida.

7. Variantes y Extensiones del ACC

A lo largo de las décadas, el ACC ha sido objeto de numerosas extensiones para abordar las limitaciones de su formulación lineal original y para adaptarse a estructuras de datos más complejas. Una extensión importante es el ACC Generalizado (GCCA), que permite analizar la relación entre más de dos conjuntos de variables simultáneamente. El GCCA busca componentes latentes que maximicen la correlación entre todos los conjuntos, aunque su formulación matemática y su interpretación son considerablemente más complejas que la versión bivariada.

Otra variante crucial es el ACC Kernel (KCCA). El ACC tradicional se limita a encontrar relaciones lineales; sin embargo, si la relación verdadera entre los conjuntos de variables es no lineal, el ACC estándar puede fallar en detectarla. El KCCA aborda esto mapeando los datos originales a un espacio de características de alta dimensión (mediante funciones kernel) donde las relaciones no lineales se vuelven lineales. Esta técnica ha sido particularmente exitosa en el procesamiento de imágenes y la bioinformática, permitiendo la extracción de patrones de asociación mucho más ricos.

Finalmente, el ACC Escaso o Regularizado (Sparse CCA) ha ganado popularidad en el manejo de conjuntos de datos de alta dimensión (como los datos genómicos), donde el número de variables ($p$ o $q$) es mucho mayor que el número de observaciones ($n$). El ACC tradicional en estas condiciones puede ser inestable. El ACC Escaso introduce penalizaciones (como el L1 o L2) en los coeficientes canónicos, forzando a muchos de ellos a ser cero. Esto no solo mejora la estabilidad y la capacidad de generalización del modelo, sino que también facilita la interpretación al identificar un subconjunto más pequeño y relevante de variables que impulsan la correlación.

8. Críticas, Limitaciones y Desafíos Metodológicos

A pesar de su poder analítico, el ACC enfrenta varias críticas y limitaciones metodológicas que deben ser consideradas por los investigadores. La principal limitación, inherente a su naturaleza, es que el ACC solo identifica y modela la relación lineal entre los conjuntos de variables. Si la verdadera relación es curvilínea o de otra forma no lineal, el ACC puede subestimar gravemente la asociación o no capturarla en absoluto, lo que subraya la necesidad de recurrir a variantes como el KCCA.

Una segunda crítica importante se centra en la sensibilidad a la distribución y a los valores atípicos. El ACC se basa en la matriz de covarianza, lo que implica que asume la normalidad multivariante de los datos. Las violaciones severas de esta suposición, o la presencia de valores extremos, pueden distorsionar significativamente los coeficientes canónicos y las correlaciones, llevando a interpretaciones erróneas. Aunque existen métodos robustos para mitigar este problema, la aplicación ingenua del ACC a datos no normales es un riesgo común.

Finalmente, la interpretación del ACC es a menudo su mayor desafío práctico. Los coeficientes canónicos son altamente sensibles a la multicolinealidad dentro de los conjuntos de variables, lo que puede hacer que sus signos y magnitudes sean inestables e ilógicos. Mientras que las cargas canónicas ofrecen una alternativa más estable para la interpretación, la naturaleza abstracta de las variables canónicas (que son combinaciones lineales de variables observadas) requiere que el investigador tenga un profundo conocimiento teórico del dominio para etiquetar y dar sentido a las dimensiones latentes extraídas. Esto contrasta con técnicas más directas, como la regresión, donde la relación entre una variable predictora y una respuesta es más explícita.

Further Reading

• Canonical correlation – Wikipedia
• Hotelling, H. (1936). Relations between two sets of variates. Biometrika, 28(3/4), 321-377.
• Hardoon, D. R., Szedmak, S., & Taylor, J. S. (2004). Canonical correlation analysis: an overview with application to learning methods. Neural computation, 16(12), 2639-2664.