ML 🐼/수학 ☑️ 4

[머신러닝+선형대수] 상관관계와 코사인 유사도

통계와 머신러닝에서 가장 근본적이면서 중요한 분석 방법은 상관관계를 분석하는 것이다 상관관계를 살펴보기 위해서는 상관계수를 구하는 방법이 있다 상관계수는 -1 부터 +1까지의 범위로 표현할 수 있는데 +1은 완벽한 양의 상관관계를 나타내며, -1은 완벽한 음의 상관관계를 나타낸다. 0의 경우 선형관계가 없음을 의미한다. 1. 피어슨 상관계수 상관계수를 구하는 방법에는 피어슨 상관계수가 있다. 우선 상관계수는 -1~+1에 존재해야하기 때문에 정규화가 필요하다 피어슨 상관계수에서 정규화는 2가지 방법이 적용된다 | 각 변수의 평균 중심화 | A 벡터와 B 벡터의 상관계수를 구하려고하는데 A와 B의 단위가 다르다면 -1과 +1사이로 표현할 수 없을 것이다 이를 위해서 우리는 평균 중심화를 이용한다 말로 설명하..

[선형대수] 기저

참고 문헌 [선형대수] 기저(basis)의 의미 기저(basis)의 의미 losskatsu.github.io 행렬과 선형변환 - 공돌이의 수학정리노트 (Angelo's Math Notes) angeloyeo.github.io 1. 좌표 평면에서 기저 행렬 변환을 이해하기 위해서는 `기저 벡터`에 대한 이해가 필요하다 위 두개의 2차원 좌표 평면이 존재한다고 가정해보자 그리고 이를 행렬로 표현 하면 아래와 같다 1번 2번 그렇다면 이 행렬들은 모두 해당 좌표 평면의 기저가 될 수 있을까? 1번의 경우 될 수 있지만 2번의 경우 불가능하다 2번의 경우 사실상 나타내는 것은 X축에 불과하기 때문이다 또한 1번의 경우는 선형변환을 통해서 좌표 평면의 모든 점을 표현할 수 있다 따라서 1번의 경우는 기저 벡터가 ..

Entropy, CrossEntropy 그게 뭔데?

본글은 순수한 의문에 의해서 작성된 글입니다 글쓴이의 부족한 수학지식에 의해서 오류가 있을 경우가 다분하니 참고해서 읽어주시길 바랍니다 딥러닝 모델을 학습하다 보면 항상 마주치는 문제가있다 물론 모델이 마주치는 문제가 아니라 모델을 작성하거나 공부하는 인간이 마주치는 문제이다 " 바로 수식이다 " 수학은 많은 사람들을 혼란스럽게 만든다 이번 글은 그런 수식에 관한 글이다 이번 글을 시작으로 다양한 딥러닝의 수식들을 정리해보려고한다 물론 당장 딥러닝 모델을 학습 시키는데 완벽한 이해는 필요없는 부분이지만 우리의 슨배님들이 모두 구현 해놓았다고 공부하지 않을 수는 없다 ✅ 정보이론 : 정보량 (Quantity of information) Entropy와 CrossEntropy를 이해하기 위해서는 우선 정보이..

베이즈 정리(Bayes' theorem)

인공지능을 공부하다보면 수많은 모델들이 오늘 정리할 '베이즈 정리'에 기반을 두고 있다는 것을 확인 할 수 있다. 기초적인 조건부 확률을 통해서 모델을 구성하고 실제 세계에 이러한 모델들을 적용하고 있는 것이다 1. 조건부 확률? 고등학교 시절 확률과 통계를 배워본 학생이라면 '조건부 확률'은 한번쯤 들어보았을 것이다. A와 B라는 사건이 있다고 가정해보자 여기서 조건부 확률은 특정한 사건이 발생한 상황에서 또 다른 사건이 발생할 확률로B가 일어난 상황에서 A가 발생할 확률(조건부 확률 예시)이다 이를 수식으로 표현하면 아래와 같다 $P(A|B)$ 또한 이를 정리하면 아래와 같다 $P(A|B) = \frac{P(A \cap B)}{P(B)} $ 이를 활용하면 베이즈 정리를 할 수 있다 2. 베이즈 정리 ..