Study/Statistics8 [Statistics] KL divergence(Kullback-Leibler divergence)에 대하여 GAN, VAE 등 생성모델을 공부하다보면, KL divergence라는 개념이 자주 등장합니다.GAN과 VAE의 학습 목표 자체가 "분포 간 차이를 줄이는 것"이며, 이는 곧 KL divergence의 목적과 일치하기 때문인데요.이번 포스트에서 생성 모델을 이해하기 위한 필수 지식인 KL divergence에 대해 소개하도록 하겠습니다. 들어가기 전에, 반드시 Cross Entropy에 대한 내용을 알고 가셔야 합니다!아래 포스팅을 참고하세요 :) [Statistics] Cross Entropy에 대하여AI를 공부하다보면, loss function으로 정말 자주 등장하는 개념으로 Cross Entropy가 있습니다. 요즘은 그냥 라이브러리만 갖다 쓰면 어찌저찌 모델링이 되니, 생각보다 이 개념을 똑바.. 2025. 8. 29. [Statistics] Cross Entropy에 대하여 AI를 공부하다보면, loss function으로 정말 자주 등장하는 개념으로 Cross Entropy가 있습니다. 요즘은 그냥 라이브러리만 갖다 쓰면 어찌저찌 모델링이 되니, 생각보다 이 개념을 똑바로 짚고 넘어가지 않는 학부생들이 많은데, 결국에는 제대로 공부해야 될 날이 오게 될 겁니다... 저처럼요 하하하 Cross Entropy를 공부하기에 앞서, 반드시 정보량, 엔트로피에 대한 내용을 알고 가셔야 합니다~!아래 포스트를 참고하세요 :) [Statistics] 정보량(Information)과 엔트로피(Entropy)에 대하여Information이라고 하면 사실 모두가 그게 뭔지 안다고 말할 수 있을 것입니다.그런데, 통계학에서의 information은 저희가 일반적으로 아는 그 "정보"의 의미와.. 2025. 8. 29. [Statistics] 정보량(Information)과 엔트로피(Entropy)에 대하여 Information이라고 하면 사실 모두가 그게 뭔지 안다고 말할 수 있을 것입니다.그런데, 통계학에서의 information은 저희가 일반적으로 아는 그 "정보"의 의미와는 조금 거리가 있습니다. 엔트로피도 마찬가지 입니다. 이것도 사실 익숙하신 분들이 계실텐데요, 열역학의 엔트로피를 먼저 떠올리실 겁니다.하지만 통계학에서의 엔트로피는 또 새로운 의미를 갖고 있습니다. 오늘은 정보이론의 핵심이 되는 정보량(information)과 엔트로피(entropy)에 대하여 소개해보겠습니다.정보량의 직관적 이해통계학에서 말하는 정보량은 "특정 사건이 주는 놀람 정도"라고 이해해볼 수 있습니다. 이걸 왜 정보량이라고 할까요?개인적인 제 생각은, 놀라운 사건일 수록 그 사건이 주는 정보의 의미가 크기 때문이 아닐까.. 2025. 8. 29. [Statistics] 상관을 나타내는 통계량 "통계란 무엇인가" 포스트에서도 다뤘듯이, 통계량이란 표본에 대한 수치적 요약을 의미합니다. 즉, 이번 포스트에서 다룰 내용은 표본으로부터 우리가 얻어낼 수 있는 수치들이 되겠습니다!이 수치들이 어떤 의미를 갖고 있고, 어떤 상황에 쓰일 수 있는지를 알아야 데이터에서 인사이트를 뽑아낼 수 있겠죠? 통계량은 크게 4가지 관점에서 범주를 나눌 수 있겠습니다.중심산포형태상관저는 오늘 이 중에서도 "상관" 관점의 통계량을 이야기해보려 합니다.그럼 상관이 무엇인지부터 알아보죠!상관(Correlation) : 확률변수 X, Y의 변화가 서로 관계가 있을 때, 상관관계가 있다고 함 (선형적 관련성을 파악) 여기서 중요한 것은 바로 "선형적 관련성" 입니다! 왜 중요하죠?바로 이 특징 때문에 상관을 나타내는 통계량들이.. 2024. 8. 10. [Statistics] 분포의 형태를 나타내는 통계량 "통계란 무엇인가" 포스트에서도 다뤘듯이, 통계량이란 표본에 대한 수치적 요약을 의미합니다. 즉, 이번 포스트에서 다룰 내용은 표본으로부터 우리가 얻어낼 수 있는 수치들이 되겠습니다!이 수치들이 어떤 의미를 갖고 있고, 어떤 상황에 쓰일 수 있는지를 알아야 데이터에서 인사이트를 뽑아낼 수 있겠죠? 통계량은 크게 4가지 관점에서 범주를 나눌 수 있겠습니다.중심산포형태상관저는 오늘 이 중에서도 "형태" 관점의 통계량을 이야기해보려 합니다.여기서 말하는 "형태"란, "데이터 분포의 형태"를 의미합니다! 그럼 이제 본격적으로, 분포의 형태를 나타내는 통계량을 소개하겠습니다~분포의 형태를 나타내는 통계량1. 왜도 (Skewness)분포의 비대칭도 이게 시간이 지나면 postive와 negative가 헷갈릴 수 있.. 2024. 8. 10. [Statistics] 산포를 나타내는 통계량 "통계란 무엇인가" 포스트에서도 다뤘듯이, 통계량이란 표본에 대한 수치적 요약을 의미합니다. 즉, 이번 포스트에서 다룰 내용은 표본으로부터 우리가 얻어낼 수 있는 수치들이 되겠습니다!이 수치들이 어떤 의미를 갖고 있고, 어떤 상황에 쓰일 수 있는지를 알아야 데이터에서 인사이트를 뽑아낼 수 있겠죠? 통계량은 크게 4가지 관점에서 범주를 나눌 수 있겠습니다.중심산포형태상관저는 오늘 이 중에서도 "산포" 관점의 통계량을 이야기해보려 합니다.그럼 산포가 무엇인지 부터 알아보죠!산포 : 관찰된 자료들이 중심 위치에서 얼마나 넓게 퍼져있는(흩어져있는)지를 나타내는 측도 산포가 무엇인지 알았으니, 이제 본격적으로, 산포를 나타내는 통계량을 소개하겠습니다~산포를 나타내는 통계량1. 분산 (Variance)편차 제곱의 .. 2024. 8. 10. [Statistics] 중심의 위치를 나타내는 통계량 "통계란 무엇인가" 포스트에서도 다뤘듯이, 통계량이란 표본에 대한 수치적 요약을 의미합니다. 즉, 이번 포스트에서 다룰 내용은 표본으로부터 우리가 얻어낼 수 있는 수치들이 되겠습니다!이 수치들이 어떤 의미를 갖고 있고, 어떤 상황에 쓰일 수 있는지를 알아야 데이터에서 인사이트를 뽑아낼 수 있겠죠? 통계량은 크게 4가지 관점에서 범주를 나눌 수 있겠습니다.중심산포형태상관저는 오늘 이 중에서도 "중심" 관점의 통계량을 이야기해보려 합니다.쉽게 말해, 중심의 위치를 나타내는 통계량을 소개하겠습니다~중심의 위치를 나타내는 통계량1. 최빈값 (Mode)발생 빈도가 가장 높은 값극단값에 영향을 받지 않음주로 범주형 자료에 대한 대표값2. 중앙값 (Median)크기 순으로 정렬된 자료에서 가운데에 위치하는 값관측값 .. 2024. 8. 10. [Statistics] 통계란 무엇인가 통계란 무엇인가통계는 데이터의 수집, 분석, 추론, 요약 등의 방법론을 다루는 학문입니다. 데이터를 다루는 일을 하고자 한다면 통계가 기본인 이유!바로 통계라는 학문이 데이터를 수집하고, 분석하고, 추론하고, 요약하는 일을 돕는 역할을 하기 때문입니다.통계 용어1. 모집단(Population): 통계학에서 관심/조사의 대상이 되는 개체의 전체 집합2. 모수(Parameter): 모집단에 대한 수치적 요약고등학생의 1일 평균 온라인 게임 플레이 시간강아지보다 고양이를 좋아하는 성인의 비율3. 표본(Sample): 모집단을 적절히 대표하는 모집단의 일부4. 통계량(Statistic): 표본에 대한 수치적 요약고등학생 1000명의 1일 평균 온라인게임 플레이 시간강아지보다 고양이를 좋아하는 성인의 비율 (10.. 2024. 8. 10. 이전 1 다음
