https://wiki.dong-min.kim/w/index.php?title=%EC%88%98%ED%95%99_%EC%9A%A9%EC%96%B4%EB%93%A4&feed=atom&action=history
수학 용어들 - 편집 역사
2024-03-29T15:50:46Z
이 문서의 편집 역사
MediaWiki 1.37.0-beta
https://wiki.dong-min.kim/w/index.php?title=%EC%88%98%ED%95%99_%EC%9A%A9%EC%96%B4%EB%93%A4&diff=12&oldid=prev
2019년 10월 19일 (토) 11:31에 Kim135797531님의 편집
2019-10-19T11:31:31Z
<p></p>
<table style="background-color: #fff; color: #202122;" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="ko">
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← 이전 판</td>
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">2019년 10월 19일 (토) 11:31 판</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l1">1번째 줄:</td>
<td colspan="2" class="diff-lineno">1번째 줄:</td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">===베이즈 정리===</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">* 고딩때 배우는 베이즈 정리 10년 넘게 볼 때마다 잊어먹는거 실화냐</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">** P(z|x) = P(z)*P(x|z) / P(x)</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">** 사후확률 = 가능도*사전확률 / 모델에 대한 증거</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">** Posterior = Prior*Likelihood / Evidence(Marginal likelihood)</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">** 증거(데이터)가 나타났을 때 가설 확률 = (가설 확률)*(가설일때 증거 나타날 확률) / (가설별로 증거에 대한 가능도 더하기 = 상수항)</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">** (VAE) 그림일 때 잠재변수 확률 = 잠재변수 확률 * 잠재변수일때 그림 나타날 확률 / 잠재변수별로 그림에 대한 가능도 더하기</ins></div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;"></ins></div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>===확률/가능도(우도)===</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>===확률/가능도(우도)===</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* 어떤 분포가 평균 μ, 분산 1인 정규분포를 따른다고 하면</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* 어떤 분포가 평균 μ, 분산 1인 정규분포를 따른다고 하면</div></td></tr>
<tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l24">24번째 줄:</td>
<td colspan="2" class="diff-lineno">32번째 줄:</td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>** 즉, 주어진 자료들을 바탕으로 이 자료들을 생성할만한 가장 그럴듯한 분포(의 파라미터)를 찾고 싶은 거다</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>** 즉, 주어진 자료들을 바탕으로 이 자료들을 생성할만한 가장 그럴듯한 분포(의 파라미터)를 찾고 싶은 거다</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>** 근데 x1, x2, ... 등등이 모두 독립적이고 같은 확률분포를 따른다면? 그러면 걍 곱하면 댄다</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>** 근데 x1, x2, ... 등등이 모두 독립적이고 같은 확률분포를 따른다면? 그러면 걍 곱하면 댄다</div></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">** 그러니깐 p<small>θ</small>(x1)*p<small>θ</small>(x2)*p<small>θ</small>(x3)임</ins></div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>** 로그를 취해도 댐 (곱셈이 덧셈으로 바낌)</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>** 로그를 취해도 댐 (곱셈이 덧셈으로 바낌)</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br/></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br/></td></tr>
</table>
Kim135797531
https://wiki.dong-min.kim/w/index.php?title=%EC%88%98%ED%95%99_%EC%9A%A9%EC%96%B4%EB%93%A4&diff=11&oldid=prev
Kim135797531: 새 문서: ===확률/가능도(우도)=== * 어떤 분포가 평균 μ, 분산 1인 정규분포를 따른다고 하면 ** 확률(Probability): μ는 고정, y가 변수일 때 ** 가능도(우...
2019-10-19T09:50:08Z
<p>새 문서: ===확률/가능도(우도)=== * 어떤 분포가 평균 μ, 분산 1인 정규분포를 따른다고 하면 ** 확률(Probability): μ는 고정, y가 변수일 때 ** 가능도(우...</p>
<p><b>새 문서</b></p><div>===확률/가능도(우도)===<br />
* 어떤 분포가 평균 μ, 분산 1인 정규분포를 따른다고 하면<br />
** 확률(Probability): μ는 고정, y가 변수일 때<br />
** 가능도(우도, Likelihood): y가 관찰되었을 때, μ가 변수<br />
<br />
===최대 가능도 추정===<br />
* (최대 우도 추정, Maximum Likelihood Estimator, MLE): 주어진 데이터에서 가장 그럴듯한 μ 찾기<br />
<br />
===일반화된 최대 가능도 추정===<br />
* 정규분포에서는 (μ, var)를 찾는 것이겠지만, 일반적 분포를 생각해보자.<br />
* 이 분포(의 파라미터)를 θ라 하자. 즉, 정규분포는 (μ, var)가 찾고자 하는 θ이다.<br />
* 가능도 함수(우도 함수) (대충)<br />
** 명탐정 코난이 되어보자. 증거1, 증거2, 증거3이 들어왔다.<br />
** 용의자1한테 증거들을 들이대봤더니 그 확률이 어느 정도인지 나왔다.<br />
** 이 용의자가 범인일 '가능성'을 나타낸다.<br />
* 가능도 함수(우도 함수) (진짜)<br />
** '용의자'는 분포를 생성하는 파라미터 θ, 증거들은 데이터 x1, x2, x3<br />
** 다시 말하면 증거들이 주어졌을 때, 관심 있는 사건(역시 이 놈이 범인이었다)이 일어날 가능성<br />
** 관측 데이터 x1, x2, x3가 주어졌을 때, θ의 가능도이다.<br />
** 즉 그 분포에다가 x 대입해보면 됨<br />
** L(θ|(x1, x2, x3)) = p<small>θ</small>(x1, x2, x3) = P<small>θ</small>(X1=x1, X2=x2, X3=x3)<br />
* 최대 가능도 추정<br />
** 가능도를 최대로 만들고 싶은게 최대 가능도 추정이다.<br />
** 즉, 주어진 자료들을 바탕으로 이 자료들을 생성할만한 가장 그럴듯한 분포(의 파라미터)를 찾고 싶은 거다<br />
** 근데 x1, x2, ... 등등이 모두 독립적이고 같은 확률분포를 따른다면? 그러면 걍 곱하면 댄다<br />
** 로그를 취해도 댐 (곱셈이 덧셈으로 바낌)<br />
<br />
===사전/사후 분포===<br />
* 사전/사후 분포<br />
** 어딜 가도 ㄹㅇ 분포를 이용해서 어쩌구저쩌구만 말하지 사전/사후 분포가 뭔지 설명을 안 해줌;;;<br />
* 추론 대상<br />
** θ<br />
* 사전 분포 (prior)<br />
** 어떤 사건이 일어나기 전에, 그 사건의 확률 밀도를 표현하는 분포<br />
** 추론 대상의 확률밀도함수<br />
** P(θ)<br />
* 가능도 분포 (likelihood)<br />
** ??<br />
** P(x|θ)<br />
* 사후 분포 (posterior)<br />
** 어떤 사건이 일어났는데, 우리가 알고 있는 사건분포에서는 그 사건이 일어날 확률이 몇인가(가능성)<br />
** 사건을 관측 후, 그 정보를 A의 확률 계산에 사용<br />
** P(θ|x)<br />
* 청바지 공장 예시<br />
** 청바지 공장: 서울, 대전, 대구에 있다<br />
** 사건: 서울 공장에서 생산했다.<br />
** 추론 대상: A1 = 「서울 공장에서 생산한 제품 분포 파라미터」<br />
** 사전 분포: p(A1) = 서울 공장에서 생산한 제품일 확률<br />
** 가능도 분포: p(B|A1) = 서울 공장의 불량 확률<br />
** 한정상수: p(B): 바지가 고장일 확률 => 추정 중에는 생략 가능 (어떤 추정법을 써도 이건 똑같으므로)<br />
** 사후 분포: p(A1|B) = 불량난 청바지가 서울 공장에서 나왔을 확률<br />
* VAE 예시<br />
** 생성 모델 파라미터<br />
** 다변량 파라미터<br />
** 사전 분포<br />
*** 실제: p<small>θ</small>(z), N(0, I)로 가정<br />
**** 실제 세계의 z는 신만이 알고 있다.<br />
**** 즉 실제 세계의 z의 분포는 아무도 모른다. 그런데 이 z로부터 실제 세계가 돌아간다.<br />
*** 추정: q<small>θ</small>(z) (베르누이 디코더)<br />
**** 그러면 밑에서 설명할 인코더로 z들을 모아서, 이것들의 평균을 내면 그게 z의 분포가 아닐까? 라는게 아이디어<br />
** 사후 분포<br />
***실제: p<small>θ</small>(z|x)<br />
**** 실제 세계의 z는 신만이 알고 있다.<br />
*** 사후 분포 추정: q<small>φ</small>(z|x) (가우시안 인코더)<br />
**** 실제 세계의 화상 x가 들어왔다는 것은 이미 신만이 알고 있는 z로부터 x가 생성되었다는 뜻이다. 그래서 사후분포이다.<br />
**** 즉, 어떤 화상 x가 들어 왔을 때, 우리가 알고 있는 잠재 변수 z에서는 그 화상 x가 일어날 확률이 몇인가?<br />
**** 이는 알기 어렵다. 일단 무슨 잠재 변수에서 왔는지도 모르고, 잠재 변수들의 의미도 모르기 때문<br />
<br />
==미분류==<br />
* KL 다이버전스: 두 확률 분포 간의 차이를 정량화 하는 수식<br />
* 생성 모델: 주어진 데이터들이 가지는 실제 분포를 '추정' 해서, 그 분포에서 새로운 데이터를 '생성'하는 모델</div>
Kim135797531