관심있는것들

before this lecture we assumed prior distribution to be simple gaussian , but now we want something more complicate so we can map more complex manifold.it is hard to evaluate all the possible z, so in VAE we used encoder to find distribution z using q.instead of passing the z through these 2 NN and then sampling from a guassian, we directly transform the latent variable by applying a single dete..

1st piece is average log probability when both x part ,z part are observed.when z is infered from q model distribution.2nd piece is function of q and doesn't depend on our generative modelif q is chosen as posterior distribution z given x under our generative model, now there are no gap between inequalityposterior is hard to computeinvert neural network in probabilistic way which is very hard be..

latent variable = doesn't have notation , what we observe is just a pixel but it might be eye color, hair color something like thatsince it is hard to notate condition for latent variable, we use NNin this case z is not infitie, it is discrete and limitedin this case Z is categorical distirbution , in this case K was 2 and model was able to cluster datasz is now continous , having guassian distr..

using rnn with maksing to act like autoregressive model (looking back only , ordering conditional probabiltily)cnn with masked to be autoregressive, this masked convolution causes blind spot and need to be taken care of.one way is to use multiple convolution with different maskingPixelDefend can detect adversarial examplesBPD(X) ~= − log pCNN(X)/(I × J × K × log 2) for an image of resolution I ×..

위 3가지 조건을 만족하는 model distribution을 찾고 싶다.in order to use chain rule you need to pick order, and there is no ground rule for this.seperate probability distribution using chain rule.first one is conditional probability table(CPT) because it is the very first pixel and doesn't rely on anythingfrom second pixel we use logisitic regressionautoregressive = trying to predict parts of each data point, g..

represent 하는 state는 2^n 개이지만 joint pdf 를 나타내기위한 필요한 parameter 개수는 2^n-1 이다.마지막 1개는 1- (the other parameter's probabilty)를 해서 계산할 수 있으니까but when assuming RV are indepdent variable. we can calculate joint distribution by mulitpling each pdand then we only need N parameters , since we know how to calculate joint distribution.before example we didn't know how to calculate joint distrubiton so we lit..

G(s) 를 보고 2차 미분 방정식으로 이루어진 LTI system임을 알 수 있어야 한다. 기존에는 x(t) 가 input 이였다. 하지만 state space에서는 X(s)를 state 으로 쓰기 때문에 U 를 input으로 notation이 바뀐것이다. 그래도 햇갈린다. x(t) 를 L transform 한것이 X(s) 이긴한데.. X(s) == U(s) 는 아닌데.. X(s)는 state에 따른 값이고 U(s) state에 다른 input인데 (초기값과 비슷한역할인것 같은데) transfer function을 구할 때는 초기 값을 0이라고 가정한다. 순수하게 input에 대한 output만을 구하고 싶기 때문에 system이 stable하다면 Ce^At가 0에 수렴한다. stable 하면 A가 음..

Bu에서 u가 존재하는 InHomgeneous한 LTI System을 다룬다. scalar인 경우에 양변에 e^at를 다 곱하니 좌변은 e^-atx 의 미분한 결과 값이다. 이를 이용해 양변을 적분하고 식을 정리해서 전개하면 x(t)의 solution을 구할 수 있다. input이 0일 때는 첫번째 항만 남아있는 것이고 2번쨰항은 input에 의해서 생기는 state의 dynamics라고 생각하면 된다. 기존에 y를 구하기 위해서 h(t) * u(t) 를 convolution 해서 결과 값을 구했었다. 마찬가지로 e^At == h(t) 가 되어 2번째 term이 convolution의 결과가 된다. 이를 particular solution이라고 한다. Leibniz Integral Rule이 참이라고 가..

state equation에 들어가는 함수는 보통 general 해서 non linear 할 수도 있지만 여기서는 linear한 범위만 다룬다. A matrix는 LTI system에서 state 의 dynamics를 u는 input을 나타내는 것이다. y(output response에서) C x 는 LTI system의 영향도를 D u는 input에 대한 영향도를 의미한다. 보통 D가 0인 경우가 많다. 예를 들면 state variable은 position , velocity가 될 수 있다. LTI System을 standard state space form으로 나 타낼수 있다. 또한 block diagram을 따라가 보면 standard form을 그림으로 나타낸 것이다. 미분기는 noise같은 값..

time domain에서 각 함수를 convolution을 한 한것은 s domain 즉, L transform 한 값을 곱한 것과 결과 값이 같다. function convolution이 복잡할 때는 각각 L transform을 해주고 그것을 곱하여 output 을 계산하고 다시 inver L transform을 하는방법이 존재한다. derivative 도 결국은 system (LTI)이다. 여기서 LTI에 L transform을 적용하는 것은 input x(t)에 L transform을 적용하는것 과 동일하다. 값도 Y(S) = s * X(S) 로 위의 과정과 동일하게 나오게된다. 위 의미를 해석하자면 time domain에서는 미분을 한다는 것은 s domain에서는 s를 곱해주는 것과 동일하다. ..