지식창고

Recent Articles

• 

  Generative Models [논문 리뷰] How to Train Your Energy-Based Models Author: Y Song Publication: https://arxiv.org/abs/2101.03288 Diffusion model의 입문용 논문으로 추천돼있어 아는 내용 갈무리 겸 읽어보게 되었다. 각 섹션의 개요만 간단하게 정리해본다. Energy-Based Models (EBMs) Energy function: Unnormalized negative log-probability Density estimation은 nonlinear regression 문제로 귀납된다. Probability density: $p_\theta(x) = {{-E_\theta(x)} \over {Z_\theta}}$ E는 parameter $\theta$에 대한 nonlinear regression 함수이다. Norm..

• 

  Machine Learning 첫 개발자 밋업에 참여하다 (LLM Meetup @Liner) 우리나라에도 몰두센 처럼 짱짱한 IT 기업들이 참 많은데, 그 중에서도 생성 AI로 이름을 날리는 곳이 라이너이다. 해외 밴처 캐피탈에서 평가한 Generative AI Application 세계랭킹 4위를 거머쥔 갓 기업... 스타트업 비슷한 곳만 계속 다니다 보니 다른 회사가 잘되는 걸 보면 뭔가 응원하고 싶고 뿌듯하다. 더군다나 얼덜결에 생성 AI 연구를 하는 지금, 유독 더 관심이 갔는데...! 주시하고 있던 라이너에서 이번에 LLM 밋업을 열었다. https://lu.ma/2xxzwubp 제3회 LLM 밋업 with. Liner · Luma 실리콘밸리에서는 매일, 매 주말 다양한 기술 밋업이 열리고 있습니다. 그리고 그 자리를 통해 서로의 배움과 노하우를 공유하는 과정을 반복해서 거치며 기술의 ..

• 

  ML [논문 리뷰] Protein Design with Guided Discrete Diffusion (NIPS 2023) 이 글에서 다루는 논문: Protein Design with Guided Discrete Diffusion (2023.05, N Fray et al.) https://arxiv.org/abs/2305.20009 비슷한 시기에 나온 유사한 논문: Protein Discovery with Discrete Walk-Jump Sampling (2023.06, N Gruver et al.) https://arxiv.org/abs/2306.12360 참고하면 좋을 논문: Plug-and-Play Language Models (PPLM) https://arxiv.org/abs/1912.02164 Code: https://github.com/ngruver/NOS Introduction Protein sequence d..

• Machine Learning Equivariances [Korean translated ver. for https://dmol.pub/dl/data.html] 이 소개 글에서 Molecular graph와 structure를 표현하는 데 필수적인 operation의 성질인 equivriance 3가지에 대해 알아보자. Invariance vs. Equivariance란 무엇인가? Translation, rotation, permutation equivariance란 무엇인가? 어떻게 invariance를 만족하는 features를 선택할 것인가? 특정 분자의 molecular descriptor X가 N (n atoms) x 3 (xyz 좌표)의 크기의 행렬이라고 정의한다. 특정 Equivariance를 만족하지 않는 operator를 정의해볼 것이다. 우..