ALL (21) 썸네일형 리스트형 [논문 리뷰] How to Train Your Energy-Based Models Author: Y Song Publication: https://arxiv.org/abs/2101.03288 Diffusion model의 입문용 논문으로 추천돼있어 아는 내용 갈무리 겸 읽어보게 되었다. 각 섹션의 개요만 간단하게 정리해본다. Energy-Based Models (EBMs) Energy function: Unnormalized negative log-probability Density estimation은 nonlinear regression 문제로 귀납된다. Probability density: $p_\theta(x) = {{-E_\theta(x)} \over {Z_\theta}}$ E는 parameter $\theta$에 대한 nonlinear regression 함수이다. Norm.. 첫 개발자 밋업에 참여하다 (LLM Meetup @Liner) 우리나라에도 몰두센 처럼 짱짱한 IT 기업들이 참 많은데, 그 중에서도 생성 AI로 이름을 날리는 곳이 라이너이다. 해외 밴처 캐피탈에서 평가한 Generative AI Application 세계랭킹 4위를 거머쥔 갓 기업... 스타트업 비슷한 곳만 계속 다니다 보니 다른 회사가 잘되는 걸 보면 뭔가 응원하고 싶고 뿌듯하다. 더군다나 얼덜결에 생성 AI 연구를 하는 지금, 유독 더 관심이 갔는데...! 주시하고 있던 라이너에서 이번에 LLM 밋업을 열었다. https://lu.ma/2xxzwubp 제3회 LLM 밋업 with. Liner · Luma 실리콘밸리에서는 매일, 매 주말 다양한 기술 밋업이 열리고 있습니다. 그리고 그 자리를 통해 서로의 배움과 노하우를 공유하는 과정을 반복해서 거치며 기술의 .. [논문 리뷰] Protein Design with Guided Discrete Diffusion (NIPS 2023) 이 글에서 다루는 논문: Protein Design with Guided Discrete Diffusion (2023.05, N Fray et al.) https://arxiv.org/abs/2305.20009 비슷한 시기에 나온 유사한 논문: Protein Discovery with Discrete Walk-Jump Sampling (2023.06, N Gruver et al.) https://arxiv.org/abs/2306.12360 참고하면 좋을 논문: Plug-and-Play Language Models (PPLM) https://arxiv.org/abs/1912.02164 Code: https://github.com/ngruver/NOS Introduction Protein sequence d.. Equivariances [Korean translated ver. for https://dmol.pub/dl/data.html] 이 소개 글에서 Molecular graph와 structure를 표현하는 데 필수적인 operation의 성질인 equivriance 3가지에 대해 알아보자. Invariance vs. Equivariance란 무엇인가? Translation, rotation, permutation equivariance란 무엇인가? 어떻게 invariance를 만족하는 features를 선택할 것인가? 특정 분자의 molecular descriptor X가 N (n atoms) x 3 (xyz 좌표)의 크기의 행렬이라고 정의한다. 특정 Equivariance를 만족하지 않는 operator를 정의해볼 것이다. 우.. Working as an intern researcher at a Healthcare AI startup for two months/ 의료 스타트업에서 AI 인턴 연구원으로 일한 2개월 Introduction I've worked as an intern in a small European company, a software engineer (mostly backend) in big Korean company, and finally an intern researcher in IT startup. What brought me here? I can say I have approximately 1/4 bachelors degree in computer science but have never studied computer science "seriously". Currently, I am a graduate student in computer science with B.Sc. in biology.. [논문 리뷰] Text Classification Using Label Names Only: A Language Model Self-Training Approach (LOTClass, EMNLP 2020) Written by Yu Meng et al. Paper Link: https://arxiv.org/pdf/2010.07245.pdf Summary Motivation: To suggest a weakly-supervised text classification model trained on only unlabeled corpus without external sources. Contribution: 1) no need for external sources like Wikipedia. 2) using indicative words for category and predicting the masked ones. 3) comparable text classification performance compared.. [짧은 논문 리뷰] Motivation of ConVIRT Title: Contrastive Learning of Medical Visual Representations from Paired Images and Text Venue: arxiv Authors: Yuhao Zhang et al. Date: 2 Oct 2020 Venue: Machine Learning for Healthcare (MLHC) 2022 ConVIRT는 CLIP의 base architecture로 언급되어 읽어 보았습니다. Text-image pair: Medical image (X-ray, CT) 등에 짝이 되는 textual report가 있다고 가정합니다. Pre-training에 사용한 데이터셋 MIMIC-CXR : chest (흉부) radiograph paired with te.. 뇌과학과 활성화 함수 (Neuroscience and Activation Functions: Sigmoid, tanh, and ReLU) 어느 날, 신경망(Neural Network)이라는 용어에서 "Neural"이라는 단어가 "Neuroscience(뇌과학)"와 관련이 있을 수 있겠단 생각이 문득 들었을지 모릅니다. Neuroscience에서 신경계를 이루는 세포인 뉴런(Neuron)은 뉴런 간의 전기화학적 신호로 신경 신호를 전달합니다. 이 과정은 Neural Network의 신호 전달 체계와 매우 비슷합니다. 우리의 뇌에는 neuron이 줄줄이 소시지 처럼 연결되어 있고(정말 외형이 소시지 모양입니다), 수상돌기(dendrite)로 받아들인 입력 신호는 축삭(axon)에서 활동전위를 일으킨 뒤, 축삭말단(axon terminal)에서 시냅스(synapse)로 신경 전달 물질을 내보내어 다음 neuron의 수상돌기의 수용기(recept.. 이전 1 2 3 다음
