ALL (23) 썸네일형 리스트형 [짧은 논문 리뷰] Motivation of ConVIRT Title: Contrastive Learning of Medical Visual Representations from Paired Images and Text Venue: arxiv Authors: Yuhao Zhang et al. Date: 2 Oct 2020 Venue: Machine Learning for Healthcare (MLHC) 2022 ConVIRT는 CLIP의 base architecture로 언급되어 읽어 보았습니다. Text-image pair: Medical image (X-ray, CT) 등에 짝이 되는 textual report가 있다고 가정합니다. Pre-training에 사용한 데이터셋 MIMIC-CXR : chest (흉부) radiograph paired with te.. 뇌과학과 활성화 함수 (Neuroscience and Activation Functions: Sigmoid, tanh, and ReLU) 어느 날, 신경망(Neural Network)이라는 용어에서 "Neural"이라는 단어가 "Neuroscience(뇌과학)"와 관련이 있을 수 있겠단 생각이 문득 들었을지 모릅니다. Neuroscience에서 신경계를 이루는 세포인 뉴런(Neuron)은 뉴런 간의 전기화학적 신호로 신경 신호를 전달합니다. 이 과정은 Neural Network의 신호 전달 체계와 매우 비슷합니다. 우리의 뇌에는 neuron이 줄줄이 소시지 처럼 연결되어 있고(정말 외형이 소시지 모양입니다), 수상돌기(dendrite)로 받아들인 입력 신호는 축삭(axon)에서 활동전위를 일으킨 뒤, 축삭말단(axon terminal)에서 시냅스(synapse)로 신경 전달 물질을 내보내어 다음 neuron의 수상돌기의 수용기(recept.. [논문 리뷰] Dimensionality Reduction by Learning an Invariant Mapping (CVPR 2006) Author: Raia Hadsell et al. Paper Link: http://yann.lecun.com/exdb/publis/pdf/hadsell-chopra-lecun-06.pdf Concept The Beginning of Contrastive Loss Notation Pairs of samples $\vec X_1, \vec X_2$ Label $Y$ Similar pairs $Y = 0$ Dissimilar pairs $Y = 1$ Energy (L2 norm, Euclidean distance) $D_W$ Loss $L_S, L_D$ Siamese Network $G_W$ Networks sharing parameter $W$ Using $G_W$ when calculating L2 no.. [NLP 근본 논문 리뷰 #2] Distant Supervision for Relation Extraction without Labeled Data (ACL 2009) Written by Mike Mintz et al. Paper Link: https://aclanthology.org/P09-1113.pdf Summary Motivation To use Freebase to give us a training set of relations and entity pairs that participate in those relations Contribution Avoid overfitting and domain-dependence by using large-scale knowledge base Limitation Wrongly labeled relations False negatives Assumption on large data (knowledge base such as F.. [프로그래머스] 2. 메뉴 리뉴얼 (2021 Kakao Blind Recruitment) Problem Link : https://programmers.co.kr/learn/courses/30/lessons/72411 Language : Python 3 문제 정의 문제에서는 주어진 변수는 다음과 같습니다. 손님들이 주문한 단품 메뉴들의 배열 orders 요리사가 추가하고자 하는 코스요리를 구성하는 단품 메뉴 개수의 배열 course 문제에서 요구하는 바는, 요리사가 새로 추가하게 될 코스요리의 메뉴 구성의 배열을 리턴하면 됩니다. 추가적으로 조건은 다음과 같습니다. 코스요리 메뉴는 손님들이 가장 많이 함께 주문한 단품메뉴 조합으로 구성합니다. 가장 많이 함께 주문한 단품메뉴 조합이 여러 개라면 모두 포함시킵니다. 최소 2명 이상의 손님으로부터 주문된 단품메뉴 조합만 포함시킵니다. 코스요리 메.. [코드 리뷰] SimCLR Code Review Created: October 10, 2021 5:20 PM This is the report from the class project for code and review reproduction. We utilize the PyTorch version of SimCLR with the most stars. All source codes and rights belong to sthalles/SimCLR and Google Research. Contents Introduction Run SimCLR Code Code Architecture Major Components (§2.1) SimCLR Algorithm to Code Feature Evaluation (§2.3, §4.2) Q&A Reference .. [NLP 근본 논문 리뷰 #1] GloVe: Global Vectors for Word Representation (EMNLP 2014) by Jeffrey Pennington Paper : https://nlp.stanford.edu/pubs/glove.pdf Motivation Word2vec은 word vectors의 representation을 배우기 위한 프레임워크입니다. Context가 주어졌을 때 word vectors의 similarity를 계산하자는 것이 주요한 아이디어입니다. Word2vec에선 skip-gram과 continuous bag-of-word (CBOW)의 두 가지 모델을 제시하고 있습니다. 이 모델의 objective function은 context가 주어졌을 때 word를 예측하는 것입니다. 이 방법론은 직접적으로 co-occurence statistics를 계산할 수 없다는 한계로 인해, corpus 내.. [LeetCode] 1143. Longest Common Subsequence Problem Link: https://leetcode.com/problems/longest-common-subsequence/ Category: Dynamic Programming Difficulty : Medium Language: Python 3 문제 설명 text1과 text2라는 문자열 두 개가 주어집니다. 문제는 공통된 부분 문자열(common subsequence) 중에 가장 긴 것의 길이를 구하는 것입니다. 알고리즘 이론서를 보다가 등장하기도 하는 문제입니다. ㅎㅎ 최장 공통부분 문자열(Longest Common Subsequence)을 간단히 LCS라고 칭하겠습니다. LCS(A, B) 함수는 A와 B 문자열의 LCS를 출력한다고 합시다. 문제 풀이 표를 그려봅시다. 문자열은 두 개만 주어.. 이전 1 2 3 다음
