티스토리

Taewan Kim (Louis)

검색하기

블로그 홈

Taewan Kim (Louis)

louis-tw-kim.tistory.com/m

Louis.T.Kim 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

ALBERT(ICLR2020) 리뷰 최근 GLUe, RACE, SQuAD에서 top rank에 사용된 ALBERT에 대해 리뷰를 해보려 합니다. BERT에 비해 param 수도 적고 training speed도 빠르다는게 특징입니다. 단순 비교를 해보면 ALBERT-Large는 BERT-Large에 비해 param 수가 18x 적고 training은 1.7x 빠릅니다. 1. Factorized embedding parameterization V : Vocab size E : Embedding size H : Hidden size BERT에서는 E와 H를 같게 했다. ALBERT에서는 vocab one-hot vector를 hidden layer로 직접 투사시키보다는 중간에 embedding layer를 두어서 parameter를 효과적으로.. 공감수 0 댓글수 0 2020. 7. 9.
Effective Approaches to Attention-based Neural Machine Translation 리뷰 [Abstraction] 1. NMT 연구에서 attention 구조에 대한 비교 연구가 없었다. (2015년 기준. transformer가 2017년에 나옴) 2. Global attention model과 Local attention model을 비교할 것이다. [3. Attention-based Models] decoder의 h_t와 input sequence의 context를 나타내는 c_t를 concat한 뒤 선형/비선형 layer를 거쳐 context를 고려한 ~h_t를 만든다. c_t를 생성하는 방법에 따라 global/local attention으로 나뉜다. [3.1 Global Attention] - Alignment weight vector a_t가 새로 등장한다. global atte.. 공감수 6 댓글수 0 2020. 5. 17.
[PR#2] (Quantization) Binarized Neural Networks : Training Neural Networks with Weights and Activations Constrained to +1 or -1 (arXiv 16) [20.1.21] draft [LINK] : https://arxiv.org/abs/1602.02830 Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time. At training-time the binary weights and activations are used for computing the parameters gradients.. 공감수 1 댓글수 0 2020. 1. 21.
[2020.Q1] Deep Learning Paper List [Up Comming] [Reviewed] [Less Concerning] ____________________________________________________________________________________________________________________________________________________________ [Compression, FPGA, Weight Sharing] DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING Going Deeper with Embedded FPGA Platform for Convolutional.. 공감수 1 댓글수 0 2020. 1. 21.
[PR#1] (Pruning) Learning both Weights and Connections for Efficient Neural Networks (NIPS 2015) [LINK] : https://arxiv.org/abs/1506.02626 Learning both Weights and Connections for Efficient Neural Networks Neural networks are both computationally intensive and memory intensive, making them difficult to deploy on embedded systems. Also, conventional networks fix the architecture before training starts; as a result, training cannot improve the architecture. To arxiv.org _____________________.. 공감수 1 댓글수 0 2020. 1. 7.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.