Stay Hungry Stay Foolish/논문 정리13 [논문 정리] Understanding the difficulty of training deep feedforward neural networks Understanding the difficulty of training deep feedforward neural networks 간단 정리 2006년 이전에는 심층 다층 신경 네트워크가 성공적으로 훈련되지 않은 것으로 보이는 반면에, 그 이후 여러 알고리즘이 심층 구조와 저층 구조의 우월성을 보여주는 실험 결과와 함께 그것들을 성공적으로 훈련시키는 것으로 나타났다. 이러한 모든 실험 결과는 새로운 초기화 또는 훈련 메커니즘으로 얻어졌다. 여기서 우리의 목표는 무작위 초기화에 따른 표준 구배 강하가 심층 신경망에서 왜 그렇게 나쁜지를 더 잘 이해하여 최근의 상대적 성공을 더 잘 이해하고 미래에 더 나은 알고리즘을 설계하는 데 도움을 주는 것이다. 우리는 먼저 비선형 활성화 함수의 영향을 관찰한다. 우리.. 2020. 9. 2. [논문 정리] Mask R-CNN (1) Mask R-CNN Abstract 더보기 객체 인스턴스 분할(object instance segmentation) 인스턴스 세그먼테이션의 목표는 이미지에서 특정 객체를 감지하고 관심 객체 주위에 마스크를 만드는 것이다. 단순 경계 상자 대신에 마스크가 결과인 객체 감지로 간주 할 수 있다. 객체 인스턴스 분할을 위한 개념적으로 단순, 유연, 일반적인 프레임워크를 제시한다. 각 인스턴스에 대해 고품질 분할 마스크를 생성, 이미지의 객체를 효율적으로 감지한다. 이는 Mask R-CNN 방법으로, 경계 상자 인식를 위해 기존 branch와 함께 병렬적으로 객체 마스크를 예측하기 위한 branch(분기)를 추가함으로써 Faster R-CNN을 확장한다. Mask R-CNN은 훈련하기 간단하고, 5fps로 작동.. 2020. 9. 2. [논문 정리] Fixup 초기화 방법 : norm없는 잔차 학습 FIXUP INITIALIZATION : RESIDUAL LEARNING WITHOUT NORMALIZATION ABSTRACT 정규화(norm) layer : 최첨단 심층 신경망 구조에서 필수적, stabilize training, higher learning rate, accelerate convergence and improve generalization (+) (commonly-held beliefs) we challenge! fixed-update initialization(Fixup. 고정-업데이트 초기화) 제안 적절한 초기화 -> exploding & vanishing gradient 문제 해결 fixup을 통한 training은 정규화를 통한 training만큼이나 안정적이다. image .. 2020. 9. 1. 이전 1 2 다음
