related-work.tex (2605B)
1 \section{RELATED WORK} 2 3 4 % Это из введения 5 % В 2006 году Geoffrey Hinton and Ruslan Salakhutdinov опубликовали статью, где были описаны алгоритмы обучения глубоких нейронных сетей. Именно с этого момента термин «Глубокое обучение» получает широкое распространение и становится одним из главных направлений развития в машинном обучении~\cite{hinton2006reducing}. Идея такого способа обучения основана на биологических особенностях работы человеческого мозга. Глубокой нейронной сетью называют перцептрон с более, чем одним скрытым (обучающим) слоем. Для обучения такой сети обычно применяется метод обратного распространения ошибки~\cite{bengio2007scaling}. Метод обратного распространения ошибки --- итеративный градиентный алгоритм, целью которого является минимизация ошибки при обучении нейронной сети~\cite{werbos1974beyond}. 6 7 In~\cite{hinton2006reducing} Geoffrey Hinton and Ruslan Salakhutdinov described deep neural network training algorithms making deep learning a new direction of research in the field of neural networks. The idea of deep learning is based on biological peculiarities of how human brain work. In essence, deep neural network is a perceptron with more than one hidden layer. An algorithm of error back-propagation is employed to train such neural network~\cite{bengio2007scaling}. This algorithm represents iterative gradient descent which minimises training error~\cite{werbos1974beyond}. 8 9 There are a number of articles that describe how to speed up learning process. In~\cite{jin2014training,dnn-xeon-phi-thesis,dnn-xeon-phi-finance} the speed up performed by increasing the number of cores that are running the neural network compared with the work of one core there was a significant speedup. Besides, there are other ways to increase the speed, such as vectorization. 10 11 In~\cite{stanic2014evaluation,calvin2013exploration} the author analyzes the effect of vectorization to the speed up, and it is shown that the set of parallelization and vectorization can also give a performance boost. 12 13