В данной научной работе рассматриваются ограничения роста мощностей нейронных сетей, вызванные физическими и энергетическими ограничениями современных компьютеров. Проводится анализ влияния энергопотребления, роста стоимости и роста производительности компьютеров на развитие нейронных сетей, а также предлагаются пути оптимизации и возможные решения для снижения энергоемкости и стоимости обучения нейронных сетей.