Аннотация
В статье рассмотрена проблема прогнозирования электропотребления горных предприятий, особенностью которого является высокий уровень нестационарности и стохастичности. Использованы собранные авторами данные за четыре года по горному предприятию Якутии, работающему в области добычи и переработки угля. При этом отдельно выполнен анализ по различным объектам предприятия: угольному разрезу и обогатительным фабрикам, имеющим принципиально различные технологические процессы, и, следовательно, графики электропотребления. Проведено исследование двух классов методов машинного обучения: обработка ретроспективных данных электропотребления предприятия как временного ряда с помощью рекуррентных нейронных сетей; выделение наиболее значимых признаков для применения к ним ансамблевых моделей на базе деревьев решений: случайного леса, адаптивного бустинга и экстремального градиентного бустинга. Поскольку для указанных моделей машинного обучения очень важна настройка гиперпараметров, для корректного сопоставления результатов проведена процедура оптимизации гиперпараметров всех моделей. Проведенные вычислительные эксперименты показали, что рекуррентные многослойные нейронные сети способны использовать для прогнозирования временные ряды без предварительной обработки, обучаясь выделять значимые признаки из динамики изменения графика электропотребления. Для применения ансамблей регрессионных деревьев решений необходим предварительный анализ данных для отбора из временного ряда наиболее значимых признаков. На примере рассмотренного предприятия показано, что использование такого подхода при работе с ансамблевыми моделями дает близкую точность к рекуррентным нейронным сетям. При этом ансамблевые модели обучаются на 1–2 порядка быстрее, а недостатком является большая склонность к переобучению.
Ключевые слова
Горное предприятие, прогнозирование электропотребления, машинное обучение, рекуррентные нейронные сети, выбор признаков, ансамблевые методы.
1. Data-driven baseline estimation of residential buildings for demand response / S. Park, S. Ruy, Y. Choi, J. Kim, H. Kim // Energies. 2015. Vol. 8(9). Pp. 10239–10259. doi: 10.3390/en80910239
2. Hahn H., Meyer-Nieberg S., Pickl S. Electric load forecasting methods: Tools for decision making // European Journal of Operational Research. 2009. Vol. 199. No. 3. Pp. 902–907. doi: 10.1016/j.ejor.2009.01.062
3. A review on time series forecasting techniques for building energy consumption / C. Deb, F. Zhang, J. Yang, S. Lee, K. Shah // Renewable and Sustainable Energy Reviews. 2017. Vol. 74. Pp. 902–924.
4. Taylor J.W. Short-term electricity demand forecasting using double seasonal exponential smoothing // The Journal of the Operational Research Society. 2003. Vol. 54. No. 8. Pp. 799–805.
5. Short-Term Forecast of Electricity Load for LLC “Omsk Energy Retail Company” Using Neural Network / V. Potapov, R. Khamitov, V. Makarov, A. Gritsay, I. Chervenchuk, D. Tyunkov // Dynamics of Systems, Mechanisms and Machines (Dynamics). IEEE, 2018. Pp. 1–5. doi: 10.1109/Dynamics.2018.8601430
6. Cho M.Y., Hwang J.C., Chen C.S. Customer short term load forecasting by using ARIMA transfer function model // International Conference on Energy Management and Power Delivery. IEEE, 1995. Vol. 1. Pp. 317–322. doi: 10.1109/EMPD.1995.500746
7. Hagan M.T., Behr S.M. The time series approach to short term load forecasting. IEEE Transactions on Power Systems. 1987. Vol. 2(3). Pp. 785–791. doi: 10.1109/TPWRS.1987.4335210
8. Разработка моделей прогнозирования электропотребления на основе временных рядов в изолированных энергосистемах / Д.Х. Худжасаидов, А.Г. Русина, П.В. Матренин, С.А. Дмитриев, М.Х. Сафаралиев // Электротехнические системы и комплексы. 2020. № 3(48). С. 23–27. doi: 10.18503/2311-8318-2020-3(48)-23-27
9. Short-term load forecasting for the holidays using fuzzy linear regression method / K.B. Song, Y.S. Baek, D.H. Hong, G. Jang // IEEE Transactions on Power Systems. 2005. Vol. 20. No. 1. Pp. 96–101. doi: 10.1109/PES.2005.1489152
10. Antonenkov D.V., Solovev D.B. Mathematic simulation of mining company’s power demand forecast (by example of “Neryungri” coal strip mine) // IOP Conference Series: Earth and Environmental Science. 2017. Vol. 87. Art. no. 032003. doi: 10.1088/1755-1315/87/3/032003
11. Hong W.C. Electric load forecasting by seasonal recurrent SVR (support vector regression) with chaotic artificial bee colony algorithm // Energy. 2011. Vol. 36. No. 9. Pp. 5568–5578. doi: 10.1016/j.energy.2011.07.015
12. Hybrid forecasting approach based on GRNN neural network and SVR machine for electricity demand forecasting / W. Li, X. Yang, H. Li, L. Su // Energies. 2017. Vol. 10. No. 1. Art. no. 44. doi: 10.3390/en10010044
13. Huo J., Shi T., Chang J. Comparison of random forest and SVM for electrical short-term load forecast with different data sources // 7th IEEE International Conference on Software Engineering and Service Science (ICSESS). IEEE, 2016. Pp. 1077–1080. doi: 10.1109/ICSESS.2016.7883252
14. A composite k-nearest neighbor model for day-ahead load forecasting with limited temperature forecasts / R. Zhang, Y. Xu, Z.Y. Dong, W. Kong, K.P. Wong // Power and Energy Society General Meeting. IEEE, 2016. Pp. 1–5. doi: 10.1109/PESGM.2016.7741097
15. Mori H., Kosemura N. Optimal regression tree based rule discovery for short-term load forecasting // Power Engineering Society Winter Meeting. IEEE, 2001. Vol. 2. Pp. 421–426. doi: 10.1109/PESW.2001.916878
16. Ensemble deep learning for regression and time series forecasting / X. Qiu, L. Zhang, Y. Ren, P. Suganthan, G. Amaratunga // Symposium on Computational Intelligence in Ensemble Learning. IEEE, 2014. Pp. 21–26. doi: 10.1109/CIEL.2014.7015739
17. Multi-scale convolutional neural network with time-cognition for multi-step short-term load forecasting / Z. Deng, B. Wang, Y. Xu, T. Xu, C. Liu, Z. Zhu // IEEE Access. 2019. Vol. 7. Pp. 88058–88071. doi: 10.1109/ACCESS.2019.2926137
18. A short-term load forecasting method based on GRU-CNN hybrid neural network model / L. Wu, C. Kong, X. Hao, W. Chen // Mathematical Problems in Engineering. 2020. Art. no. 1428104. doi: 10.1155/2020/1428104
19. Ryu S., Noh J., Kim H. Deep neural network based demand side short term load forecasting // Energies. 2016. Vol. 10. No. 1. Pp. 1–20. doi: 10.3390/en10010003
20. Chen K. Wang Q., He Z., Hu J., He J. Short-Term Load Forecasting with Deep Residual Networks. IEEE Trans. Smart Grid. 2019, vol. 10, no. 4, pp. 3943–3952. doi: 10.1109/TSG.2018.2844307
21. Cai M., Pipattanasomporn M., Rahman S. Day-ahead building-level load forecasts using deep learning vs. traditional time-series techniques // Applied Energy. 2019. Vol. 236. Pp. 1078–1088. doi: 10.1016/j.apenergy.2018.12.042
22. Short-term residential load forecasting based on LSTM recurrent neural network / W. Kong, Z. Dong, Y. Jia, D. Hill, Y. Xu, Y. Zhang // IEEE Transactions on Smart Grid. 2019. Vol. 10. No. 1. Pp. 841–851. doi: 10.1109/TSG.2017.2753802
23. Improving accuracy and generalization performance of small-size recurrent neural networks applied to short-term load forecasting / P.V. Matrenin, V.Z. Manusov, A.I. Khalyasmaa, D.V. Antonenkov, S.A. Eroshenko, D. Butusov // Mathematics. 2020. Vol. 8. No. 12. Art. no. 2169. doi: 10.3390/math8122169
24. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. Vol. 9. No. 8. Pp. 1735–1780. doi: 10.1162/neco.1997.9.8.1735
25. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation / K. Cho, B. van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio // Available online: https://arxiv.org/abs/1406.1078
26. Le Cun Y., Bengio Y., Hinton G. // Nature. 2015. Vol. 521. Pp. 436–444. doi: 10.1038/nature14539
27. Dahl G.E., Sainath T.N., Hinton G.E. Improving deep neural networks for LVCSR using rectified linear units and dropout. International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013. Pp. 8609–8613. doi: 10.1109/ICASSP.2013.6639346
28. Ng A.Y. Feature selection. L1 vs. L2 regularization. and rotational invariance // 21st International Conference on Machine Learning. Banff, 2004. Pp. 1–8. doi: 10.1145/1015330.1015435
29. Kingma D.P., Ba J.L. Adam: A method for stochastic optimization. [Web source]. Available online: https://arxiv.org/abs/1412.6980
30. Breiman L. Random Forests // Machine Learning. 2001. Vol. 4. Pp. 5–32. doi: 10.1023/A:1010933404324
31. Machine learning in Python. [Web source]. Available online: https://scikit-learn.org
32. Drucker H. Improving Regressors using Boosting Techniques. [Web source]. Available online: http:// https://www.researchgate.net/publication/2424244
33. Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System. [Web source]. Available online: https://arxiv.org/abs/1603.02754
34. Industry experience of developing day-ahead photovoltaic plant forecasting system based on machine learning / Khalyasmaa A.I., Eroshenko S.A., Tashchilin V.A., Ramachandran H., Chakravarthi T.P., Butusov D.N. // Remote Sensing. 2020. Vol. 12(20). Art. no. 3420. doi: 10.3390/rs12203420
35. Khalyasmaa A.I., Senyuk M.D., Eroshenko S.A. Analysis of the state of high-voltage current transformers based on gradient boosting on decision trees // IEEE Transactions on Power Delivery. 2020. Vol. 36. No. 4. Pp. 2154-2163. doi: 10.1109/TPWRD.2020.3021702
36. Разработка моделей среднесрочного прогнозирования электропотребления в изолированно работающих энергосистемах на основе ансамблевых методов машинного обучения / С.М. Асанова, Д.С. Ахьеев, С.А. Дмитриев, П.В. Матренин, М.Х. Сафаралиев // Известия НТЦ Единой энергетической системы. 2021. № 1(84). С. 32–39.
37. Bergstra J., Bengio Y. Random search for hyper-parameter optimization // Journal of Machine Learning Research. 2012. Vol. 13. Pp. 281–305.
38. Wolpert D.H., Macready W.G. No Free Lunch Theorems for Optimization. IEEE Transactions on Evolutionary Computation. 1997. Vol. 1. No. 1. Pp. 67–82. doi: 10.1109/4235.585893