от Алферьева Д.А.

[Дмитрий Александрович Алферьев 8]

Здравствуйте, Светлана Александровна, Софья Михайловна и Карина Вадимовна. Ознакомился с Вашими тезисами и немного прокомментирую:

1). В целом идея понятна. Разработать функциональную зависимость, в соответствии с которой можно взять значения конкретных переменных и посмотреть, что получится на выходе. Но влиять то на ситуацию Вы хотите, дергая определенные ниточки.

А в Вашем случае Вы вначале эти ниточки находите, а потом уже управляете. Т.е. я как заказчик говорю, что у моего водопровода есть определенные краники, и я хочу узнать, как их повернуть, чтобы потекло то, что мне надо. Или Вам и эти "краники" позволили установить? (извините за аллегорию)

2). Если задача является такой как я ее поставил, то советую присмотреться к модели многослойного персептрона (это архитектура нейронной сети, может использоваться как аналог регрессии). Степень аппроксимации у нейронок зачастую лучше. Но у Вас процесс физический, а не гуманитарного характера, поэтому с Вашей задачей и классические методы математической статистики, наверно, успешно могут справиться. Надо смотреть  

3). О значимости переменных включенных в модель. Для себя я совсем недавно открыл, что она характеризуется тем, на сколько сильно при найденных коэффициентах изменяется зависимая переменная. Т.е. если мы должны получить ответ с точностью до 4-го знака после запятой, а переменная в рамках выборки изменяет какую-то триллионную, то, следовательно, она погоды не делает, и от нее можно избавиться.

Дак вот. Эта значимость очень сильно зависит от комбинации факторов, включенных в модель. В одной комбинации она значима, а в другой нет. Т.е. Вы можете решать комбинаторную задачу относительно тех переменных, которые Вам очень хочется в модель включить.

Здесь же есть еще момент, связанный с мультиколлинеарностью. Т.е. Вы можете включить в модель показатели по разному названные, но по сути дублирующие друг друга. Здесь советую присмотреться к методу главных компонент (PCA). Эту тему хорошо разбирает Аббакумов Вадим Леонардович.

[Светлана Александровна Парыгина 5]

Здравствуйте, Дмитрий Александрович!

Спасибо за ценные замечания. 

1. По поводу применения парной корреляции для установления значимых связей между переменными хочу сказать, что это был вынужденный шаг. Метод главных компонент хорошо работает, насколько я знаю, для количественных переменных. Если же среди переменных есть качественные (а у нас качественная переменная была выходная), то корректность его применения для мня не совсем понятна. Мы же применили точечный бисериальный коффициент корреляции, который подходит для случая, когда одна из переменных - номинально-дихотомическая. Но, конечно, проблема комплексного подхода к определению значимых факторов, остается. Обязательно посмотрим работы Аббакумова В.Л. Спасибо!

2. Модель многослойного персептрона мы пробовали применить к этим же данным, но она хороших результатов не дала, поэтому не упоминается в статье. Но, сейчас, разрабатывая новый проект для Северсталь, мы ставим такую задачу себе: попробовать применить нейронные сети не к обработке изображений (что, в общем-то традиционно), а к анализу промышленных данных. Ещё у нас есть такое опасение: если у регрессии по коэффициенту для каждой переменной можно сказать, что она оказывает большее влияние на выходную переменную, то у нейронных сетей так не сделать, они дают  слабо интерпретируемые результаты. Чем мощнее модель, тем менее она поддается интерпретации /объяснению. Может быть, мы что-то не так понимаем?

[Дмитрий Александрович Алферьев 8]

В целом согласен с Вами.

Извините, запамятовал. С компонентами сам сталкивался с подобной проблемой. Только там дилемма, когда входная переменная качественная (на тот момент их просто исключали, но, возможно, есть более изящный выход). И еще будет проблема интерпретируемости этих самых компонент. Но зато они однозначно не коррелируют между собой )))

Аббакумов Вадим Леонардович - топовый специалист в обработке и анализе данных. Все очень доступно и наглядно.

У меня еще был один момент в практике. Что-то подобное, как ваше исследование, вокруг арболитовых блоков делал. Помимо общей регрессионной модели, систему отдельных уравнений по каждому фактору строили. Казус случился, когда стали модель в лаборатории проверять.

Модели в рамках оценок качества замечательные, а начинаешь по ним по пробиркам ингредиенты брать, и не получается, как в расчетах. Но не помню точно, что плохо сработало: множественная регрессия или система уравнений.