Систематическое прерывания сигнала с 4\5 камер комплекса

[taramunti]

Добрый вечер, товарищи.
Опишу сразу диспозицию: объект видео наблюдения 33 камеры axis, сервер windows 2012 r2, система наблюдения SecurOS.
объект - автомобильная эстакада, IP-камеры разведены по двум ШК в каждом шкафу по два PoЕ коммутатора, от коммутатора к коммутатору сигнал передается по ВОЛСу каскадом (все стекается в последний концевой коммутатор, а от него уже к замыкающему коммутатору в серверной и оттуда, соответственно, на сервак).
До недавнего времени (порядка двух лет работы) система работала четко - редко возникали затыки, но все они оперативно исправлялись. Последние две недели возникла ситуация, по которой, собственно, я и прошу совета.
Проблема такого характера:
Время от времени (раз в 5 дней) примерно в одно и то же время (с 16-30, до 18-00) камеры начинают терять сигнал с прогрессией. Появляются провалы с частотой примерно 10-15 сек на 1-2 мин. С течением времени провалы нарастают так, что под конец становятся по 20-30 сек на 10-20 сек работы. В итоге сигнал пропадает вовсе минут на 10, после чего часть камер возобновляет работу, а часть - намертво зависает. Помогает только отключение питания от коммутаторов.
Будучи на объекте просмотрел все камеры и выяснил, что данные проблемы с потерей сигнала касаются не всех камер. 2 внутренние, подключенные напрямую к серверному свичу работают стабильно + 7 камер уличных. Стабильно работают те камеры, что подключены в последний концевой PoE коммутатор ШК. Т.е выходит что все те камеры, что до него корежит час-полтора раз в 5 дней, а те, что подключены непосредственно к нему - нет.
Закралось подозрение, что теряется сигнал, передаваемый по ВОЛС. Вынул штекера, продул (ну а как без этого =)), почистил ютипихи. И вот, спустя все те же 5 дней, проблема повторилась.
Вопрос, собственно, что сие может значить? Скачки напряжения не в счет, думаю. Объект получает питание через 20 киловаттный БП. Тот знатно выравнивает напряжение. Подыхает какой-то коммутатор? Где-то нарушен ВОЛС на том участке, что ДО концевого коммутатора? Или это сам концевой коммутатор глючит? Насчет ВОЛСа лично я сомневаюсь, поскльку второй коммутатор последнего ШК, тот что стоит в паре с тем, камеры которого работают нормально, соединен ютипихой. Т.е. если бы дело было в ВОЛСе, то его бы эти проблемы не касались.
Что может быть еще?
Запасного PoE коммутатора сейчас в наличии нет и проверить оперативно не могу - надо заказывать у начальства. А начальству нужны веские доводы в пользу. Может, есть смысл поменять местами коммутаторы, взятые из разных ШК?
Товарищи, поделитесь мыслями, я в тупике.

PS
Несколько фото с демонстрацией прерывания сигнала.

[romicom]

А может время блокам питания пришло? Включаются икашки и идёт просадка, да и в коммутаторах электролиты бы посмотреть. Коннекторы могли сгнить.

[taramunti]

насчет сгнивших коннекторов это вряд ли =) Шкафы в сухом месте, почти что герметичные.
А вот БП очень даже может быть. Как и электролиты в самых свичах... Летом жара адская могли подвысохнуть. Надо проверить. Спасибо за мыслю!

Как проверю отпишусь.

[GenaSPB]

Опираясь на цикличность проблемы, я бы ещё посмотрел чем там сервак в это время занимается.

[kROOT]

А мне больше кажется, что на программно сетевое похоже, типа сетевых бурь, устройства начинают друг-другу слать ответы, лавинообразно увеличивается трафик в сети, потом сеть падает и устройства успокаиваются. Деталей не знаю, но спецы по сетям говорили, что такое возможно.

[taramunti]

Опираясь на цикличность проблемы, я бы ещё посмотрел чем там сервак в это время занимается.

тоже надо будет проверить, спасибо за совет.

А мне больше кажется, что на программно сетевое похоже, типа сетевых бурь, устройства начинают друг-другу слать ответы, лавинообразно увеличивается трафик в сети, потом сеть падает и устройства успокаиваются. Деталей не знаю, но спецы по сетям говорили, что такое возможно.

а чем это может быть вызвано? Так это или нет, думаю, можно выяснить проверив интенсивность трафика. Если она будет зашкаливать, то это, действительно, так. Ну а если так, как побороть? Повторюсь, ведь ни в компановки сети, ни в линиях ничего не изменялось уже два года... Не может ли это быть наводка от, допустим, новых линий электропроводки? не так давно электрики монтировали освещение моста... Но опять-таки, их линии не проходят в непосредственной близости, а гораздо выше проложены.

[kROOT]

Наводки тоже могут влиять, но чтобы были такие циклические и равномерные падения, слабо верится. Может в сети появились какие то новые устройства? Надо смотреть в момент зависаний сеть, как минимум по лампочкам на коммутаторах, если буря, то будут моргать как бешеные, если наводки, то наоборот. Но лучше конечно анализаторы сети использовать. Если в коммутаторах есть возможность выводить весь трафик на один порт или даже если нет, надо wireshark запускать и смотреть что там гуляет.

[ALEX_SE]

а что в логах коммутаторов?

[taramunti]

Честно говоря никогда не просматривал... И даже не знаю есть ли у них такая возможность.

[ALEX_SE]

ну так посмотрите. что за коммутаторы? смешно будет увидеть камеры аксис и тупейшие неуправляемые свичи...
переведите камеры в дневной режим что бы они не включали подсветку и посмотрите что будет.

[Рустам]

Сеть видеонаблюдения точно с интернетом никак не соединена?

[Tюрин BB]

Опираясь на цикличность проблемы, я бы ещё посмотрел чем там сервак в это время занимается.

А еще можно, сопоставить с графиком дежурств операторов ВН и вполне возможно выявить закономерность в связке "цикличность+ФИО" (лично мене, именно подобные случае "цикличности", встречались как минимум пару раз в моей практике).