Mikrotik: Torch. Определение источника трафика в сети.
Освоить MikroTik Вы можете с помощью онлайн-куса «Настройка оборудования MikroTik». Курс содержит все темы, которые изучаются на официальном курсе MTCNA. Автор курса – официальный тренер MikroTik. Подходит и тем, кто уже давно работает с микротиками, и тем, кто еще их не держал в руках. В курс входит 162 видеоурока, 45 лабораторных работ, вопросы для самопроверки и конспект.
Из Torch можно получить адрес источника и порт, адрес назначения и порт, и/или возможность фильтрации по протоколу. В сочетании с демонстрацией скорости передачи в реальном времени, это становится очень мощным диагностическим инструментом для IP-сетей.
Как интернет-провайдер, я видел эту конкретную проблему много раз: клиент звонит, чтобы пожаловаться на скорость соединения. Я захожу на его CPE (оборудование, расположенное в помещении абонента/клиента), в данном случае маршрутизатор MikroTik, и вижу, что он использует все 2 Мb, за которые платит. Я сообщаю ему об этом, а он отвечает: «Это невозможно. У меня нет никаких программ, которые нагружают канал, и я единственный, кто пользуется Интернетом». Используя Torch, я быстро узнаю, что существует постоянный поток 2 Мb от локального IP-адреса в его подсети. После нескольких минут разговора, мы обнаруживаем, что IP-адрес потокового трафика не совпадает с адресом клиента, и отслеживаем его вплоть до компьютера ребенка, который включен и с удовольствием делится файлами через битторрент.
Итак, как нам узнать адрес этого хоста в сети? Вот пример:
1. Нажмите кнопку «Tools» и выберите «Torch».
2. В окне Torch выберите интерфейс, на котором вы хотите мониторить трафик, затем нажмите пуск. При работающем Torch вы можете сортировать по Tx или Rx (скорость отправки или получения) просто кликнув ЛКМ по ячейке Rx.Rate или Tx.Rate и узнать источник трафика с самой высокой скоростью в сети.
Освоить MikroTik Вы можете с помощью онлайн-куса «Настройка оборудования MikroTik». Курс содержит все темы, которые изучаются на официальном курсе MTCNA. Автор курса – официальный тренер MikroTik. Подходит и тем, кто уже давно работает с микротиками, и тем, кто еще их не держал в руках. В курс входит 162 видеоурока, 45 лабораторных работ, вопросы для самопроверки и конспект.
Анализ трафика на Mikrotik + NetFlow Analyzer
NetFlow Analyzer это программа написанная на Java. В нем можно быстро создавать «комплексные панели», для мониторинга критических сегментов сети. В моем случае, потребовалось считать трафик с каждого порта на Mikrotik с возможностью его детализации за определенный срок (день/неделя/месяц). Dashboard настраивается под задачи определенного пользователя и может состоять из многочисленных виджетов, отвечающих за получение информации с разных устройств. Из-за простоты работы с NetFlow Analyzer можно быстро оценить сложившуюся ситуацию, получить представление о текущей нагрузке на критические участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».
С установкой данного продукта сложностей возникнуть не должно. Для теста была взята Windows 7 x64 и установлена JRE аналогичной битности. После успешной установки переходим по адресу: http://localhost:8080/netflow/jspui/dashBoard.do
По умолчанию используются эти порты:
web: 8080
NetFlow: 9996
SNMP Community: public
SNMP: 161
Галкой включаем Traffic flow
Interfaces — Имена тех интерфейсов, которые будут использоваться для сбора статистики трафика. Можно указать несколько
cache-entries (128k | 16k | 1k | 256k | 2k | … ; по умолчанию: 4k) — Количество потоков, которые могут одновременно находиться в памяти маршрутизатора.
active-flow-timeout (по умолчанию: 30 мин.) — Максимальный срок жизни потока.
inactive-flow-timeout (по умолчанию: 15 сек.) — Как долго поддерживать поток, если он неактивен. Если в этом тайм-ауте соединение не увидит пакет, то он будет помечен как новый. Если тайм-аут слишком мал, то возможно создание значительного количества потоков и переполнение буфера.
В окне Targets:
address (IP : порт) — IP адрес и порт (UDP) хоста, который получает статистические пакеты потока от маршрутизатора.
v9-template-refresh (по умолчанию: 20) — Количество пакетов, после которых шаблон отправляется на принимающий хост (только для NetFlow версии 9)
v9-template-timeout (по умолчанию: 1800 ) — Как долго отправлять шаблон, если он не был отправлен.
version (по умолчанию: 9 ) — Какую версию NetFlow использовать.
Для настройки из под терминала требуется выполнить следующие команды:
После повторного входа в меню NetFlow Analyzer должны увидеть примерно следующее:
NetFlow / sFlow Listener Port — порт, на который принимаются потоки с устройств.
WebServer Port — порт веб интерфейса.
Count Of Top Records to Store — максимальное количество строк, выводимое в таблицах с данными.
Если NetFlow Analyzer не видит ethernet портов соединенных в бридж, введите:
На этом все. Надеюсь данный материал помог вам в настройке. Если остались вопросы, пишите в комментарии.
Mikrotik – сбор и анализ NetFlow трафика
Предисловие
Когда-то давно, в далекой далекой галактике… Хотя если подумать, это было всего то 15 лет назад.
В общем были времена, когда в качестве центрального шлюза в сеть Интернет использовались решения на базе FreeBSD и Linux. И были эти решения любовно настроены, и обвешивались они всеми возможными и невозможными функциями (от межсетевого экрана и VPN серверов до TFTP+PXE-сервисов бездисковой загрузки)… и не было беды, и все было хорошо…
Но времена меняются, появляются новые решения, появляются компании, которые «дешево и сердито» готовят ядро Linux, обвешивают необходимым функционалом и продают это за весьма скромные деньги (сопоставимые со стоимостью аппаратной части).
Примером таких решения является компания Mikrotik и ее одноименные решения.
Текущие реалии
Итого текущая ситуация – купить и поставить Mikrotik в организацию, в которой от 10 до 5000 компьютеров, быстрее и экономичнее, чем брать «очередной системник» и собирать шлюз по частям (сетевухи, софт, сервисы и т.д.).
При этом задачи учета трафика как были, так и остаются. И тут на помощь приходит рядом стоящий сервер (обычно это NAS на базе Linux или FreeBSD).
Учет WEB-трафика прост и понятен – связка Squid + LightSquid позволяет просто и быстро собирать и агрегировать информации о том, кто какие сайты посещает, какие файлы качает и сколько в Youtube-е зависает. При необходимости можно и ограничить сайты, время и т.д. Простое, удобное решение, проверенное годами. В Mikrotik делается одно правило, выпускающее IP прокси-сервера в интернет. И все счастливы.
Но вот проблема – не все успешно проходит через Squid. Есть банк-клиенты, написанные без поддержки HTTP и Socks прокси. Есть сложные программы, которые для разных типов трафика используют разные соединения – итог – либо плохо работают через Proxy, либо вообще не работают. А есть отдельная категория так называемых VIP-персон… которым проще дать «Full NAT», чем обострять отношения, когда «что-то у них не открывается».
Таким образом, в Mikrotik рано или поздно, но будут появляться отдельные правила, выпускающие «особенных» напрямую через NAT, минуя прокси-сервер. И их трафик мы в статистике уже не видим.
Решение по учету такого трафика напрашивается следующее:
Настройка Mikrotik
Все просто и по документации:
Настройка Flow-Tools на примере FreeBSD
Установка и подготовка СУБД MySQL для импорта NetFlow данных
# Создаем СУБД и пользователя:
Perl-скрипт для анализа ft-* файлов статистики NetFlow и загрузки данных в MySQL
Скрипт был написан не с нуля – когда то давно, в 2005-м году на сайте OpenNET была выложена статья (ссылка) о подсчете трафика на шлюзе FreeBSD с использованием NetGraph модуля ng_ipacct.
Скрипт загрузки был взят за основу и переписан на использование с NetFlow и flow-tools. Работает как на FreeBSD, так и на Linux (только пути переписать до программ flow-cat и flow-print).
Особенности скрипта – данный вариант предназначен для анализа всех ft-* файлов за прошедшие сутки и их загрузки в базу (построчно). При этом реализовано исключение строк по нескольким шаблонам, чтобы не грузить в MySQL избыточную информацию (например, исключить широковещательный трафик, трафик DNS-запросов, трафик с HTTP/Socks прокси (благо статистика по прокси есть в другом месте). По моим замерам, исключение позволяет сократить количество загружаемых в СУБД строк в 10, а то и в 20-30 раз.
Таблицы в СУБД создаются автоматически с началом нового месяца. К стандартному NetFlow v5 формату добавляется день, время записи (используется время создаваемых ft-файлов – например, каждые 15 минут), также указывается имя источника NetFlow и имя сетевого интерфейса.
PHP UI для упрощенного построения SQL-запросов
В далеком 2005-м, когда использовались Perl-скрипты автора, для анализа данных в MySQL мы использовали SQL команды… и все всех устраивало.
Но рано или поздно настал момент, когда вводить запросы надоело. И, собравшись с мыслями, был написал небольшой PHP-код, который позволял проводить построение SQL-запросов более быстрым и простым способом.
Что позволяет сделать скрипт:
Обслуживание MySQL таблиц
Если таблицы получаются довольно большие (хотя никто Вам не мешает грузить в СУБД только то, что Вам нужно, исключая «шлак» и уменьшая размер), то есть интересный прием, позволяющий существенно уменьшить размер СУБД. Речь идет об использовании компрессии БД в формате MyISAM, а также об оптимизации индекса.
Для автоматического выполнения этих процедур был написан еще один Perl-скрипт, который первого числа каждого нового месяца запускается через Cron:
ИТ База знаний
Полезно
— Онлайн генератор устойчивых паролей
— Онлайн калькулятор подсетей
— Руководство администратора FreePBX на русском языке
— Руководство администратора Cisco UCM/CME на русском языке
— Руководство администратора по Linux/Unix
Навигация
Серверные решения
Телефония
FreePBX и Asterisk
Настройка программных телефонов
Корпоративные сети
Протоколы и стандарты
Все про трафик с Netflow на MikroTik
Разбор полетов пакетов
Полный курс по Сетевым Технологиям
В курсе тебя ждет концентрат ТОП 15 навыков, которые обязан знать ведущий инженер или senior Network Operation Engineer
Помимо мониторинга и анализа трафика, с помощью Traffic Flow, администратор может выявлять различные проблемы, которые могут появляться в сети, а также анализировать и оптимизировать общие сетевые характеристики.
Поскольку Traffic Flow полностью совместим с Cisco Netflow, то он может использоваться различными утилитами, которые разработаны для Netflow.
Traffic Flow поддерживает следующие версии Netflow:
Настройка
Итак, для того, чтобы начать собирать статистическую информацию о трафике, необходимо сначала включить Traffic Flow и определиться с каких интерфейсов осуществлять сбор. Делается это при помощи комбинации следующих команд:
После того как мы включили Traffic Flow и определились с интерфейсами, с которых хотим получать информацию о потоках, необходимо настроить хост назначения, который будет получать данную информацию (в терминологии Netflow такой хост называется коллектором). Делается это при помощи следующей команды
Пример
Рассмотрим пример конфигурации Traffic Flow на роутере Mikrotik
Допустим мы хотим собирать статическую информацию о трафике, который проходит через интерфейс ether3 нашего роутера и отправлять её на коллектор по адресу 192.168.2.123 используя 5 версию протокола. В этом случае конфигурация может выглядеть следующим образом:
Сначала включаем Traffic Flow и указываем интерфейс
Затем указываем адрес коллектора, стандартный порт и версию протокола 5:
Если Вы предпочитаете консоли утилиту WinBox, то для настройки Traffic Flow левом меню откройте пункт IP и выберите Traffic Flow, перед Вами откроется следующее окно:
Необходимо включить Traffic Flow, поставив галочку напротив Enabled и выбрать желаемый интерфейс для сбора информации.
После этого переходим на вкладку Targets и добавляем параметры коллектора, достаточно внести IP адрес, порт и версию. После этого нажимаем на кнопку Apply
После этого наш роутер начнет отправлять информацию на коллектор. Если вы хотите указать несколько коллекторов, то это можно сделать, используя разные версии протокола и номера UDP портов.
Онлайн курс по Кибербезопасности
Изучи хакерский майндсет и научись защищать свою инфраструктуру! Самые важные и актуальные знания, которые помогут не только войти в ИБ, но и понять реальное положение дел в индустрии
В данной статье мы поговорим о том, что использовать для troubleshooting в сети на оборудовании MikroTik. Речь пойдет о следующих инструментах:
Наверняка многими из них вы уже пользовались, но я попытаюсь рассказать интересные вещи, которые может смогут вам помочь в работе. Во всяком случае мы, в нашей практике ИТ-аутсорсинга, используем их регулярно
Torch
Этот инструмент используется для мониторинга трафика в реальном времени, как всего трафика, так и через конкретный интерфейс.
Доступен в winbox, cli, webfug. Находится /tool torch.
Также кроме стандартного расположения torch можно открыть через Simple Queue и в настройках интерфейса.
Хочу отметить что torch видит метки DSCP и VLAN ID.
Через CLI у torch есть некоторые дополнительные функции, например запустить его на определеное время командой duration и задать интервал обновления данных командой freeze-frame-interval.
IP SCAN
Следующий очень полезный инструмент, который я всегда использую в своей работе это ip scan.
Находится он /tool ip scan. При помощи его можно быстро просканировать сеть и примерно уяснить что в ней находится. Так же при помощи его можно сразу определить если у нас есть где-то за двоение ip адресов.
Если у микротика указаны DNS сервера по в соответствующем поле будет заполнены и имена. Так же удобно отображается в графе Time(ms) задержка. Так же он доступен и в CLI.
Sniffer
Sniffer – это инструмент, который может захватывать и анализировать пакеты, которые уходят или проходят через маршрутизатор. Находится он /tool sniffer, также от доступен и в CLI. Есть возможность сохранять dump в файл или отправлять на удалённый сервер (например в wireshark), а также просмотра в реальном времени.
На вкладке General
На вкладки Streaming включаем собственно его и указываем сервер на который будет отправляется.
На вкладки Filter задаем параметры фильтрации. После старта можно нажать на кнопку «Packets» и посмотреть результаты.
Cable test
Еще один полезный инструмент в микротике называется cable test. Доступен он в настройках интерфейса, помогает определить расстояние до обрыва таковой есть и длину кабеля
В моем примере я откусил одну пару на расстояние примерно 50 см. Мерит он не идеально +- пару метров.
RoMON
RoMON – утилита для доступа к устройствам через MikroTik находящихся в одном l2 сегменте с пограничным устройством, к которому у нас есть прямой доступ. Находится в /tool RoMON, помогает при удаленном администрировании.
Этот инструмент удобно использовать, когда по каким-либо причинам нам не хочется для настройки новых устройств за роутером использовать CLI (Mac Telnet) а хочется все делать через winbox.
Для использования этой функции нужно ее активировать как на роутере, к которому у нас есть доступ так и на тех (через Mac Telnet) которые находятся за нашем устройством. Включается оно /tool RoMON.
Все дальше подключаемся в winbox к нашему устройству через кнопку «Connect To RoMON» и в списки винбокса появятся все доступные устройства для подключения.
BandwidthTest
Есть отдельная утилита под windows. Есть общедоступные сервера которыми можно пользоваться. https://forum.mikrotik.com/viewtopic.php?t=104266
Очень удобно мерить скорость этим инструментом. Стоить также предупредить что если у вас большая скорость подключения и не очень мощное устройство (smips) то при запуске теста можно загрузить CPU на 100% и на время потерять доступ к устройству.
TrafficMonitor
И последний инструмент о котором мы поговорим это Traffic Monitor. Он используется для выполнения консольных скриптов, когда трафик интерфейса пересекает заданный порог. Находится он /tool traffic-monitor.
Его можно сравнить у утилитой «Netwatch» которая по доступности или недоступности определённого хоста выполняет какие-либо действия. Пример одного из применений, можно настроить отправку на почту уведомления если канал будет загружен на 95 % в течении 5 минут, вариантов много и примеров в интернете тоже.