Calculating traffic usage

From ISPWiki
Revision as of 14:02, 14 December 2014 by Ksenya (talk | contribs) (Processing results)
Jump to: navigation, search

Traffic collection methods

DCImanager uses the following methods to collect traffic statistics:

  • From switch poerts.
  • Using NetFlow/IPFIX.

In the "Global settings module" you can select a desired method

Global settings

If the «Enable NetFlow/IPFIX» is not selected, traffic usage information will be collected from switch ports.

Collecting statistics from switch ports

When collecting traffic usage information from switch ports, DCImanager connects to switches and runs the corresponding cron job.


The information collected is placed into the directory

/usr/local/mgr5/var/stat/raw/

The cron job starting statistics collection is called collectstat. It starts every 5 minutes by default.

NetFlow/IPFIX traffic

To activate traffic collection through NetFlow/IPFIX, select the NetFlow/IPFIX check box in the "Global settings" module and enter an IP address and port to get the information from.


NetFlow/IPFIX


After NetFlow/IPFIX is activated. DCImanager configures and activates the NetFlow collector (nfacctd).

Файл конфигурации nfacctd имеет следующий путь

/usr/local/mgr5/etc/nfacctd.conf

Configure nfacctd by default. We do not recommend that you change the nfacctd settings, as DCImanager regularly rewrites it.

Traffic usage statistics is placed into the /usr/local/mgr5/var/flow/ directory

In the nfacctd configuration file you can select a period to save statistics. The default value is 5 minutes

Once a minute DCImanager checks the /usr/local/mgr5/var/flow/ directory for new files, processes and locates them into /usr/local/mgr5/var/stat/raw/ . Information from the flow directory is deleted.

Processing results

Regardless the collection method selected, the information is placed into the /usr/local/mgr5/var/stat/raw/ directory. DCImanager processes that information once an hour. The data are placed into the DCImanager database. The files that were processed are removed from the raw directory.

Statistical information in the control panel is updated once an hour. This period is specified in the DCImanager code and cannot be changed.

Burstable

Burstable - нагрузка на канал связи - рассчитывается как набор измерений нагрузки собранных с интервалом в 5 минут. 5 % максимальных измерений отбрасывается.

Нужно учитывать, что если трафик собирается по NetFlow/IPFIX , то статистика по Burstable может быть немного искажена, так как NetFlow коллектор длинные соединения записывает в файл только по завершении соединения.

Данные для расчета burstable нагрузки берутся из диреткории

/usr/local/mgr5/var/stat/mon/

В директорию mon данные складываются из директории raw. То есть после того, как DCImanager обработал новую статистику из raw директории, данные складываются в mon директорию для расчета burstable.

Troubleshooting

Если трафик собирается по NetFlow/IPFIX, то следует проверить, что:

  • nfacctd запущен
  • в директории flow появляются файлы со статистикой (обратие внимание, что файлы в директории будут видны только очень короткий промежуток времени, так как раз в минуту DCImanager удаляет обработанные данные)
  • на указанный в глобальных настройках ip и порт прилетает трафик от NetFlow агента (tcpdump вам в помощь)

Если трафик собирается с портов коммутатора, то следует посмотреть в раздел «Коммутаторы» -> Порты, меняется ли там нагрузка раз в 5 минут. Если нагрузка не меняется, значит есть проблемы со связью с коммутатором или вообще с совместимостью панели с этим коммутатором.

Также, если для сервера установлены не верные подключения портов коммутатора (имеется ввиду Серверы -> Подключения), то трафик серверу не будет посчитан/будет посчитан не верно.


В то время, как статистика по трафику кладется в диреткорию raw, в логе панели можно видеть следующие строки:

NetFlow/IPFIX

ADD TX TRAFIX TO SERVER
ADD RX TRAFFIC TO SERVER

С портов коммутаторов

Add Stat For server 2 ip * NetFlowStat is OFF pilicy all_server

(Данные для NetFlow передаются в одном потоке, а коммутаторы передают каждый в отдельном потоке)