База на знаења

♒ Скрипты для анализа логов веб сервера

1. Что такое, как расшифровывается, что хранится в логах веб сервера апача
2. На что смотреть, что анализировать из логов веб сервера
3. Записки и систематизация скриптов анализа и обработки лог- файлов.  

Анализ логов - краеугольный наш к увеличению и скорости работы сайта, уменьшение количества ошибок. Ведь исправив пиковые элементы мы решим главные задачи - 20% времени занимают 80 процентов эффекта.

Я перерыл кучу информации в интернете в поисках программ веб-анализатора, к сожалению, что ли достойное или удобное не представилось возможным, там где что-то было интересное требование как минимум 40 $, и выше, при все рано часть вещей оставалась не освещена. Плюс при этом функционале как правило не может что то отличное от веб-аналитики, и не решает задач реальных нагрузок.

Цитаты объясняющие сложность проблемы:

ап ..

Виды логов access_ssl_log, разница access_ssl_log access_ssl_log.processed access_log.processed 

♳ I) ПРО ЛОГИ

1) access_log - лог досупа (данные за час)

• access_log
• access_ssl_log

Пример:

✎ Расшифровка:  С IP-адреса 78.25.64.74 30 октября 2015 в 13-38 дня по московскому времени запросили по протоколу HTTP / 1.0, методом GET страницу сайта "/informatsiya/zamena-na-plate.html". Успешно, о чем свидетельствует 200. Ответ занял 56996 байта. В скобках браузера и ОС: Mobile Safari - Android 2.3.6 

2) _processing - транзакции обрабатываются (в основном в нем хранятся интересные нам данные - в основном архив)

• access_ssl_log.processed
• access_log.processed  
• access_log.processed.1.gz

3) error_log - лог ошибок

•  журнал ошибок

(проблема с недостатком слотов - ошибки в скриптах в их выполнении)

_{менее интересно}

4) proxy_access_log  - фиксирует то что использует ресурсы с нашим сайтом отдельного запроса - как например:

• proxy_access_ssl_log - тоже самое только по протоколу SSL
• proxy_error_log - с кривыми запросами 

5) access_log.webstat, access_ssl_log.webstat  - нет доступа - используется скриптом статистики, нам мало интересен.

6) не интересен - xferlog_regular.processed  - записи о всех изменениях, внесенных с помощью FTP, xferlog_regular.processed - это журнал FTP-доступа к серверу.

6)  mail.log  - лог работы сервера по оправке почты - писем /

SSL-сертификат (модуль поддержки SSL в Apache)

SSL (англ. Уровень защищенных сокетов) - криптографический протокол, подразумевает более безопасную связь. Он использует асимметричную криптографию для аутентификации ключей обмена, симметричное шифрование для сохранения данных, коды аутентификации сообщений для целостности сообщений.
Протокол SSL обеспечивает защищенный обмен данных за счет двух следующих элементов:

• Аутентификация
• Шифрование

SSL использует асимметричную криптографию для аутентификации ключей передачи, симметричный шифр для сохранения сообщений, коды аутентификации сообщений для целостности сообщений.

Протокол SSL предоставляет "безопасный канал", который имеет три основных свойства:

1. Канал является частным . Шифрование используется для всех сообщений после простого диалога, который служит для определения секретного ключа.
2. Канал аутентифицирован . Серверная сторона диалога всегда аутентифицируется, а клиентская делает это опционно.
3. Канал надежен . Транспортировка сообщений включает в себя Проверка целостности.

Независимый протокол SSL является независимым от прикладного протокола. Протоколы приложений (HTTP, FTP, TELNET и т.д.) могут работать поверх протокола SSL совершенно прозрачно, т.е. SSL может согласовывать алгоритм шифрования и ключ сеанса, а также аутентифицировать сервер до того, как приложение примет или передаст первый байт сообщения. 

 ____________________________

♴ II. Основы синтаксиса и командная консоль шелл (очень похожа на MS DOC, lunix):

Для анализа нужно скачать на официальном сайте шелловский бесплатный крошечный клиент putty.exe, заходим на сервер под основным логином - паролем аккаунта

✦ dir -  листинг, просмотр текущего каталога 

✦ cd ..  - переход в предыдущий каталог;
✦ cd  -переносит вас в ваш домашний каталог

✦ Кнопка на клавиатуре  Print Screen  - для остановки вывода листингов строк, " q " и " c " - для выхода- остановки

журналы компакт-диска

Скрипты

 Вне зависимости где находимся: 

- по всем доменам - под папкам  кот * / access_log

- по всему   коту  *  (- всем логам сразу - большая нагрузка - и долго)

- по всем логам  * журнал *

-Топ пользователей по количеству процессов:
ps auxwww | awk '{print ($ 1)}' | сортировать | uniq -c | sort -n | хвост

Сколько чего запрашивается из ресурсов
ps auxwww | awk '{print ($ 11)}' | сортировать | uniq -c | sort -n | хвост

✦ -  вверх .. по ссылке ниже ..

✦ Команда  cat  (сокращенно от «concatenate») является одной из наиболее часто используемых командой в Linux Unix-подобных систем. Команда cat позволяет создать один или несколько файлов, просмотреть содержание файлов, объединить файлы и перенаправить вывод в терминал или файлы.

✦ uniq  - утилита Unix, с помощью которой можно вывести или отфильтровать повторяющиеся строки

Опции программы имеют следующие значения:
-u Выводить только те строки, которые не повторяются на входе.
-d Выводить только те строки, которые повторяются на входе.
-c  Перед каждой строкой выводить число повторений этой строки на входе и один пробел.

✦ tail  - утилита в UNIX, выводящая несколько (по умолчанию 10) последних строк из.
Ключ -n <количество строк> (или просто  - <количество строк> ) позволяет изменить количество выводимых строк

✦ sort  - UNIX ‐ утилита, выводящая сортировка
-n , --numeric-sort сравнивать численные значения строк
-r, --reverse сравнить результаты сравнения

✦ AWK  - язык построчного разбора и обработки входного потока (например, текстового файла) - рассматривает входной поток как список записей. Каждая запись делится на поля.По умолчанию разделителем записей является символ новой строки. Разделителем полей - символ пробела или табуляции. Запись поочерёдно сравнивается со всеми шаблонами, и каждый раз, когда она соответствует шаблону, выполняется указанное действие.

________________

♵ III.  Все логи

По размеру отсортированы - по мере важности - объема данных в них:

• access_log.processed
• access_log
• proxy_access_log

(в 10 раз меньше по размеру)