пятница, 20 декабря 2013 г.

Python 3.3, Django 1.6 - def __unicode__(self) не работает, в админке выводятся [table name] object

Столкнулся с тем, что в Python3.3 и Django 1.6 в админке, не смотря на использование метода __unicode__(self) в классах моделей, не выводится имя модели. Например:
class Person(models.Model):
    name = models.CharField(max_length=100)
    def __unicode__(self):
        return self.name
В таком случае в админке выводилось Person object вместо name.
Оказывается, в Python 3 вместо метода __unicode__ отныне используется __str__.
Поэтому, заменяем __unicode__ на __str__:
class Person(models.Model):
    name = models.CharField(max_length=100)
    def __str__(self):
        return self.name
И вуаля, в админке выводятся нормальные имена персон:-)

среда, 18 декабря 2013 г.

Perl - сложение строк (конкатенация)

В языке Perl (5) для сложения строк используется оператор ".", то есть обычная точка.
Выглядит это так:
#!/usr/bin/perl

my $a = "Двадцать";
my $b = " негритят";
my $c = $a . $b;
print "$c\n";
                 

Результат следующий:
> perl test.pl
Двадцать негритят
Вот и всё, всё очень просто.

вторник, 17 декабря 2013 г.

Exim - моя подборка полезных команд Exim (exim4). Роутинг, работа с очередью, статус и так далее.

1. Проверяем, что нет ошибок в файле (файлах) конфигурации Exim, то есть что всё верно настроено (валидация конфига, короче):


# exim -bV
Exim version 4.80 #2 built 02-Jan-2013 18:59:17
Copyright (c) University of Cambridge, 1995 - 2012
(c) The Exim Maintainers and contributors in ACKNOWLEDGMENTS file, 2007 - 2012
Berkeley DB: Berkeley DB 5.1.29: (October 25, 2011)
Support for: crypteq iconv() IPv6 PAM Perl Expand_dlfunc GnuTLS move_frozen_messages Content_Scanning DKIM Old_Demime
Lookups (built-in): lsearch wildlsearch nwildlsearch iplsearch cdb dbm dbmjz dbmnz dnsdb dsearch ldap ldapdn ldapm mysql nis nis0 passwd pgsql sqlite
Authenticators: cram_md5 cyrus_sasl dovecot plaintext spa
Routers: accept dnslookup ipliteral iplookup manualroute queryprogram redirect
Transports: appendfile/maildir/mailstore/mbx autoreply lmtp pipe smtp
Fixed never_users: 0
Size of off_t: 8
Configuration file is /var/lib/exim4/config.autogenerated
В выводе можно найти версию Exim, то, что он поддерживает и имя конфигурационного файла, который был проверен.

2. Валидация email адреса:


# exim -bv scukonick@gmail.com
scukonick@gmail.com verified

3. Отправка письма и отладка этой отправки

Используйте эту команду, чтобы отправить с помощью Exim письмо на определённый адрес и получить подробную информацию по тому, как Exim обработал это письмо (курсивом выделен текст письма, его надо вбить самому):
# exim -v scukonick@gmail.com
LOG: MAIN
cwd=/etc/exim4 3 args: exim -v scukonick@gmail.com
Subject: test

Hey, my message
.

LOG: MAIN
<= root@aptrack.co U=root P=local S=312 T="test"
root@m5:/etc/exim4# LOG: MAIN
cwd=/var/spool/exim4 4 args: /usr/sbin/exim4 -v -Mc 1VpioC-00036Q-NT
delivering 1VpioC-00036Q-NT
Connecting to gmail-smtp-in.l.google.com [2a00:1450:400c:c05::1b]:25 ... connected
SMTP<< 220 mx.google.com ESMTP fb7si2984260wjc.173 - gsmtp
SMTP>> EHLO mydomain.com
SMTP<< 250-mx.google.com at your service, [2a00:1a48:7806:117:fc8f:1b4a:ff08:4c93]
250-SIZE 35882577
250-8BITMIME
250-STARTTLS
250-ENHANCEDSTATUSCODES
250-PIPELINING
250 CHUNKING
SMTP>> STARTTLS
SMTP<< 220 2.0.0 Ready to start TLS
SMTP>> EHLO mydomain.com
SMTP<< 250-mx.google.com at your service, [2a00:1a48:7806:117:fc8f:1b4a:ff08:4c93]
250-SIZE 35882577
250-8BITMIME
250-ENHANCEDSTATUSCODES
250-PIPELINING
250 CHUNKING
SMTP>> MAIL FROM: SIZE=1345
SMTP>> RCPT TO:
SMTP>> DATA
SMTP<< 250 2.1.0 OK fb7si2984260wjc.173 - gsmtp
SMTP<< 250 2.1.5 OK fb7si2984260wjc.173 - gsmtp
SMTP<< 354 Go ahead fb7si2984260wjc.173 - gsmtp
SMTP>> writing message and terminating "."
SMTP<< 250 2.0.0 OK 1386526199 fb7si2984260wjc.173 - gsmtp
SMTP>> QUIT
LOG: MAIN
=> scukonick@gmail.com F= P= R=outgoing_alerts T=remote_smtp S=325 H=gmail-smtp-in.l.google.com [2a00:1450:400c:c05::1b]:25 X=TLS1.2:RSA_ARCFOUR_SHA1:128 CV=no DN="C=US,ST=California,L=Mountain View,O=Google Inc,CN=mx.google.com" C="250 2.0.0 OK 1386526199 fb7si2984260wjc.173 - gsmtp" QT=12s DT=0s
LOG: MAIN
Completed QT=12s

4. Проверка роутинга письма (простая)

Проверяем, куда, через какие acl, роутеры, транспорты  и т.д. пройдет письмо. При этом само письмо не будет отправлено.
# exim -bt scukonick@gmail.com
scukonick@gmail.com
router = outgoing_alerts, transport = remote_smtp
host gmail-smtp-in.l.google.com [2a00:1450:400c:c05::1a] MX=5
host gmail-smtp-in.l.google.com [173.194.66.26] MX=5
host alt1.gmail-smtp-in.l.google.com [2a00:1450:400c:c05::1b] MX=10
host alt1.gmail-smtp-in.l.google.com [173.194.70.27] MX=10
host alt2.gmail-smtp-in.l.google.com [2a00:1450:4008:c01::1a] MX=20
host alt2.gmail-smtp-in.l.google.com [173.194.69.27] MX=20
host alt3.gmail-smtp-in.l.google.com [74.125.143.26] MX=30
host alt4.gmail-smtp-in.l.google.com [173.194.79.26] MX=40

Видно, что будет использован router outgoing_alerts, транспорт remote_smtp.Разумеется, в вашем конкретном случае роутер и транспорт могут быть (и скорее всего будут) другими.

5. Проверка роутинга письма с дебагом

Точно такая же проверка, как предыдущая, однако будет выведена куча дополнительной информации. То, что дополнительно будет выводиться, настраивается в параметре -d. Значения можно посмотреть в man exim, секция про параметр -d. Например, -d+all - выведет всё, что только можно.
# exim -bt -d+all scukonick@gmail.com
Я тут даже не буду приводить вывод этой команды, потому что  он ну уж очень большой. Однако это команда весьма полезна, когда вы пытаетесь разобраться, почему письмо отправляется куда-то вообще не туда и не тому:-)

Полезные команды MySQL

Моя подборка полезных команд для MySQL.

Узнать размер базы данных

SELECT table_schema "DB Name",
Round(Sum(data_length + index_length) / 1024 / 1024, 1) "DB Size in MB"
FROM   information_schema.tables
GROUP  BY table_schema
ORDER BY Round(Sum(data_length + index_length) / 1024 / 1024, 1) DESC;

Выводим 15 наиболее фрагментированных таблиц

SELECT CONCAT(TABLE_SCHEMA, ":",TABLE_NAME) AS TABLENAME, 
ROUND(DATA_FREE * 100/ DATA_LENGTH,1) AS FRAG_PERCENTAGE 
FROM information_schema.tables 
ORDER BY FRAG_PERCENTAGE DESC
LIMIT 15;
где FRAG_PERCENTAGE - соотношение свободного места в таблице к занятному.
Стоит заметить, что этот метод не работает, когда вы используете InnoDB таблицы без включенной опции innodb_file_per_table. Когда эта опция выключена, все таблицы innodb хранятся в одном файле: /var/lib/mysql/ibdata1. В таком случае результат будет одинаков для всех таблиц. Дефрагментация в данном случае тоже поможет, все таблицы и индексы будут упорядочены в этом файле, однако файл ibdata1 всё равно будет занимать столько же места, сколько и до дефрагментации (просто свободное место в нём будет упорядочено и аккуратно размечено:) ).
Чтобы можно было получать адекватные значение по каждой InnoDB таблице, надо выполнить следующее:
  • Сделать дамп всех баз
  • Включить опцию innodb_file_per_table
  • Удалить файл /var/lib/mysql/ibdata1
  • Залить обратно дамп
Ниже более интересная команда:

Выводим 15 наиболее фрагментированных таблиц, их размер и движок

SELECT CONCAT(TABLE_SCHEMA, ":",TABLE_NAME) AS TABLENAME,
ROUND(DATA_FREE * 100/ DATA_LENGTH,1) AS FRAG_PERCENTAGE,
ENGINE , (DATA_LENGTH+INDEX_LENGTH)/(1024*1024) AS "SIZE (MB)" 
FROM information_schema.tables 
ORDER BY FRAG_PERCENTAGE DESC 
LIMIT 15;

Дефрагментируем таблицы

Для этого достаточно выполнить команду:
OPTIMIZE TABLE tablename
где tablename - название дефрагментированной таблицы. Стоит заметить, что для InnoDB таблиц OPTIMIZE TABLE - всего лишь обертка для ALTER TABLE tablename ENGINE="INNODB", которая перестраивает таблицу и оптимизирует индексы.

четверг, 12 декабря 2013 г.

Защищаем Apache2 от SlowLoris DDoS


Что такое SlowLoris

У вас случалось такое, когда на сервере нагрузки нет, свободной памяти достаточно, и при этом ваш сайт не открывается?
Если при этом на статусной страничке апача все треды в состоянии R (reading), весьма вероятно, что вы находитесь под атакой SlowLoris.
SlowLoris означает, что злоумышленники открывают множество коннектов к серверу, однако не посылают много-много запросов, а, наоборот, посылают один и медленно-медленно. В таком случае серверу не остается ничего другого, кроме как ждать, когда же вы запрос наконец придёт. А он всё не приходит и не приходит.
В результате все треды (или потоки) апача заняты тем, что ждут, когда же всё-таки запрос придёт.

Nginx перед или вместо Апача

Nginx атаке SlowLoris практически не подвержен. Конечно, у него есть лимит открытых соединений, который по дефолту довольно маленький, однако его можно увеличивать практически безболезненно для системы. Не забывая, конечно, при этом увеличивать значение worker_rlimit_nofile. 
Однако иногда бывает, что по каким-то причинам Нжинкс перед Апачем не поставить. Делать нечего, надо отбиваться другими силами.

Так и как бороться?

Я для этой цели написал небольшой скрипт, который делает следующее:

  1. Выбираем из /server-status список PID'ов процессов апача, которые заняты чтением (reading).
  1. Из вывода netstat смотрим, с каких IP идут коннекты
  1. Баним эти IP
#!/bin/bash
date >> /tmp/banned
lynx -dump  localhost/server-status | grep reading | awk '{if ($6 > 10 ) print $2}' > /tmp/processes
for pid in `cat /tmp/processes`; do
        IP=`netstat -ntp | grep EST| grep $pid | awk '{print $5}' | cut -d: -f1`;
        echo $IP >>  /tmp/banned
        iptables -t raw -I PREROUTING -s $IP -j DROP 2>/dev/null
done
И запускаем этот скрипт по крону раз в сколько-то минут.
Для его работы необходим lynx, который можно установить командой:
$ sudo aptitude install lynx
Не забудьте включить mod_status у апача. В моём случае он отвечает на localhost/server-status.