Twitter опубликовал код своих дополнений и улучшений к MySQL

Twitter опубликовал ¹¹ код своих улучшений и дополнений к MYSQL, развиваемых в рамках ветки Twitter MYSQL 5.5. Сейчас СУБД MYSQL продолжает применяться в качестве основного хранилища данных в Twitter, к примеру, в MYSQL хранятся именно твитты, пользовательские данные, информация о сроках, связях и интересах. В ходе роста сервиса и повышения требований к масштабируемости, разработчикам из компании Twitter пришлось внести ряд улучшений и изменений в MYSQL, которые поддерживались в рамках внутреннего форка данной СУБД. Теперь все наработки, связанные с данным форком, открыты и доступны для интеграции в сторонние проекты и основную кодовую базу MYSQL. Созданный в Twitter код открыт под лицензией BSD (MYSQL распространяется под лицензией GPL).

Из возможностей, добавленных фирмой Twitter, возможно подчеркнуть:

Бонусные переменные для оценки состояния СУБД и внутренних параметров INNODB. Переменные позволяют организовать расширенный и более эффективный мониторинг работы СУБД, более точно оценить поведение в условиях реальной нагрузки. К примеру, представлена информация об открытии и закрытии файлов, количестве выявленных deadlock, идентификаторов последовательностей бинарного лога;

Оптимизация распределения памяти при работе на крупных системах на базе архитектуры NUMA: полное выделение памяти для буферов INNODB производится на этапе запуска; более быстрая обработка ситуации нехватки памяти; обеспечение предсказуемой производительности в каждое время, даже в условиях дефицита свободной памяти;

Сокращение лишней работы за счёт расширения средств управления таймаутами на стороне сервера. В том числе, реализована возможность принудительного прекращения исполнения запросов, которые выполняются дольше указанного таймаута;

Помощь быстрого и надёжного экспорта и загрузки содержимого пула буферов INNODB, что дает возможность обеспечить моментальный разогрев базы после перезапуска и свести к минимуму негативные эффекты при потребности остановки сервисов;

Оптимизация MYSQL для SSD-накопителей, в частности реализация нового способа сброса буферов и сокращение количества операций записи в ходе работы.

Помимо того, на предстоящей конференции Percona Live MYSQL, которая состоится 12 апреля, Twitter собирается представить открытый фреймворк Gizzard, предназначенный для организации шардинга данных поверх неоднородного распределённого кластера серверов MYSQL. Фреймворк дает возможность автоматизировать процессы распределения набора данных по серверам на базе определенного ключа (партицирование) и обеспечить нужный ур. резервирования за счёт репликации одного набора данных на несколько серверов. Система тоже поддерживает методы разрешения конфликтов и средства восстановления в случае сбоя в работе отдельных узлов.