Дешевле, надёжнее, проще: хранение петабайтов видео и фото в Одноклассниках

День 2 / 17:15  / Зал 4  / Язык: RU

Технический прогресс позволил нам снимать Full HD или даже 4К видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни ГБ/с, а это, в свою очередь, требует инфраструктуры, состоящей из тысяч дисков и сотен серверов.

Ранее для обеспечения требуемого уровня надёжности хранения данных и отказоустойчивости мы были вынуждены хранить 3 реплики данных, по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставили нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью делать это дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов.

Доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделимся опытом эксплуатации системы с тысячами дисков. Расскажем о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.



Александр Христофоров

Александр Христофоров, Одноклассники

Родился в 1979 году. Окончил Рижский Технический Университет. Работает программистом с 1998 года, начал писать на Java в 2000 году. В Одноклассниках с 2009 года работает ведущим разработчиком в команде платформы. В Одноклассниках в основном занимался разработкой и внедрением хранилищ данных, а также принимал участие в создании и развитии различных сервисов, таких как API, видео, лента, музыка.


Контакты

tickets@jokerconf.com
Билеты
tickets@jokerconf.com
program@jokerconf.com
Программа конференции
program@jokerconf.com
sponsors@jokerconf.com
Спонсоры
sponsors@jokerconf.com
partners@jokerconf.com
Партнеры
partners@jokerconf.com