Instantvideo - что если больше 100к роликов?

Опубликовано:
Блог: ph3no
Редактировалось: 2 раза — последний 14 августа 2018
Просмотров: 1874
Настроение: Отличное
Играет: Joonas Hahmo – Fusion (Maor Levi Remix)
+5
Голосов: 5

Этот пост я писал в коменте в одном из блогов на оф сайте. Да он так там и затерялся.

Испытал проблему с компонентом, когда роликов перевалило за 100к. Начались жжууткие тормоза сервера. Как оказалось, всему виной - файловая система ext3, которая не способна нормально работать если папках (у нас

/upload/video/thumbs/

medium

и /upload/video/thumbs/

small

) находится более 100к файлов.

Что я сделал:

Создал в /upload/video/thumbs/

medium

и /upload/video/thumbs/

small

папки

youtube

и

rutube

, и в каждой из них, создал еще папки: 1,2,3,4,5,6,7,8,9,0,a,b,с,d,e,f, в которые уже сортировал файлы картинок по именам rutube_1*.jpg, rutube_2*.jpg.... rutube_f*.jpg, и соответственно также для ютуба.

На сортировку файлов, ушло около получаса, т.к файловые менеджеры читают не только все заголовки, но еще и дополнительные параметры файлов (вес, разрешение). При открытии папки, компутер иногда просто зависал на 10 секунд:)

Затем в каждую папку

/upload/video/thumbs/

medium

/

/upload/video/thumbs/

small

/

Положил файлы .htaccess соответственно с текстом

Код PHP:

Код PHP:
  1. RewriteEngine On
  2. RewriteBase /upload/video/thumbs/medium/
  3. RewriteCond %{REQUEST_FILENAME} !-d
  4. RewriteRule ^([0-9a-z]+)_([0-9a-z]{1})(.*).jpg$ $1/$2/$1_$2$3.jpg [L]

и

Код PHP:

Код PHP:
  1. RewriteEngine On
  2. RewriteBase /upload/video/thumbs/small/
  3. RewriteCond %{REQUEST_FILENAME} !-d
  4. RewriteRule ^([0-9a-z]+)_([0-9a-z]{1})(.*).jpg$ $1/$2/$1_$2$3.jpg [L]

Сделал на всякий случай оптимизацию базы данных и проблема решилась.

Сейчас на одном из проектов около 400к роликов, полет отличный.

Теги: instantvideo
Комментарии (11)
Gorec #
: +1
мне вот интересно какова посещаемость вашего сайта при таком количестве роликов, и как вы успели столько роликов добавить?
ph3no #
: +2
Посещаемость с таким количеством страниц не густа, ожидал большего, скачет 10-20к.

По добавлению: например у рутуба -- можно спарсить ID роликов, благо они уже рассортированы пользователями по тематикам, а затем успешно произвести импорт (там где вводишь через запятую). Наполнение не очень быстрое, если не изменяет память, суток двое-трое наполнялись категории.

Могу отправить вам его на почтовый ящик.
Letsgo #
: +2
Если нетрудно отправьте, спасибо за пост. Хорошее изменение.
Gorec #
: +1
Отправьте. А вот посещаемость наверняка зависит от описания видео роликов.
Gorec #
: +1
Вы таки не отправили его мне на почту smile забыли или передумали?
ph3no #
: +3
В моих файлах смотрите.
На самом деле не жалко, т.к это самая первая версия парсера и я уже давно использую другие наработки.
Letsgo #
: 0
А давайте я вас введу в закрытый клуб развития сайтов. Там вы поделитесь и наши разработки узнаете)
ph3no #
: 0
Да, был бы признателен, внесу что-нибудь в копилку идей.
Gorec #
: 0
для какой версии видео она подходит?
Letsgo #
: 0
судя по всему для любой.
Polder #
: +1
Хороший парсер, спасибо.. я думаю пригодится ;)

Голосуем

Самый нужный компонент