Масштабируемость файловой помойки

Главные вкладки

Аватар пользователя JKey JKey 8 марта 2011 в 23:40

Доброй ночи ALL не идет сон, мучает вопрос Smile
Вот при загрузке файлов можно включить опцию FileField path в которой указать куда закачивать файлы с токенами и т.п.

Но вот что-то догнать не могу, а как это потом можно маштабировать ?

Т.е. скажем винт же не резиновый , и допустим закачено уже под завязку , как всегда "все надо", и вот как нарастить емкость чтобы работало дальше ? или потребуется брать напильник и тщательно обрабатывать ?

Комментарии

Аватар пользователя Ильич Рамирес Санчес Ильич Рамирес Санчес 8 марта 2011 в 23:56

"JKey" wrote:
Но вот что-то догнать не могу, а как это потом можно маштабировать ?

в пхп можно свой обработчик для работы с файлами написать для fopen fclose
а в 7ке вроде как это как-то задействуется. сам еще не курил но так пнял можно переливайку на удаленный сервер для хранения учинять.
разберетесь - расскажите. тоже будет нужно но руки не дошли. Smile

еще как вариант - по крону раскиывать файлы по сервакам хранения + доп. обработчики при показах. но это очень грубо.самому будет нужна такая фича - картинке на поддомен. позже

Аватар пользователя Alex Bacart Alex Bacart 9 марта 2011 в 10:34

Например у меня веб сервак с сайтом размещаются на диске D, когда место начнет заканчиваться куплю терабайт поставлю в сервак и назначу ему букву D, затем путем простого копипаста перекину все на него...
Но до этого еще ооой как далеко )))

Аватар пользователя Ильич Рамирес Санчес Ильич Рамирес Санчес 9 марта 2011 в 11:09

"Vydrin_AP" wrote:
Например у меня веб сервак с сайтом размещаются на диске D, когда место начнет заканчиваться куплю терабайт поставлю в сервак и назначу ему букву D, затем путем простого копипаста перекину все на него...
Но до этого еще ооой как далеко )))

coungratulations. you're an idiot.
Человек спрашивает про возможность масштабируемости системы хранения "вширь". может он на облаке захочет файлы держать - что при стоимости хранения может даже выгодно.

Аватар пользователя vitg vitg 9 марта 2011 в 11:12

А еще можно прикупить жесткий и примонтировать его в любую директорию (linux). Вот вам и масштабируемость.
Все операции чтения/записи контролируются ОС.

Аватар пользователя Ильич Рамирес Санчес Ильич Рамирес Санчес 9 марта 2011 в 11:30

"vitg" wrote:
А еще можно прикупить жесткий и примонтировать его в любую директорию (linux). Вот вам и масштабируемость.
Все операции чтения/записи контролируются ОС.

а еще могут кончиться слоты на жесткие диски. а еще сетевуха одного конкретного писюка может перестать справляться с потоком данных.
я кстати сам хочу темку изучить потому как в этом аспекте например все будет решаться докупкой еще одного VPS за пару-тройку десятков баксов под файлы.

Аватар пользователя JKey JKey 9 марта 2011 в 11:56

Да, резюмируя предварительно - правильно понял только Санчес ))))

"Ильич Рамирес Санчес" wrote:
Человек спрашивает про возможность масштабируемости системы хранения "вширь".

Интересует именно расширения вширь с выделением отдельных серверов под "файловые помойки".
Пришел к выводу, после сна ))), что данный компонент не сможет работать (?) при таком масштабировании. Данный компонент эффективен если мы в пределах одного физического сервера пока разъемов для дисков не хватит.
Нужен другой, или брать крупный напильник и обрабатывать этот.

"vitg" wrote:
А еще можно прикупить жесткий и примонтировать его в любую директорию (linux). Вот вам и масштабируемость.

Во первых:
зависит от того как организованно хранение:
если у меня указан путь ( для примера): /usr/www/drupal/sites/all/files то такое решение невозможно. ибо
как на одну точку монтирования смонтировать n-цать винтов ?

но если мы поменяем структуру хранения например на такую: /usr/www/drupal/sites/all/files/[nid]
тогда - да мы сможем монтировать новые винты. пока не кончаться разъемы под них. но потом ?
А во вторых:

"Ильич Рамирес Санчес" wrote:
а еще могут кончиться слоты на жесткие диски. а еще сетевуха одного конкретного писюка может перестать справляться с потоком данных.

с другой стороны щас подумываю, а если примонтировать nfs ?

то перспективы вроде ого-го ! Smile то что доктор прописал. И напильник не понадобиться.. вроде как...
тогда по идее должно работать с со штатным fileField path Smile

Аватар пользователя Ильич Рамирес Санчес Ильич Рамирес Санчес 9 марта 2011 в 12:19

"JKey" wrote:
примонтировать nfs ?

"просядет" по производительности хорошо при копировании/отдаче

есть еще вот такая темка про сохранение файлов http://ru.php.net/manual/en/wrappers.php
они отвечают за работу fopen и остальной компании при открытии файлов по URL.

и вроде как 7ка ее таки может задействовать - если мне склероз не изменяет. вот я про что

самому интересна тема враппера который будет именно пулять файло на удаленный сервер.