lelik007
Silver Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Евгений, а я хотел бы привлечь ваше внимание к вопросу, который некоторые пользователи уже поднимали здесь, но не совсем понятно объясняли, на мой взгляд, что они именно имели ввиду.
А именно - вопрос высокоскоростной поточной архивации - то есть, получается, непрерывной, или -m1 -s - достаточно актуальный вопрос в современных реалиях, кстати, те же методы используются в ряде случаев для прозрачного архивирования средствами FS. Я догадываюсь, что данную проблему не удастся скорее всего решить в рамках текущего формата архива - RAR5, но хотел бы мотивировать к ознакомлению и разработке в будущем более современного метода для -m1 -s
---
На основании изложенного выше, я хотел бы вам предложить ознакомится с уже имеющимися наработками в этой области, а именно ZStandard aka ZSTD - как наиболее лично мне знакомому, т.к. с Brotli, я не так сильно знаком и этот метод имеет гораздо меньшее распространение. Лучше самому увидеть, я считаю, в этом случае. Ориентироваться я буду на свой личный опыт.
Программу можно взять https://github.com/facebook/zstd/releases/tag/v1.5.5 - а так как формат не предусматривает хранения более 1 файла в архиве, понадобится встроенный в Windows 10 и 11 tar.
Код:| tar cfv file.tar folder => получим архив .tar |
Далее, я использую достаточно простую команду не смотря на высокую степень кастомизации предоставленную автором.
Код:| zstd.exe -12 --long=31 -T6 -v file.tar |
Что это значит:
- 12 - максимальный уровень архивации, который я использую, еще использую уровни сжатия 8, 10; можно их попробовать, они еще быстрее, а после -12 идет значительное замедление и это не те уровни ради которых пишется этот пост.
--long=31 - размер словаря, тоже максимальный = 2 Гб для x64, --long=30 = 1 Гб - максимальный для x32, дефолтный --long=27 = 128 Мб, автоподбор имеется, от использования большего словаря сильно улучшается сжатие и скорость.
-T6 - кол-во потоков, без указания -T = однопоточная архивация, -T0 = максимальное кол-во потоков и при указании данного ключа загрузка процессора обычно составляет 100%, что не всегда нужно, я сам использую -TMax-2, хотя даже в 1 поток будет быстро, увеличение числа потоков однозначно увеличивает требования к памяти.
---
Данный метод крайне рекомендую к ознакомлению и самостоятельному тестированию на любых данных, т.к. посты в стиле ZSTD хороший или плохой уже имеются и думаю продолжатся, а так вы будете в курсе к чему вообще это.
А именно быстрые уровни архивации я считаю наиболее перспективным направлением развития архивации в будущем.
Добавлено:
Забыл написать, что уровни сжатия ZSTD 2-4 (6 в совсем крайнем случае) - рекомендуются самим автором как раз для прозрачного сжатия или же передачи информации по скоростному каналу с архивацией в режиме реального времени, а уровни 13-22, используются для хранения данных, но последнее RAR5 сам и так прекрасно умеет, а во многих случаях еще и лучше, время на tar не нужно тратить. |
Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 12:10 20-02-2024 | Исправлено: lelik007, 20:01 21-02-2024 |
|
