Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » WinRAR (часть 5)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98

Открыть новую тему     Написать ответ в эту тему

Maz



Дед Мазай
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
По вопросам лечения (кряки, патчи и т.д.), а также разблокировки архивов, обращаемся в «Варезник».
Отдельная тема по сборкам WinRAR
Предыдущие части темы: 1 | 2 | 3 | 4



 
Официальный русский сайт: win-rar.com
Официальный e-mail разработчика WinRAR (писать по-русски): dev@rarlab.com
 
Финальная русская версия 7.01 | 32-bit | 64-bit    
Финальная английская версия 7.01 | 32-bit | 64-bit
Важная информация о ссылках Список изменений
Дополнительно Коллекционный архив версий (с 1995 года) | Официальный архив (с 2002 года по FTP)

Примечание: английская бета-версия обновляется регулярно, без изменения номера версии. подробнее...
Скачать RAR для macOS, FreeBSD, Linux, Android можно здесь.

Таблица совместимости версий с различными ОС

Версия 3.62 (ru) с подарочным ключом (респект камраду elmorte)

Коллекционный архив версий WinRAR 1.54b - 7.00 (1995-2024): скачать (336.4 МБ) [обновлено 28.02.2024]

вместо F.A.Q. || альтернативные архиваторы

Почему задерживается русская версия? А при русском разработчике на языке XXX уже давно есть. Не захламляйте тему подобными вопросами.

Кому не нравится новая тема оформления - скачайте с официального сайта rarlab.com (из раздела Themes) и установите себе WinRAR Classic theme by Francesco Indrio
Стандартная (48x36). Маленькие кнопки (24x24)

В теме активно отвечает на вопросы автор архиватора Евгений Рошал! Ситуация уникальная, прошу пользоваться. :)
 
Таблицы для наглядности с соотношением размера словаря к потребляемой ОЗУ:
с ключом mcx | без ключа mcx

Всего записей: 38886 | Зарегистр. 26-02-2002 | Отправлено: 08:31 31-07-2023 | Исправлено: Loafer, 21:47 16-05-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Darth_Max

Цитата:
Флешки "умирают" раз и навсегда.

И с файловой системой проблем не бывает, раз и умерла? Видел достаточно в полуживом состоянии, кое какую информацию вытянуть удавалось, когда проблема с чем то одним - либо контроллером либо памятью. Если 2 копии, а еще лучше 3, так не нужна, а если одна то пусть будет.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 18:36 01-02-2024 | Исправлено: lelik007, 18:49 01-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Евгений, вы вроде интересовались таким, не сочтите за офф топик. Игорь Павлов представил 7-zip 24.01 бета в ней оптимизировал BLAKE2sp под SSE 4.1 и AXV2. Также SHA ускорен уже давно за счет SIMD SHA, можно посмотреть разницу с SIMD и без, за одно xxhash64 можно посмотреть, что его все хвалят.
 
В нем есть бенчмарк, процессор у вас топовый - все SIMD есть - короче, если интересно:
Скачиваем https://7-zip.org/a/7z2401-x64.exe , распаковываем, выполняем в CMD по месту, на все ядра:

Код:
 
7z b -mm=blake2sp*
7z b -mm=sha256*
7z b -mm=sha1*
7z b -mm=xxh64*
На одно ядро 7z b -mm=blake2sp* -stm1
 

Результаты будут:
BLAKE2sp:1: basic scalar code
BLAKE2sp:2: vector code for SSE4.1
BLAKE2sp:3: vector code for AVX2
SHA*: without SIMD SHA
SHA*: with SIMD SHA
А команда без * в конце делает еще другое тестирование, которое я не понимаю (пропускная способность, что ли).

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 19:26 02-02-2024 | Исправлено: lelik007, 21:22 02-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Запустил 7z b -mm=blake2sp* в виртуальной машине на 24 потока:
 

Код:
 
Method           Speed Usage    R/U Rating   E/U Effec
                 KiB/s     %   MIPS   MIPS     %     %
 
BLAKE2sp:1     8938070  2362   6199 146441   155  3667
BLAKE2sp:2    28070680  2353   4886 114978   122  2879
BLAKE2sp:3    35905421  2286   3217  73534    81  1841
 

 
Насколько я понимаю, это общая производительность для нескольких параллельных потоков данных, и ее надо делить на 3, чтобы узнать максимальную производительность для одного потока. Или делить на 6, если AVX2 реализации удалось вести вычисление Blake2sp в 4 потока CPU вместо 8.
 
Я для Blake2sp на i7-6700K пробовал _mm_i32gather_epi32, а также _mm256_i32gather_epi32 с прочими AVX2 инструкциями. Эффект был не особо впечатляющий. Но, возможно, потом надо будет перепроверить на новых процессорах.
 
Добавлено:
Вероятно, я проверял этот код:
https://github.com/sneves/blake2-avx2
Хотя сейчас уже точно не помню.

Всего записей: 2297 | Зарегистр. 29-04-2013 | Отправлено: 22:24 02-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Спасибо.
Проблема в том, что это все в попугаях измерено именно для процессора. Blake2sp у меня быстрее с SSE 4.1, в 2,5 раза чем SHA-1 (без SIMD) - а реальная команда h там же считает Blake2sp в 2 раза медленнее чем SHA-1. Я всяко мерял и с диска и с кеша. Я, конечно, про AVX2 не знаю, по-моему правильная реализация и на SSE быстрая, но результаты у вас впечатляют.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 22:55 02-02-2024 | Исправлено: lelik007, 22:56 02-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
правильная реализация и на SSE быстрая

Да. Если не ошибаюсь, Blake2sp SSE у меня дает около 5 гб/с или чуть больше.

Всего записей: 2297 | Зарегистр. 29-04-2013 | Отправлено: 00:00 03-02-2024 | Исправлено: EugeneRoshal, 00:24 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
У меня 0.9 гб/с без SIMD и 3.8 гб/с с SSE 4.1 - это замеры на 4-х ядрах с HT. Разница есть скорее из-за 6-8 полноценных ядер, на более новых CPU, чем AVX2... думается мне. А по бенчмарку с SSE 4.1 разница в 7 раз с вашим CPU.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 06:44 03-02-2024 | Исправлено: lelik007, 06:53 03-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lelik007
2 Haswell 10/20:

Цитата:
Method           Speed Usage    R/U Rating   E/U Effec
                 KiB/s     %   MIPS   MIPS     %     %
 
BLAKE2sp:1     7241105  3957   2998 118638    94  3716
BLAKE2sp:2    23618482  3957   2445  96741    77  3030
BLAKE2sp:3    48704725  3871   2576  99747    81  3124

Всего записей: 12447 | Зарегистр. 11-03-2002 | Отправлено: 06:58 03-02-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
        "Для 64гб при упаковке нужно 96 гб RAM"

Где-то уже была (вдруг я упустил) табличка или какой-нибудь график зависимости требований к оперативке от размеров словарей, или пока ещё нет?
В обоих вариантах - с использованием  -mcl и  -mcx, а также без.
Охота понимать, на какие размеры можно ориентироваться в каких условиях.

Всего записей: 17093 | Зарегистр. 04-11-2010 | Отправлено: 06:59 03-02-2024 | Исправлено: insorg, 07:02 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
Спасибо, дело в том что кода на AVX2 от разработчиков BLAKE2 нет, можно посмотреть, как выйдет код 7-zip 24 как там сделано и какие вообще есть реализации, со временем.
insorg
Да, табличка бы пригодилась, размеры словарей для стандартных размеров памяти - 16 , 32, 64 и далее.
Но, не видал такой.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 07:17 03-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
insorg
Сам по себе -mcx вроде не должен увеличивать требования к памяти при упаковке, но он автоматом включает -mcl. Так что потребление памяти должно быть одинаковым при просто -mcl и при -mcl -mcx
 
Добавлено:
lelik007

Цитата:
Но, не видал такой.

Опытным путем можно создать

Всего записей: 12447 | Зарегистр. 11-03-2002 | Отправлено: 07:24 03-02-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
В хелпе только обтекаемая формулировка.
   
 
Добавлено:
Pasha_ZZZ
Цитата:
Опытным путем можно создать  
Имхо, автор точнее сможет сказать максимальные запросы к выделяемой памяти, чем пытаться запускать вручную самому.

Всего записей: 17093 | Зарегистр. 04-11-2010 | Отправлено: 07:31 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
Слушай, надо же как BLAKE2sp от кол-ва ядер ускоряется в 6-7 раз, хотя вроде только 8 потоков заявлено максимально, думал в 2-3 раза пусть будет быстрее на новых ядрах, а оно вона как.
insorg

Цитата:
Имхо, автор точнее сможет сказать максимальные запросы к выделяемой памяти, чем пытаться запускать вручную самому.

Согласен, такое в хелпе иметь - было бы очень хорошо. Тут от размера памяти можно отталкиваться - у тебя столько то - вот такой то словарь. Иначе уж очень большая таблица будет.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 07:54 03-02-2024 | Исправлено: lelik007, 07:55 03-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
А по бенчмарку с SSE 4.1 разница в 7 раз с вашим CPU.

Я сейчас перетестировал все хэши на реальном 12900K, а не виртуалке.  
 

Код:
 
Многопоточный тест:
CRC32:12     105479337  2287   4723 108011   125  2855
CRC64         88225406  2349   3846  90343   102  2388
XXH64        250693914  2153   2980  64178    79  1697
SHA256:1       5981438  2289   5330 122021   141  3226
SHA256:2      39590389  2098   3924  82348   104  2177
SHA1:1        13365949  2231   5608 125105   148  3307
SHA1:2        43720165  2022   4220  85342   112  2256
BLAKE2sp:1     9211886  2319   6508 150928   172  3990
BLAKE2sp:2    28621600  2199   5332 117234   141  3099
BLAKE2sp:3    38889546  2288   3481  79646    92  2106
 
Один поток:
CRC32:12       6643989   100   6787   6803   131   131
CRC64          4555642   100   4679   4665    90    90
XXH64         20230680   100   5162   5179   100   100
SHA256:1        488996   100   9995   9976   193   192
SHA256:2       2473196   100   5162   5144   100    99
SHA1:1         1076040   101   9995  10072   193   194
SHA1:2         2743679   100   5363   5356   103   103
BLAKE2sp:1      696186   101  11335  11406   219   220
BLAKE2sp:2     2106266   100   8658   8627   167   166
BLAKE2sp:3     3579651   101   7282   7331   140   141
 

 

Цитата:
Спасибо, дело в том что кода на AVX2 от разработчиков BLAKE2 нет

Есть такой код:
https://github.com/sneves/blake2-avx2
Samuel Neves присутствует в списке разработчиков на https://www.blake2.net/

Всего записей: 2297 | Зарегистр. 29-04-2013 | Отправлено: 13:17 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Значит можно попробовать это код применить, так как может быть прирост скорости на 6-8 полноценных ядрах с AVX2, может i7-6700K не показал ничего, так как 4 ядра с HT было. У Павла на Haswell AVX2 с большим количеством ядер AVX2 дают существенную разницу с SSE 4.1.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 14:00 03-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Это цифры для нескольких независимых потоков данных, а нам нужно обрабатывать один поток данных.  
 
Blake2sp параллелится на 8 потоков вычислений. Если мы используем весь потенциал распараллеливания на уровне AVX2, у нас будут простаивать ядра процессора, которые могут выполнить это распараллеливание эффективнее, чем AVX2. Это Blake3 или CRC32 можно параллелить на любое количество потоков вычислений, у Blake2sp их строго 8.

Всего записей: 2297 | Зарегистр. 29-04-2013 | Отправлено: 15:16 03-02-2024
vasevase

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Потребление ОЗУ при сжатии Размер словаря    
21075.5 МБ (~20.6 ГБ) 12 ГБ    
15697.3 МБ (~15.3 ГБ) 8 ГБ    
13009.2 МБ (~12.7 ГБ) 6 ГБ    
10033.3 МБ (~9.8 ГБ) 4 ГБ    
7473.2 МБ (~7.3 ГБ) 2 ГБ    
6960.9 МБ (~6.8 ГБ) 1 ГБ    
3905.1 МБ (~3.8 ГБ) 512 МБ    
2368.3 МБ 256 МБ    
1344.8 МБ 128 МБ    
1024.8 МБ 64 МБ    
560.8 МБ 32 МБ    
320.8 МБ 16 МБ    
200.7 МБ 8 МБ    
164.8 МБ 4 МБ    
90.8 МБ 2 МБ    
53.8 МБ 1 МБ

 
WinRar 7 b1 x64, Win11 x64, max solid-сжатие, -mcx+ -mcl- -mcd- -mce-

Pasha_ZZZ, insorg

Цитата:
потребление памяти должно быть одинаковым при просто -mcl и при -mcl -mcx  

NT5.x, x86, WinRar 7 beta2 (сжатие 'максимальное'):
 
Потребление ОЗУ при сжатии Размер словаря    
2445780 КБ (~2388.4 МБ) 256 МБ    
1393844 КБ (~1361.2 МБ) 128 МБ    
1065176 КБ (~1040.2 МБ) 64 МБ    
588636 КБ (~574.8 МБ) 32 МБ    
342152 КБ (~334.1 МБ) 16 МБ    
218928 КБ (~213.8 МБ) 8 МБ    
181924 КБ (~177.6 МБ) 4 МБ    
105932 КБ (~103.4 МБ) 2 МБ    
67972 КБ (~66.4 МБ) 1 МБ

 
2445780 КБ жрёт с такими ключами:
-mcx+ -mcl- -mcd- -mce-
при solid-сжатии тестовой Wiki 557 МБ (584 229 094 байт)
{сжатие со словарями больше 256 МБ делалось на Win11 x64,
WinRar 7 x64 b1, для словарей 2 ГБ и выше также делал
несколько копий исходной Wiki, дабы не было автозанижения}.
 
2439156 КБ жрёт с такими:
-mcx- -mcl+ -mcd- -mce-
 
Так что по памяти - да, не влияет. НО [как выше писал разработчик]:
во втором случае сокращается в разы время сжатия.
Там раз в 5-8, условно. А проигрыш в размере,
если брать мой TXT - процентов пять всего: сжалось до 75506КБ = 74.7 МБ.
 
Для доп-сравнения >смотреть сюда<.
 
По сжатию тоже Евгений отвечал, вроде, перед Новым годом:
там нет чёткой «таблицы». Т.е. смотрите выше, можно прикинуть:
eсли для словаря 256 надо в 10 раз больше памяти [~2.38 ГБ],
то для "финала" уже меньше - всего в полтора. Экстраполируем.

Всего записей: 3186 | Зарегистр. 28-08-2010 | Отправлено: 16:50 03-02-2024 | Исправлено: vasevase, 12:30 05-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
vasevase
Время понятно увеличивается, но за него никто не спрашивал.
А требования к памяти при упаковке, получается, скорей не линейно изменяются, а логарифмически.

Всего записей: 12447 | Зарегистр. 11-03-2002 | Отправлено: 17:25 03-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Тут от размера памяти можно отталкиваться - у тебя столько то - вот такой то словарь. Иначе уж очень большая таблица будет.

Простой формулой не получится, там влияют сразу несколько факторов: -mcl, -mcx, размер словаря. Причем размер словаря влияет нелинейно. Таблица с учетом этих факторов действительно получилась бы большая.
 
vasevase

Цитата:
-mcx+ -mcl-

-mcx принудительно включает -mcl независимо от -mcl-. Без -mcl режим -mcx был бы слишком медленным.

Всего записей: 2297 | Зарегистр. 29-04-2013 | Отправлено: 17:51 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
У меня скорее пожелание, что бы Winrar сам правильно определял что у него есть столько памяти, на такой то словарь с mcl+/mcx+. То есть имеется 14 Гб свободной памяти, я ставлю словарь, как мне рекомендуется максимально - 6Gb с mcl+/mcx+, ничего не трогаю и система не свопится. А про AVX2 - вам виднее, конечно.
---
Хотя в моем случае - правильно определяет 16 Gb общей, 13.9 Gb свободно, 6Gb словарь с -mcl+ - 13014 Мб, даже Superfetch не включается.
Получается, память = словарь * 2 + -mcl+, наверное.

Всего записей: 2850 | Зарегистр. 13-10-2006 | Отправлено: 18:28 03-02-2024 | Исправлено: lelik007, 06:35 04-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
EugeneRoshal
Ну хотя бы тогда несколько формул... Самая важная - требуемая память в зависимости от размера словаря.
А для -mcl/-mcx, я так понимаю, достаточно некоего поправочного коэффициента?

Всего записей: 12447 | Зарегистр. 11-03-2002 | Отправлено: 07:56 04-02-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » WinRAR (часть 5)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru