kinglear Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору пока всем спасибо, переварю информацию,- отпишусь если возникнут вопросы   Добавлено: всем спасибо - пока поперевариваю, потом поделюсь, что получилось Всего записей: 23 | Зарегистр. 06-03-2008 | Отправлено: 10:12 11-03-2008

KChernov Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору akaGM Цитата: а вот постоянно отслеживать появился/изменился ли конкретный файл... прямо скажем -- тяжеловато, т.е. грубовато... Это почему? А то меня вообще есть идейка сделать такой интерфейс к счетной части, но мб я чего не понимаю?.. Задача простая - надо провести поисковое исследование - соответственно надо много раз запускать одну и ту же программу для расчета с разными параметрами, чтобы потом анализировать результаты. Вариант запуска этой проги аля демон/сервис со скармливанием заданий и последующим анализом насчитанных результатов до сих пор кажется мне хорошей идеей. По идее это некая реализация архитектуры сервера сообщений. Или это можно как-то лучше организовать?   Цитата: проще в обычном батче с ветвлениями последовательно всё запустить... Это можно, если заранее известны все варианты, с которыми надо обсчитывать. Иначе придется править батник (а для этого либо прерывать счет, если все совсем неправильно, либо ловить момент окончания расчета - чтобы минимизировать простой компа).   Цитата: сказал бы... а то я потихоньку голову всё ломал...   Сори, я как-то не подумал   kinglear Советую сначала написать спецификацию данных, которые хочется отдать на варьирование пользователям. А уже на ее основе смотреть, хватит им расширенного файла с параметрами, или все таки гуй надо ваять. Всего записей: 2471 | Зарегистр. 20-04-2004 | Отправлено: 16:15 11-03-2008

FuzzyLogic Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата:  патаму! потому что мне это не нравится... потому что я это не знаю... потому что меня задолбали эти серверы сообщений матлабо/математические со своими висючими кернелами... и вообще, надо запускать такие задания на гриде/кластере, а самому на этой ... винде игрушки гонять/мувиё смотреть...   +1    извините, не смог сдержаться   KChernov А можно описать чуть более подробно что хочется сделать? Зачем "править батник"? Или следующий счёт как-то зависит от результатов предыдущего?   А вообще реализовывать клиент/сервер общаясь через файлы дело более геморройное чем кажется. Да и зачем? Если всё что нужно это управляющая программа (батник или что угодно ещё).   Цитата:  Вариант запуска этой проги аля демон/сервис со скармливанием заданий... А смысл демона? Скармливать задания будете как? Запуская какую-то команду которая даёт задание сервису, а тот в свою очередь запускает счёт? Почему просто не запустить счёт? Зачем чтобы ещё что-то постоянно крутилось и чего-то там ждало?   Если хочется чтобы была очередь заданий которую можно было бы пополнять, то зачем огород городить? Возьмите готовое, тот же PBS, простенько и со вкусом. Минимум настроек, но работает.   kinglear Лично я являюсь сторонником такого подхода: разработать нормальную структуру входных данных, разбить это на несколько файлов или оставить в одном, в зависимости от потребностей. Аналогично с выходными - сделать определённый стандарт, может даже с вариантами (у меня модели в зависимости от входного параметра генерят либо TecPlot, либо shape файлы для GIS, либо NetCDF) а потом уже пишите ГУЙ который будет: 1. Генерить файлы входных данных в зависимости от того что хочет пользователь 2. Окучивать выходные Таким образом вы сохраните относительную независимость кода от гуя, особенно если выбрать в качестве выходных данных что-нить стандартное вроде NetCDF, то вы в дополнение к своему гую сможете пользоваться ещё сотней разных софтин, что может оказаться крайне полезно как для расширения кругозора, так и для дебага (кто сказал что ваша софтина всё правильно рисует? )       Добавлено: И вообще засовывая всё в один "exe" вы существенно ограничите портабабельность вашей программы. Стандартный фортран обычно с некоторыми усилиями компилится практически на любой платформе, чего нельзя сказать про разнообразные гуёвые библиотеки. Всего записей: 1920 | Зарегистр. 27-07-2002 | Отправлено: 20:19 11-03-2008 | Исправлено: FuzzyLogic, 20:22 11-03-2008

KChernov Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору FuzzyLogic Цитата: Возьмите готовое, тот же PBS, простенько и со вкусом Это оно? Только не нашел, где его можно скачать и есть ли оно под вин   Цитата: А смысл демона? Скармливать задания будете как? Запуская какую-то команду которая даёт задание сервису, а тот в свою очередь запускает счёт?   Созданием файла с зданием в папке.   Цитата: Почему просто не запустить счёт? Эффективнее не вести расчеты параллельно. А в ручную отслеживать не хочется.   Цитата: Зачем чтобы ещё что-то постоянно крутилось и чего-то там ждало? Ну интерактивные приложения постоянно так работают и ничего.   Цитата: А вообще реализовывать клиент/сервер общаясь через файлы дело более геморройное чем кажется Вообще-то это не клиент-сервер.   Цитата: Если всё что нужно это управляющая программа (батник или что угодно ещё).   Вообще-то это разные веши: уровень вычислителя, уровень управляющей программы и уровень обслуживания очереди сообщений   Цитата: А можно описать чуть более подробно что хочется сделать? Нужно автоматизировать исследовательский расчет. Обязательное условие - отдельная задача считается за ощутимое время - то есть просто сидеть за компом и интерактивно работать  не получится. Соответственно такая очередь позволит задействовать компьютер 24*7.   Цитата:  Зачем "править батник"? Или следующий счёт как-то зависит от результатов предыдущего?   Анализ уже полученных результатов может привести к разным заключениям: 1. счетные задачи были поставлены неправильно/некорректно/просто появилась новая более правильная постановка (ну в этом случае можно все остановить и запустить заново) 2. определенные счетные задачи требуют уточнения/пересчета - формируются новые и ставятся в очередь 3. появилась потребность в обсчете вариантов, которые ранее не предполагалось обсчитывать Всего записей: 2471 | Зарегистр. 20-04-2004 | Отправлено: 17:06 12-03-2008

FuzzyLogic Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата:  Вообще-то это не клиент-сервер.   Теперь уже понял, конечно если всё что надо это запускать задание и по окончании подбирать из папки очередное или висеть и раз в минуту проверять не положили ли туда ещё чего, и всё это вертится на одной win машине, то смысла в PBS и прочих тут нет. Это пишется за полчаса на чём угодно. Я просто себе немного иначе представлял задачу. Всего записей: 1920 | Зарегистр. 27-07-2002 | Отправлено: 19:48 12-03-2008

KChernov Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору FuzzyLogic Цитата: висеть и раз в минуту проверять не положили ли туда ещё чего, и всё это вертится на одной win машине Что-то типа того. В принципе так и по сети можно. Но о кластерах речи нет - нету у нас такого оборудования Всего записей: 2471 | Зарегистр. 20-04-2004 | Отправлено: 14:39 13-03-2008

terminat0r Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору KChernov Цитата: Но о кластерах речи нет - нету у нас такого оборудования Если захотеть- можно очень быстро сделать это даже на коленке с обыкновенных машин. Самое главное при этом- однотипный хардвер и надежные! быстрые! сетевые карточки. Инсталлируется линукс на фронтэнде (это- где монитор будет подключен- и связь с внешним миром ), зеркаллим на другие (или настраиваем сетевую загрузку с фронтэнда- тоже вариант) и настраиваем локальную сеть и пбс (например TORQUE). После настройки не забываем сделать себе одну зеркальную копию ос узла или хотя бы /etc. Все. Ах, как всегда забыл что-то важное Очень важно ставить по две сетевые на узел- одна для межузельного сообщения- другая для прямой связи с фронтэндом (с диском). Ну и рейд на фронтэнде тоже не помешает.     Всего записей: 2084 | Зарегистр. 31-03-2002 | Отправлено: 16:05 13-03-2008 | Исправлено: terminat0r, 17:05 13-03-2008

FuzzyLogic Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору terminat0r Цитата:  Самое главное при этом- однотипный хардвер и надежные! быстрые! сетевые карточки.   На самом деле это всё относительно, у нас некоторые задачи, которые считаются по неделе на 4-8 процессорах производят пару мег на выходе и потребляют пару десятков на входе. И скорость сети абсолютно не критична, если считать всегда на одной машине, без MPI и иже с ними (т.е. есть не одна большая задача, а много средних). Однотипность железа и тому подобное тоже в общем-то не всегда является решающим фактором. У нас есть целый кластер ресурсов распределённых по всему миру, достигается это путём распространения желающим диска на котором лежит VMWare Player + полностью самонастраивающаяся виртуальная машина (всё что контролируем для этого дела мы - это центральный сервер который помогает клиентам сконфигуриться). Всё что вам надо - воткнуть диск в компьютер (любой x86 Player ныне вроде все их поддерживает) или скачать упаковку и запустить, и всё - запустившаяся виртуальная машина сама конфигурится в зависимости от того где вы и как вы и становится частью кластера. Мы таким образом получили очень много ресурсов практически задарма, потому как гораздо проще убедить человека запустить у себя одно приложение, нежели полностью переконфигурить всю машину. Overhead в плане расчета под VMWare получается меньше 10% для наших задач. Некоторые задачи естественно умирают (железо нам не подконтрольно), но использование Condor'a помогает, он сам найдёт ещё один ресурс и всё запустит - получив задарма пару тысяч процессоров в общем-то больше ничего и не надо. Если нет критичности по времени (т.е. продукт должен быть получен в течение N минут) то очень даже ничего всё работает. Для продуктов которые критичны по времени конечно приходится держать свои ресурсы которые контролируемы, но делается это тоже через тот же кластер просто слегка меняются настройки Condor у рабочих машин и критичные задачи идут прямиком на определённые ресурсы, что кстати не мешает тем ресурсам трудиться на благо других задач в свободное от работы время, для чего реализуется pre-emption - т.е. по первому запросу посчитать что-то из приоритетного всё не приоритетное убивается насмерть Ну и на свои машины ставим никсы, без VMWare. Всего записей: 1920 | Зарегистр. 27-07-2002 | Отправлено: 19:46 13-03-2008 | Исправлено: FuzzyLogic, 19:52 13-03-2008

terminat0r Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору FuzzyLogic Цитата: И скорость сети абсолютно не критична, если считать всегда на одной машине, без MPI и иже с ними (т.е. есть не одна большая задача, а много средних). но согласитесь, очень часто такое разделение невозможно. Всего записей: 2084 | Зарегистр. 31-03-2002 | Отправлено: 00:01 14-03-2008

FuzzyLogic Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата:  но согласитесь, очень часто такое разделение невозможно. Я думаю что это очень сильно зависит от задач, у меня большая часть именно таких, т.е. много задач которые считаются за 3-12 часов на 1 процессоре. Мне почему-то показалось что KChernov говорил именно о таких, так как считать их собираются на по сути одном PC. А для других задач MPI и распараллеливание это вообще вопрос сложный без соотв. сетевого оборудования (которое зачастую может быть дороже вычислительных ресурсов, если их немного) быстро наступает затык, когда добавление очередного процессора не даёт ощутимого прироста производительности и тут уже без тестов и соотв. опыта может получится бестолковая трата денег. Всего записей: 1920 | Зарегистр. 27-07-2002 | Отправлено: 02:20 14-03-2008

KChernov Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору terminat0r Цитата: Если захотеть- можно очень быстро сделать это даже на коленке с обыкновенных машин.   Для этого эти компы должны быть А на обычной сети на существующих компах такое делать - не факт, что окупится.   Цитата: т.е. много задач которые считаются за 3-12 часов на 1 процессоре. Мне почему-то показалось что KChernov говорил именно о таких, так как считать их собираются на по сути одном PC. Примерно так. Только скорее можно говорить об одной большой задаче (которая может считаться месяцами), но которая состоит из множества мелких задач (даже минуты/десятки секунд счета). Такое как раз вполне распараллеливается без всякого доп софта. Всего записей: 2471 | Зарегистр. 20-04-2004 | Отправлено: 12:28 14-03-2008

terminat0r Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору FuzzyLogic Цитата: быстро наступает затык, когда добавление очередного процессора не даёт ощутимого прироста производительности и тут уже без тестов и соотв. опыта может получится бестолковая трата денег. ну это тоже все решается- например с http://en.wikipedia.org/wiki/InfiniBand Кроме того, если изловчится, то можно даже с несколько Playstation3 неплохую "коробочку" сделать. Жалко только, что там нет двойной точности, но как обещают, в новом Cell процессоре это уже будет, поэтому ждем на новую playstation, пакупаем 8 штук и делаем. Как например вот этот чудак http://www.wired.com/techbiz/it/news/2007/10/ps3_supercomputer/ Всего записей: 2084 | Зарегистр. 31-03-2002 | Отправлено: 16:45 14-03-2008

FuzzyLogic Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата:  ну это тоже все решается- например с http://en.wikipedia.org/wiki/InfiniBand   ) вы цены на infiniband свитчи видели? А обслуживание? Да и софт если честно ещё сыроват, у нас при нескольких десятках юзеров Lustre периодически валится. Я почему и сказал что для небольшого кластера цена сетевого оборудования может стать больше цены самих вычислительных ресурсов. А что касается PS3, то мне кажется тогда уж брать CUDA, там думаю программирование должно быть всё же попроще SDK есть, да и сеть нормальную можно сделать. Всего записей: 1920 | Зарегистр. 27-07-2002 | Отправлено: 00:32 15-03-2008

terminat0r Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору FuzzyLogic Цитата: вы цены на infiniband свитчи видели? А обслуживание? Видел и цены, а обслуживание- штатные наши домовые два системные администратора внештатное еще не понадобилось. У нас в институте 5 кластеров (20-40 nodes каждый, один из них сделан на  infiniband.) плюс доступно некоторое время в месяц на суперкомпьютере.     Ладно, оставим это. Я просто хотел развенчать миф, о том что кластер- это что-то уникальное и необыкновенно дорогое. У многих, как оказывается, этот миф существует и культивируется. Ведь заказывает универ или институт  например иногда  какую-то компьютерную лабораторию. Так почему бы не доплатить еще где-то 20- 30% и сделать опционально эту лабораторию в виде кластера? Всего записей: 2084 | Зарегистр. 31-03-2002 | Отправлено: 18:08 15-03-2008

pir0texnik2 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору продолжение, начало тут   ТО: akaGM   сделал, убрал имя цикла.. теперь     Цитата: 1>Compiling with Intel(R) Fortran Compiler 10.1.019 [IA-32]... 1>ye_circ.f90 1>fortcom: Fatal: There has been an internal compiler error (C0000005).   ) если поставить Fortran->Language->Process OpenMP Directives НЕ Generate parallel code, то компилит нормально, вот только мне параллельно нужно.. Всего записей: 173 | Зарегистр. 27-02-2008 | Отправлено: 16:05 20-03-2008

pir0texnik2 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору да я знаю, что-то как-то правда у меня все не понятно...   да вот вроде, что пишет...   /nologo /O3 /Og /QaxT /QxO /Qparallel /Qpar_threshold:2 /Qopenmp /module:"Release\\" /object:"Release\\" /libs:dll /threads /c   добавил /Qfpp.... все таже ошибка... Всего записей: 173 | Зарегистр. 27-02-2008 | Отправлено: 18:03 20-03-2008

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330

Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Вопросы программирования на FORTRAN (ФОРТРАН)

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование