Record Details

HIERARCHICAL DATAFLOW MODEL WITH AUTOMATED FILE MANAGEMENT FOR ENGINEERING AND SCIENTIFIC APPLICATIONS

Civil Aviation High TECHNOLOGIES

View Archive Info
 
 
Field Value
 
Title HIERARCHICAL DATAFLOW MODEL WITH AUTOMATED FILE MANAGEMENT FOR ENGINEERING AND SCIENTIFIC APPLICATIONS
УПРАВЛЕНИЕ ФАЙЛАМИ В РАМКАХ МОДЕЛИ ПОТОКОВ ДАННЫХ ДЛЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ
 
Creator Алексей Назаренко Михайлович; ООО «ДАТАДВАНС»
Никита Пересторонин Олегович; ООО «ДАТАДВАНС»
Александр Прохоров Александрович; ООО «ДАТАДВАНС»
 
Subject программирование потоков данных; распределенная файловая система; интеграция про- цессов; автоматизация вычислений; pSeven
 
Description Solving modern scientific and engineering problems typically implies using multiple task-specific software appli- cations and often a complex sequence of computations must be performed. Adopted approach to achieve the required level of automation is to use one of the many available scientific and engineering workflow systems, which can be based on dif- ferent workflow models. This paper introduces a workflow model targeted to provide natural automation and distributed execution of complex iterative computation processes, where the calculation chain contains multiple task-specific software applications which exchange files during the process.The proposed workflow model addresses a wide range of applications and targets complex cases when a single it- eration of a top-level process may contain multiple nested execution loops. Typical requirements to process automation are considered as well: execution isolation, data re-use and caching, parallel execution, data provenance tracking.
Системы управления вычислениями, основанные на модели потоков данных, в настоящее время широко используются для автоматизации различных инженерных и научных расчетных задач, требующих совместного использования в рамках одного расчета целого ряда специализированных программных средств. Такая система обеспечивает интеграцию используемого программного обеспечения в единую расчетную схему, передачу данных между элементами схемы, управляет их запуском и обработкой данных. В настоящей работе рассматривается слу- чай управления распределенными асинхронными вычислениями. Соответствующая модель потоков данных, опи- санная в первой части статьи, обеспечивает естественную автоматизацию и распределенное выполнение сложных итеративных вычислительных процессов, в том числе таких, в которых одна итерация внешнего процесса содер- жит несколько вложенных циклов выполнения. Основное внимание уделено вопросу организации обмена файлами между различными программными пакетами в распределенной вычислительной схеме с иерархической структу- рой. Предложенная методика работы с файлами учитывает общие требования к обработке данных в автоматизиро- ванных вычислениях: изолированность и возможность отслеживания происхождения данных, поддержку кэширо- вания и повторного использования данных, поддержку параллельной обработки.
 
Publisher Moscow State Technical University of Civil Aviation (MSTU CA)
 
Date 2016-12-28
 
Type info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
—
 
Format application/pdf
 
Identifier http://avia.mstuca.ru/jour/article/view/913
 
Source Civil Aviation High TECHNOLOGIES; Том 19, № 05 (2016); 161-172
Научный вестник МГТУ ГА; Том 19, № 05 (2016); 161-172
2079-0619
 
Language rus
 
Relation http://avia.mstuca.ru/jour/article/view/913/792
 
Rights Authors who publish with this journal agree to the following terms:Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).
Авторы, публикующие в данном журнале, соглашаются со следующим:Авторы сохраняют за собой авторские права на работу и предоставляют журналу право первой публикации работы на условиях лицензии Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.Авторы сохраняют право заключать отдельные контрактные договорённости, касающиеся не-эксклюзивного распространения версии работы в опубликованном здесь виде (например, размещение ее в институтском хранилище, публикацию в книге), со ссылкой на ее оригинальную публикацию в этом журнале.Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).