Пакетная обработка данных это – Пакетная обработка | Microsoft Docs

Пакетная обработка | Microsoft Docs

• 02/12/2018
• Время чтения: 5 мин

В этой статье

Типичный сценарий работы с большими данными — это пакетная обработка неактивных данных.A common big data scenario is batch processing of data at rest. В этом случае исходные данные загружаются в хранилище данных либо самим исходным приложением, либо рабочим процессом оркестрации.In this scenario, the source data is loaded into data storage, either by the source application itself or by an orchestration workflow. Затем данные параллельно обрабатываются на месте с помощью задания, которое также может быть инициировано рабочим процессом оркестрации.The data is then processed in-place by a parallelized job, which can also be initiated by the orchestration workflow. В рамках обработки может выполняться несколько итеративных шагов до того, как преобразованные результаты будут загружены в хранилище аналитических данных для последующего запроса компонентами аналитики и отчетов.The processing may include multiple iterative steps before the transformed results are loaded into an analytical data store, which can be queried by analytics and reporting components.

Например, журналы с веб-сервера могут быть скопированы в папку, а затем обработаны за ночь для формирования ежедневных отчетов о веб-действии.For example, the logs from a web server might be copied to a folder and then processed overnight to generate daily reports of web activity.

Когда следует использовать это решениеWhen to use this solution

Пакетная обработка используется в различных сценариях — от простых преобразований данных до полного конвейера ETL (извлечение, преобразование и загрузка).Batch processing is used in a variety of scenarios, from simple data transformations to a more complete ETL (extract-transform-load) pipeline. В контексте больших данных пакетная обработка может выполняться для очень больших наборов данных, которые вычисляются длительное время.In a big data context, batch processing may operate over very large data sets, where the computation takes significant time. (Например, см. раздел лямбда-архитектура.) Пакетная обработка обычно приводит к дальнейшим интерактивным исследованиям, предоставляет данные, готовые для моделирования, в машинном обучении или записывает данные в хранилище данных, оптимизированное для аналитики и визуализации.(For example, see Lambda architecture.) Batch processing typically leads to further interactive exploration, provides the modeling-ready data for machine learning, or writes the data to a data store that is optimized for analytics and visualization.

Одним из примеров пакетной обработки является преобразование большого набора плоских, полуструктурированных CSV- или JSON-файлов в схематизированный и структурированный формат, который можно запрашивать.One example of batch processing is transforming a large set of flat, semi-structured CSV or JSON files into a schematized and structured format that is ready for further querying. Обычно данные преобразуются из необработанных форматов, используемых для приема (например, CSV), в двоичные форматы, которые более эффективны для запросов, так как хранят данные в формате столбцов и часто предоставляют индексы и встроенную статистику данных.Typically the data is converted from the raw formats used for ingestion (such as CSV) into binary formats that are more performant for querying because they store data in a columnar format, and often provide indexes and inline statistics about the data.

СложностиChallenges

• Формат данных и кодирование.Data format and encoding. Некоторые из самых сложных проблем возникают, когда файлы используют непредвиденный формат или кодирование.Some of the most difficult issues to debug happen when files use an unexpected format or encoding. Например, исходные файлы могут использовать сочетание кодировки UTF-16 и UTF-8, содержать непредвиденные разделители (пробел вместо знака табуляции) или символы.For example, source files might use a mix of UTF-16 and UTF-8 encoding, or contain unexpected delimiters (space versus tab), or include unexpected characters. Другим распространенным примером являются текстовые поля, содержащие вкладки, пробелы или запятые, которые интерпретируются как разделители.Another common example is text fields that contain tabs, spaces, or commas that are interpreted as delimiters. Логика загрузки и анализа данных должна быть достаточно гибкой, чтобы обнаруживать и обрабатывать такие проблемы.Data loading and parsing logic must be flexible enough to detect and handle these issues.

• Оркестрация временных срезов.Orchestrating time slices. Часто исходные данные помещаются в иерархию папок, которая отображает окна обработки, упорядоченные по годам, месяцам, дням, часам и т. д.Often source data is placed in a folder hierarchy that reflects processing windows, organized by year, month, day, hour, and so on. В некоторых случаях данные могут быть получены позднее.In some cases, data may arrive late. Например, предположим, что веб-сервер выходит из строя, а журналы за 7 марта не попадают в папку для обработки до 9 марта.For example, suppose that a web server fails, and the logs for March 7th don’t end up in the folder for processing until March 9th. Они просто пропускаются, так как получены слишком поздно?Are they just ignored because they’re too late? Может ли подчиненная логика обработки обрабатывать записи, полученные в неправильном порядке?Can the downstream processing logic handle out-of-order records?

АрхитектураArchitecture

Архитектура пакетной обработки имеет следующие логические компоненты, показанные на схеме выше.A batch processing architecture has the following logical components, shown in the diagram above.

• Хранилище данных.Data storage. Обычно это распределенное хранилище файлов, которое может служить репозиторием для значительных объемов больших файлов в различных форматах.Typically a distributed file store that can serve as a repository for high volumes of large files in various formats. Зачастую этот тип хранилища часто называют Data Lake.Generically, this kind of store is often referred to as a data lake.

• Пакетная обработка.Batch processing. Так как наборы данных очень велики, часто в решении обрабатываются длительные пакетные задания. Для них выполняется фильтрация, статистическая обработка и другие процессы подготовки данных к анализу.The high-volume nature of big data often means that solutions must process data files using long-running batch jobs to filter, aggregate, and otherwise prepare the data for analysis. Обычно в эти задания входит чтение исходных файлов, их обработка и запись выходных данных в новые файлы.Usually these jobs involve reading source files, processing them, and writing the output to new files.

• Хранилище аналитических данных.Analytical data store. Многие решения по обработке больших данных спроектированы так, чтобы подготавливать данные к анализу и предоставлять их в структурированном формате для запросов через средства аналитики.Many big data solutions are designed to prepare data for analysis and then serve the processed data in a structured format that can be queried using analytical tools.

• Анализ и создание отчетов.Analysis and reporting. Большинство решений по обработке больших данных предназначены для анализа и составления отчетов, что позволяет получить важную информацию.The goal of most big data solutions is to provide insights into the data through analysis and reporting.

• Оркестрация.Orchestration. При пакетной обработке обычно требуется выполнить оркестрацию для переноса или копирования данных в хранилище, самой обработки, хранения аналитических данных и создания отчетов.With batch processing, typically some orchestration is required to migrate or copy the data into your data storage, batch processing, analytical data store, and reporting layers.

Выбор технологийTechnology choices

Мы рекомендуем применять следующие технологии для пакетной обработки данных в Azure.The following technologies are recommended choices for batch processing solutions in Azure.

Хранилище данныхData storage

• Контейнеры больших двоичных объектов хранилища Azure.Azure Storage Blob Containers. Многие существующие бизнес-процессы Azure уже используют хранилище больших двоичных объектов Azure, что делает это хорошим выбором для хранилища больших данных.Many existing Azure business processes already use Azure blob storage, making this a good choice for a big data store.
• Azure Data Lake StoreAzure Data Lake Store. Azure Data Lake Store предлагает практически неограниченное хранилище для файлов любого размера и широкие возможности обеспечения безопасности, что удобно для хранения чрезвычайно крупных решений обработки больших данных, для которых требуется централизованное хранилище содержимого в гетерогенных форматах.Azure Data Lake Store offers virtually unlimited storage for any size of file, and extensive security options, making it a good choice for extremely large-scale big data solutions that require a centralized store for data in heterogeneous formats.

Дополнительные сведения см. в статье о хранилище данных.For more information, see Data storage.

Пакетная обработкаBatch processing

• U-SQL.U-SQL. Это язык обработки запросов, используемый в Azure Data Lake Analytics.U-SQL is the query processing language used by Azure Data Lake Analytics. Он сочетает декларативный характер SQL с процедурной расширяемостью C# и обеспечивает эффективную обработку данных в значительном масштабе за счет параллелизма.It combines the declarative nature of SQL with the procedural extensibility of C#, and takes advantage of parallelism to enable efficient processing of data at massive scale.
• Hive.Hive. Это SQL-подобный язык, который поддерживается в большинстве дистрибутивов Hadoop, включая HDInsight.Hive is a SQL-like language that is supported in most Hadoop distributions, including HDInsight. Он может использоваться для обработки данных из любого хранилища, совместимого с HDFS, включая хранилище BLOB-объектов Azure и Azure Data Lake Store.It can be used to process data from any HDFS-compatible store, including Azure blob storage and Azure Data Lake Store.
• Pig.Pig. Это декларативный язык обработки больших данных, используемый во многих дистрибутивах Hadoop, включая HDInsight.Pig is a declarative big data processing language used in many Hadoop distributions, including HDInsight. Он особенно удобен для обработки данных, которые не структурированы или структурированы частично.It is particularly useful for processing data that is unstructured or semi-structured.
• Spark.Spark. Платформа Spark поддерживает программы пакетной обработки, написанные на разных языках, включая Java, Scala и Python.The Spark engine supports batch processing programs written in a range of languages, including Java, Scala, and Python. Spark использует распределенную архитектуру для параллельной обработки данных в нескольких рабочих узлах.Spark uses a distributed architecture to process data in parallel across multiple worker nodes.

Дополнительные сведения см. в статье Выбор технологии пакетной обработки в Azure.For more information, see Batch processing.

Хранилище аналитических данныхAnalytical data store

• Azure синапсе Analytics.Azure Synapse Analytics. Azure синапсе — это управляемая служба на основе технологий баз данных SQL Server и оптимизированная для поддержки крупномасштабных рабочих нагрузок хранилищ данных.Azure Synapse is a managed service based on SQL Server database technologies and optimized to support large-scale data warehousing workloads.
• Spark SQL.Spark SQL. Spark SQL представляет собой API на базе Spark, позволяющий создавать блоки данных и таблицы, к которым можно обращаться через запросы с синтаксисом SQL.Spark SQL is an API built on Spark that supports the creation of dataframes and tables that can be queried using SQL syntax.
• HBase.HBase. Это хранилище NoSQL с малой задержкой, которое позволяет выполнять высокопроизводительные, гибкие запросы к структурированным и частично структурированным данным.HBase is a low-latency NoSQL store that offers a high-performance, flexible option for querying structured and semi-structured data.
• Hive.Hive. Помимо полезных возможностей для пакетной обработки, Hive предлагает архитектуру базы данных, концептуально похожую на структуру типичной системы управления реляционной базой данных.In addition to being useful for batch processing, Hive offers a database architecture that is conceptually similar to that of a typical relational database management system. Благодаря усовершенствованиям производительности запросов Hive за счет таких инноваций, как обработчик Tez и инициатива Stinger, таблицы Hive можно эффективно использовать в качестве источников для аналитических запросов в некоторых сценариях.Improvements in Hive query performance through innovations like the Tez engine and Stinger initiative mean that Hive tables can be used effectively as sources for analytical queries in some scenarios.

Дополнительные сведения см. в статье о хранилище аналитических данных.For more information, see Analytical data stores.

Аналитика и отчетностьAnalytics and reporting

• Службы Azure Analysis Services.Azure Analysis Services. Многие решения для обработки больших данных имитируют традиционные корпоративные архитектуры бизнес-аналитики, включая централизованную модель данных оперативной аналитической обработки (OLAP) (часто называется кубом), в которой отчеты, панели мониторинга и интерактивные «срезы и кости» анализ может основываться на.Many big data solutions emulate traditional enterprise business intelligence architectures by including a centralized online analytical processing (OLAP) data model (often referred to as a cube) on which reports, dashboards, and interactive «slice and dice» analysis can be based. Службы Azure Analysis Services поддерживают создание табличных моделей для этих целей.Azure Analysis Services supports the creation of tabular models to meet this need.
• Power BI.Power BI. Power BI позволяет аналитикам данных создавать интерактивные визуализации на основе моделей данных в модели OLAP или непосредственно из хранилища аналитических данных.Power BI enables data analysts to create interactive data visualizations based on data models in an OLAP model or directly from an analytical data store.
• Microsoft Excel.Microsoft Excel. Это одно из наиболее широко используемых программных приложений в мире, которое предлагает множество возможностей для анализа и визуализации данных.Microsoft Excel is one of the most widely used software applications in the world, and offers a wealth of data analysis and visualization capabilities. Аналитики данных могут использовать Excel для создания моделей данных документов из хранилищ аналитических данных или для извлечения данных из моделей данных OLAP в интерактивные сводные таблицы и диаграммы.Data analysts can use Excel to build document data models from analytical data stores, or to retrieve data from OLAP data models into interactive PivotTables and charts.

Дополнительные сведения см. в статье об аналитике и отчетности.For more information, see Analytics and reporting.

ОркестрацияOrchestration

• Фабрика данных Azure.Azure Data Factory. Конвейеры фабрики данных Azure можно использовать для определения последовательности действий, запланированных для повторяющихся временных окон.Azure Data Factory pipelines can be used to define a sequence of activities, scheduled for recurring temporal windows. Эти действия могут инициировать операции копирования данных, а также задания Hive, Pig, MapReduce или Spark в кластерах HDInsight по запросу. Задания U-SQL в Azure Date Lake Analytics; и хранимые процедуры в Azure синапсе или базе данных SQL Azure.These activities can initiate data copy operations as well as Hive, Pig, MapReduce, or Spark jobs in on-demand HDInsight clusters; U-SQL jobs in Azure Date Lake Analytics; and stored procedures in Azure Synapse or Azure SQL Database.
• Oozie и Sqoop.Oozie and Sqoop. Oozie — это механизм автоматизации заданий для экосистемы Apache Hadoop. Он может использоваться для инициирования операций копирования данных, а также заданий Hive, Pig и MapReduce для обработки данных и заданий Sqoop для копирования данных между HDFS и базами данных SQL.Oozie is a job automation engine for the Apache Hadoop ecosystem and can be used to initiate data copy operations as well as Hive, Pig, and MapReduce jobs to process data and Sqoop jobs to copy data between HDFS and SQL databases.

Дополнительные сведения см. в статье Choosing a data pipeline orchestration technology in Azure (Выбор технологии оркестрации конвейера данных в Azure).For more information, see Pipeline orchestration

docs.microsoft.com

ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ — это… Что такое ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ?



ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ

(batch processing) Компьютерный метод обработки данных, предполагающий, что подлежащие выполнению программы для обработки группируются в пакеты. Вся информация, необходимая компьютеру для выполнения программ, загружается в него с самого начала, с тем чтобы дальше он мог работать без вмешательства оператора. Этим данный метод отличается от диалоговой обработки данных, при которой информация поступает в компьютер уже в ходе работы. Пакетная обработка данных применяется при составлении платежных ведомостей и отчетов и учете товарно-материальных запасов.

Бизнес. Толковый словарь. — М.: «ИНФРА-М», Издательство «Весь Мир». Грэхэм Бетс, Барри Брайндли, С. Уильямс и др. Общая редакция: д.э.н. Осадчая И.М.. 1998.

• ПАКЕТ ПРОГРАММ БУХГАЛТЕРСКОГО УЧЕТА
• ПАЛАТА КОМПАНИЙ

Смотреть что такое «ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ» в других словарях:

• Пакетная обработка данных — организация выполнения нескольких программ в определенной последовательности с помощью команд операционной системы. Пакетная обработка организуется с помощью пакетных файлов. См. также: Обработка данных Финансовый словарь Финам …   Финансовый словарь

• Easy Projects .NET — Диаграмма Гантта в Easy Projects .NET Тип управление проектами Разработчик Logic Software Написана на .NET Операционная система …   Википедия

• ДИАЛОГОВЫЙ — (interactive) Определение компьютерной системы, при которой оператор может общаться с компьютером, работающим по программе. Программа помогает оператору, когда ему необходима информация, и останавливается, пока не выдаст информацию. Диалоговые… …   Словарь бизнес-терминов

• Мультипрограммирование —         многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… …   Большая советская энциклопедия

• MagicPlot — Тип Математическое программное обеспечение Разработчик …   Википедия

• FastStone Image Viewer — FastStone Image Viewer …   Википедия

• КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… …   Энциклопедия банковского дела и финансов

• Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей …   Википедия

• Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… …   Википедия

• Бэйсик — BASIC Класс языка: алгоритмическое, процедурное, объектное программирование Появился в: 1963 г. Типизация данных: нестрогая Бейсик (BASIC  сокращение от англ. Beginner s All purpose Symbolic Instruction Code  универсальный код символических… …   Википедия

dic.academic.ru

Пакетная обработка — это… Что такое Пакетная обработка?

Пакетная обработка

Поскольку составление расписаний машинного времени — долгая и утомительная процедура, нет ничего удивительного в том, что у пользователей ЭВМ появилась идея: а что, если всю организационную работу по составлению и контролю расписания работы пользователей на ЭВМ поручить самой вычислительной машине? По заданию, которое предназначено для компьютерной обработки, в ЭВМ вводятся конкретная программа и исходные данные. К этой информации добавляются специальные сообщения, в которых указывается, насколько срочной считается данная работа и сколько примерно она потребует машинного времени.

Все эти сведения собираются в каком-то одном месте, после чего по соответствующим признакам задается очередность заданий, и они начинают выполняться одно за другим. Данная система называется системой пакетной обработки заданий.

В системах, реализующих пакетную обработку информации, очередность выполнения заданий определяет операционная система компьютера (ОС). Определение очередности выполнения заданий, готовых к обработке, является функцией автоматического планировщика заданий в ОС. При планировании очередности предпочтение отдается заданиям с оговоренной высокой степенью срочности либо таким, которые по предварительным оценкам потребуют малого времени на обработку. Задания менее срочные, а также такие, которые требуют большего времени на обработку, откладываются. Однако для тех заданий, которые стоят в очереди уже давно, степень срочности автоматически повышается.

В отношении степени срочности или предварительной оценки времени, необходимого для выполнения конкретного задания, трудно каждый раз определять объективные критерии. Обычно поступающие на ЭВМ задания ранжируются (располагаются в возрастающие или убывающие по важности ряды) с помощью пяти градаций: <экспресс>, <срочно>, <безотлагательно>, <с обычной скоростью> и <с малой скоростью>. Плата за пользование машинным временем повышается со степенью приоритетности. Степень приоритетности, обозначенная <с малой скоростью>, означает, что задание можно пускать, когда очереди вообще нет и компьютер простаивает. Задания с самым низким уровнем приоритетности называются фоновыми заданиями.

Если говорить о предварительной оценке времени, необходимого для выполнения задания, то нередко бывает, что программа не укладывается в отведенное для нее время и задание снимается со счета. Обычно предполагаемое для решения время берут с запасом, и если его не хватило, задание все равно снимают по лимиту времени. Бывает, что уже через секунду ясно, что задача не будет решена в отведенное ей время, но, как и в случае останова машины Тьюринга, операционная система данную ситуацию оценить не сможет.

В системе с пакетной обработкой хорошо работать, если задания велики. Тогда коэффициент использования ЭВМ будет высоким. Такой метод практикуется в вычислительных центрах университетов и других высших учебных заведений. Там компьютеры работают круглосуточно, и если в очередях наступает перерыв, в систему вводятся фоновые задания.

Фоновые задания можно всегда прервать, сбросить промежуточные данные на внешний накопитель, a потом в удобное время запустить со средины счета. К категории фоновых заданий относятся программы диагностики работоспособности компьютерной системы или развлекательные программы, например вычисляющие число л с точностью в несколько тысяч десятичных знаков.

Недостаток систем с пакетной обработкой заданий состоит в том, что от момента постановки задания на очередь до получения готовых результатов счета проходит значительное время. Данная ситуация подобна работе почты или почтового ящика. Время, которое проходит от ввода задания в машину до выдачи на руки пользователю готового результата счета, либо время от получения этого результата до постановки на очередь следующего задания на эту же тему называется временем обращения. Для пакетного режима работы ЭВМ время обращения заданий может составлять от нескольких часов до нескольких дней.

dic.academic.ru

Пакетная обработка данных — это… Что такое Пакетная обработка данных?



Пакетная обработка данных

Пакетная обработка данных

Пакетная обработка данных — организация выполнения нескольких программ в определенной последовательности с помощью команд операционной системы.
Пакетная обработка организуется с помощью пакетных файлов.

Финансовый словарь Финам.

.

• Пакет прикладных программ
• Пакетный брокер

Смотреть что такое «Пакетная обработка данных» в других словарях:

• ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ — (batch processing) Компьютерный метод обработки данных, предполагающий, что подлежащие выполнению программы для обработки группируются в пакеты. Вся информация, необходимая компьютеру для выполнения программ, загружается в него с самого начала, с …   Словарь бизнес-терминов

• Easy Projects .NET — Диаграмма Гантта в Easy Projects .NET Тип управление проектами Разработчик Logic Software Написана на .NET Операционная система …   Википедия

• ДИАЛОГОВЫЙ — (interactive) Определение компьютерной системы, при которой оператор может общаться с компьютером, работающим по программе. Программа помогает оператору, когда ему необходима информация, и останавливается, пока не выдаст информацию. Диалоговые… …   Словарь бизнес-терминов

• Мультипрограммирование —         многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… …   Большая советская энциклопедия

• MagicPlot — Тип Математическое программное обеспечение Разработчик …   Википедия

• FastStone Image Viewer — FastStone Image Viewer …   Википедия

• КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… …   Энциклопедия банковского дела и финансов

• Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей …   Википедия

• Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… …   Википедия

• Бэйсик — BASIC Класс языка: алгоритмическое, процедурное, объектное программирование Появился в: 1963 г. Типизация данных: нестрогая Бейсик (BASIC  сокращение от англ. Beginner s All purpose Symbolic Instruction Code  универсальный код символических… …   Википедия

dic.academic.ru

Пакетная обработка данных • ru.knowledgr.com

Пакетная обработка данных — выполнение серии программ («рабочие места») на компьютере без ручного вмешательства.

Рабочие места настроены так, ими можно управлять к завершению без человеческого взаимодействия. Все входные параметры предопределены через подлинники, аргументы командной строки, управляют файлами или языком управления работы. Это в отличие от или интерактивных программ «онлайн», которые побуждают пользователя для такого входа. Программа берет ряд файлов с данными в качестве входа, обрабатывает данные и производит ряд файлов выходных данных. Эту операционную среду называют как «пакетная обработка данных», потому что входные данные собраны в партии или наборы отчетов, и каждая партия обработана как единица. Продукция — другая партия, которая может быть снова использована для вычисления.

Преимущества

Пакетная обработка данных обладает этими преимуществами:

• Это может переместить время обработки работы к тому, когда вычислительные ресурсы менее заняты.
• Это избегает лишать вычислительные ресурсы работы с вмешательством руководства минуты минутой и наблюдением.
• Поддерживая полный темп на высоком уровне использования, это амортизирует компьютер, особенно дорогой.
• Это позволяет системе использовать различные приоритеты для интерактивной и неинтерактивной работы.
• Вместо того, чтобы управлять одной программой многократно, чтобы обработать одну сделку каждый раз, серийные производства будут управлять программой только однажды для многих сделок, уменьшая систему наверху.

История

Пакетная обработка данных была связана с основными компьютерами с самых ранних дней электронного вычисления в 1950-х. Был ряд причин, почему пакетная обработка данных доминировала над рано вычислением. Одна причина состоит в том, что самые срочные бизнес-задачи по причинам доходности и конкурентоспособности прежде всего считали проблемы, такие как составление счетов. Составление счетов может удобно быть выполнено как ориентированный на партию бизнес-процесс, и практически каждый бизнес должен объявить, достоверно и вовремя. Кроме того, каждый вычислительный ресурс был дорогим, таким образом, последовательное подчинение пакетных заданий на избитых картах соответствовало ограничениям ресурса и технологическому развитию в то время. Позже, интерактивные встречи или с основанными на тексте компьютерными интерфейсами терминала или с графическими интерфейсами пользователя больше стали распространены. Однако компьютеры первоначально даже не были способны к погрузке многократных программ в главную память.

Пакетная обработка данных все еще распространяется в основном вычислении, но практически все типы компьютеров теперь способны к, по крайней мере, некоторой пакетной обработке данных, даже если только для «вспомогательных» задач. Это включает ОСНОВАННЫЕ НА UNIX компьютеры, Microsoft Windows, Mac OS X (чей фонд — ядро Unix BSD), и даже смартфоны. Все более и более, как вычисляющий в целом становится более распространяющейся пакетной обработкой данных, вряд ли потеряет ее значение.

Современные системы

Системы пакетной обработки данных все еще важны в большинстве организаций в значительной степени, потому что много общих бизнес-процессов поддаются пакетной обработке данных. В то время как системы онлайн могут также функционировать, когда ручное вмешательство не желаемо, они, как правило, не оптимизируются, чтобы выполнить большой объем, повторные задачи. Поэтому, даже новые системы обычно содержат одну или более систем пакетной обработки данных для обновления информации в конце дня, производя отчеты, печатая документы и другие неинтерактивные задачи, которые должны закончить достоверно в течение определенных деловых крайних сроков.

Современные системы пакетной обработки данных используют современные пакетные структуры, такие как Джем Пчела или Весенняя Партия, которая написана для Явы, и другие структуры для других языков программирования, чтобы обеспечить отказоустойчивость и масштабируемость, требуемую для обработки большого объема. Чтобы гарантировать быстродействующую обработку, системы пакетной обработки данных часто объединяются с вычислительными решениями сетки, чтобы разделить пакетное задание по большому количеству процессоров, хотя есть значительные программные проблемы при этом. Пакетная обработка данных большого объема помещает особенно большие спросы в систему и прикладную архитектуру также. Архитектура, которая показывает сильную работу ввода/вывода и вертикальную масштабируемость, включая современные основные компьютеры, имеет тенденцию обеспечивать лучшую пакетную работу, чем альтернативы.

Языки сценариев стали популярными, когда они развились наряду с пакетной обработкой данных.

Пакетное окно

Пакетное окно — «период менее — интенсивная деятельность онлайн», когда компьютерная система в состоянии управлять пакетными заданиями без вмешательства от систем онлайн.

Много ранних компьютерных систем предложили только пакетную обработку данных, таким образом, рабочими местами можно было управлять любое время в течение 24-часового дня. С появлением обработки транзакций онлайн-приложения могли бы только требоваться с 9:00 до 17:00, оставляя два изменения доступными для работы в пакетном режиме, в этом случае пакетное окно составит шестнадцать часов. Проблема обычно в том не состоит, что компьютерная система неспособна к поддержке параллельного онлайн и работа в пакетном режиме, но что пакетные системы обычно требуют доступа к данным в последовательном государстве, лишенном обновлений онлайн, пока пакетная обработка данных не завершена.

В банке, например, так называемые рабочие места конца дня (EOD) включают подсчет процентов, поколение отчетов и наборов данных к другим системам, печатая заявления и платежную обработку.

Поскольку требования для продолжительности работы систем онлайн расширились, чтобы поддержать глобализацию, Интернет и другие деловые требования, которые сократило пакетное окно, и увеличивающийся акцент был сделан методам, которые потребуют, чтобы данные онлайн были доступны для максимального количества времени.

Общее использование пакетной обработки данных

Базы данных

Пакетная обработка данных также используется для эффективных оптовых обновлений базы данных и автоматизированной обработки транзакций, в противоположность интерактивной обработке транзакций онлайн (OLTP) заявления. Извлечение, преобразуйте, загрузите (ETL), шаг в заселении хранилищ данных является неотъемлемо серийным производством в большинстве внедрений.

Изображения

Пакетная обработка данных часто используется, чтобы выполнить различные операции с цифровыми изображениями теми, которые изменяют размеры, преобразовывают, делают водяные знаки, или иначе редактируют файлы изображения.

Преобразования

Пакетная обработка данных может также использоваться для преобразования компьютерных файлов от одного формата до другого. Например, пакетное задание может преобразовать составляющий собственность и устаревшие файлы к форматам единого стандарта для вопросов конечного пользователя и показа.

Известная пакетная окружающая среда планирования и выполнения

UNIX использует cron и на средствах, чтобы допускать планирование сложных подлинников работы.

У

Windows есть планировщик работы. Большинство высокоэффективных вычислительных групп использует пакетную обработку данных, чтобы максимизировать использование группы.

У

универсальной ЭВМ IBM z/OS операционная система или платформа есть возможно наиболее высоко усовершенствованный и развитый набор средств для пакетной обработки данных вследствие ее происхождения, долгой истории и продолжающегося развития. Сегодня такие системы обычно поддерживают сотни или даже тысячи параллельных, онлайн, и комплектуют задачи в пределах единственного изображения операционной системы. Технологии, которые помогают параллельной партии и обработке онлайн, включают Job Control Language (JCL), языки сценариев, такие как REXX, Подсистема Входа Работы (JES2 и JES3), менеджер по Рабочей нагрузке (WLM), Automatic Restart Manager (ARM), Resource Recovery Services (RRS), совместное использование данных DB2, Параллельный Sysplex, уникальная исполнительная оптимизация, такая как HiperDispatch, архитектура канала ввода/вывода и несколько других.

См. также

• Второстепенный процесс

• Обработка способов

• Командный файл

---

ru.knowledgr.com

ПАКЕТНАЯ ОБРАБОТКА ИНФОРМАЦИИ — это… Что такое ПАКЕТНАЯ ОБРАБОТКА ИНФОРМАЦИИ?



ПАКЕТНАЯ ОБРАБОТКА ИНФОРМАЦИИ

один из видов организации вычислит. процесса на ЭВМ, при к-ром определ. число задач объединяется в пакет, обрабатываемый как единое целое. При П. о. и., как правило, исключается непосредств. доступ пользователей к ЭВМ; оператор ЭВМ формирует пакет вручную либо при помощи операционной системы с предварит. накоплением задач во внеш. памяти. Особенно целесообразна П. о. и. при многопрограммной обработке информации, т. к. в этом случае достигается весьма высокая степень совмещения работы центрального процессора с внеш. памятью.

Большой энциклопедический политехнический словарь. 2004.

• ПАКЕТ ПРИКЛАДНЫХ ПРОГРАММ
• ПАКЕТНЫЕ ПЕРЕВОЗКИ

Смотреть что такое «ПАКЕТНАЯ ОБРАБОТКА ИНФОРМАЦИИ» в других словарях:

• пакетная обработка информации на ЭВМ — Когда однотипные задачи первоначально накапливают, а затем совместно запускают на исполнение для увеличения экономичности обработки [http://slovarionline.ru/anglo russkiy slovar neftegazovoy promyishlennosti/] Тематики нефтегазовая промышленность …   Справочник технического переводчика

• Пакетная обработка — Поскольку составление расписаний машинного времени долгая и утомительная процедура, нет ничего удивительного в том, что у пользователей ЭВМ появилась идея: а что, если всю организационную работу по составлению и контролю расписания работы… …   Википедия

• КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… …   Энциклопедия банковского дела и финансов

• Мультипрограммирование —         многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… …   Большая советская энциклопедия

• Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей …   Википедия

• МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ — ЭВМ, программное обеспечение, совокупность программ и программных комплексов, посредством к рых происходит преобразование алгоритмов программы пользователя, записанных на алгоритмич. языках высокого уровня, в последовательность команд, понимаемых …   Математическая энциклопедия

• Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… …   Википедия

• Imagine (программа) — У этого термина существуют и другие значения, см. Imagine (значения). Imagine Тип Просмотр изображений Разработчик …   Википедия

• Adobe Premiere Pro — Adobe Premiere Pro …   Википедия

• Список файловых систем — Это список файловых систем (ФС) и сетевых протоколов, эмулирующих работу файловой системы, с небольшим описанием. Чтобы узнать более, вы можете пройти по соответствующей ссылке. Некоторые старые системы поддерживали только одну файловую систему,… …   Википедия

dic.academic.ru

Пакетная обработка — данные — Большая Энциклопедия Нефти и Газа, статья, страница 1

Пакетная обработка — данные

Cтраница 1

Пакетная обработка данных — метод выполнения набора программ в ЭВМ, при котором каждая последующая программа начинается после завершения предыдущей.  [1]

Пакетная обработка данных позволяет увеличить производительность ЭВМ и уменьшить стоимость машинной обработки информации.  [2]

При пакетной обработке данных с автоматической коррекцией ошибок рекомендуется распечатывать ведомость, содержащую все внесенные исправления.  [3]

Предусмотрена работа в режимах пакетной обработки данных и разделения времени. Модульный принцип построения ЕС-1011 обеспечивает оптимальное распределение задач между узлами системы, что ведет к увеличению ее производительности.  [4]

Что характерно для режима пакетной обработки данных.  [5]

Комплекс технических средств в режиме пакетной обработки данных предназначен для работы, когда пользователи не имеют непосредственного доступа к ЭВМ. Устройства этого комплекса выполняют периодическую обработку больших массивов информации. В состав комплекса в зависимости от объемных и временных характеристик обрабатываемой в пакетном режиме информации могут входить две и более ЕС ЭВМ третьего поколения с полным комплектом периферийного оборудования.  [7]

Режим разделения времени совместим с режимом пакетной обработки данных, которая предусматривается в ЭВМ для решения задач в отдельные периоды времени, когда пользователи не загружают ЭВМ полностью.  [8]

Решение задач этого вида должно проводиться в режиме пакетной обработки данных.  [9]

Второй комплекс технических средств предназначен для работы в режиме пакетной обработки данных, при котором пользователи не имеют непосредственного доступа к ЭВМ. Устройства этого комплекса выполняют периодическую обработку больших массивов информации.  [10]

Система предназначена для использования в модели ЕС-1021 и ориентирована на пакетную обработку данных в однопроцессорном и однопрограммном режимах. Система представляет собой набор компонент, описаний и инструкций для пользователя. Операционная система МОС ЕС обеспечивает программную совместимость модели ЕС-1021 с остальными моделями ЕС ЭВМ на уровне языка Ассемблер и языков высокого уровня с ограничениями, определяемыми конкретной конфигурацией технических средств. Кроме того, МОС ЕС обеспечивает адекватность массивов данных на внешних носителях.  [11]

Имеет ли смысл организация базы данных в системе, в которой используется только пакетная обработка данных и нет терминалов.  [12]

Часто машинная графика используется при решении задач, для которых ранее применялась обычная пакетная обработка данных. При этом иногда возникает возможность автоматизировать процесс решения и тем самым сэкономить средства. Для оценки возможного выигрыша необходимо рассматривать все связанные с этой работой затраты: арендную плату за оборудование, стоимость разработки и запуска системы, эксплуатационные расходы и расходы на профилактические работы. Одновременно следует учитывать все получаемые преимущества типа непосредственного выигрыша в человеко-часах, времени сэкономленного на перфорацию, сокращения числа ошибок и повторных прогонов, сэкономленного машинного времени в режиме пакетной обработки данных.  [13]

Выбор концепции обработки данных по существу определяет степень использования возможностей системы при пакетной обработке данных, работе в режимах онлайн и реального времени.  [14]

До сих пор мы обсуждали общецелевые операционные системы, которые в основном применяются при пакетной обработке данных с одним процессором. Многие из рассмотренных концепций построения систем справедливы и для специальных операционных систем, разрабатываемых для обеспечения дистанционной обработки данных, коллективного доступа, обработки в реальном масштабе времени или комбинации этих видов обработки. Помимо сходства, существуют также и некоторые различия, имеющие место частично из-за различной аппаратной конфигурации, но в основном из-за различия целей, в связи с которыми должна осуществляться оптимизация — системы. При пакетной обработке основной целью является достижение максимальной пропускной способности. В случае мультипроцессорной обработки сильный упор делается также и на готовность системы. В системах коллективного доступа и обработки в реальном масштабе времени добиваются даже в ущерб пропускной, способности, чтобы время ответа и готовность системы соответствовали некоторым заданным критериям. Оставшийся материал этой главы посвящен краткому ознакомлению ( большего не позволяют размеры этой книги) с основными особенностями операционных систем для дистанционной и мультипроцессорной обработки, коллективного доступа и обработки в реальном масштабе времени.  [15]

Страницы:      1    2    3    4

www.ngpedia.ru