Пакетная обработка данных – ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ

Posted on 27.05.2018 by alexxlab

Содержание

Выбор технологии пакетной обработки | Microsoft Docs

11/20/2019
Время чтения: 3 мин

В этой статье

В решениях для работы с большими данными часто используются длительные пакетные задания для фильтрации, статической обработки и других процессов подготовки данных для анализа.Big data solutions often use long-running batch jobs to filter, aggregate, and otherwise prepare the data for analysis. Обычно в эти задания входит чтение исходных файлов из масштабируемого хранилища (например HDFS, Azure Data Lake Store и служба хранилища Azure), их обработка и запись выходных данных в новые файлы в масштабируемом хранилище.Usually these jobs involve reading source files from scalable storage (like HDFS, Azure Data Lake Store, and Azure Storage), processing them, and writing the output to new files in scalable storage.

Основным требованием таких систем пакетной обработки является возможность масштабировать вычислительные ресурсы, чтобы обрабатывать большие объемы данных.The key requirement of such batch processing engines is the ability to scale out computations, in order to handle a large volume of data. В отличие от обработки в режиме реального времени, в пакетной обработке могут быть задержки (время между приемом данных и вычислением результата), измеряющиеся в минутах и даже часах.Unlike real-time processing, however, batch processing is expected to have latencies (the time between data ingestion and computing a result) that measure in minutes to hours.

Технологии пакетной обработкиTechnology choices for batch processing

Azure Synapse AnalyticsAzure Synapse Analytics

Azure синапсе — это распределенная система, предназначенная для анализа больших данных.Azure Synapse is a distributed system designed to perform analytics on large data. Она поддерживает массовую параллельную обработку (MPP), что делает ее пригодной для запуска высокопроизводительной аналитики.It supports massive parallel processing (MPP), which makes it suitable for running high-performance analytics. Рассмотрите возможность использования Azure синапсе при наличии больших объемов данных (более 1 ТБ) и выполнении рабочей нагрузки аналитики, которая будет выгодна для параллелизма.Consider Azure Synapse when you have large amounts of data (more than 1 TB) and are running an analytics workload that will benefit from parallelism.

Аналитика озера данных AzureAzure Data Lake Analytics

Data Lake Analytics — это служба обработки заданий аналитики по запросу.Data Lake Analytics is an on-demand analytics job service. Она оптимизирована для распределенной обработки очень больших наборов данных, хранящихся в Azure Data Lake Store.It is optimized for distributed processing of very large data sets stored in Azure Data Lake Store.

Языки: U-SQL (включая Python, R, и расширения C#).Languages: U-SQL (including Python, R, and C# extensions).
Интегрируется с Azure Data Lake Store, большими двоичными объектами службы хранилища Azure, базой данных SQL Azure и Azure синапсе.Integrates with Azure Data Lake Store, Azure Storage blobs, Azure SQL Database, and Azure Synapse.

Модель ценообразования предполагает плату за каждое задание.Pricing model is per-job.

HDInsightHDInsight

HDInsight является управляемой службой Hadoop.HDInsight is a managed Hadoop service. Она позволяет развертывать кластеры Hadoop в Azure и управлять ими.Use it deploy and manage Hadoop clusters in Azure. Для пакетной обработки можно использовать Spark, Hive, Hive LLAP, MapReduce.For batch processing, you can use Spark, Hive, Hive LLAP, MapReduce.

Языки: R, Python, Java, Scala, SQL.Languages: R, Python, Java, Scala, SQL

Проверка подлинности с помощью Kerberos и Active Directory, управление доступом на основе Apache Ranger.Kerberos authentication with Active Directory, Apache Ranger based access control
Обеспечивает полный контроль над кластером Hadoop.Gives you full control of the Hadoop cluster

Azure DatabricksAzure Databricks

Azure Databricks — это высокопроизводительная платформа на основе Apache Spark.Azure Databricks is an Apache Spark-based analytics platform. Представляет собой модель «Spark как услуга».You can think of it as «Spark as a service.» Это самый простой способ использования Spark на платформе Azure.It’s the easiest way to use Spark on the Azure platform.

Языки: R, Python, Java, Scala, Spark SQL.Languages: R, Python, Java, Scala, Spark SQL

Быстрое время запуска кластера, автоматическое завершение, Автомасштабирование.Fast cluster start times, autotermination, autoscaling.
Управляет кластером Spark.Manages the Spark cluster for you.
Встроенная интеграция с хранилищем BLOB-объектов Azure, Azure Data Lake Storage (ADLS), Azure синапсе и другими службами.Built-in integration with Azure Blob Storage, Azure Data Lake Storage (ADLS), Azure Synapse, and other services. См. раздел Data Sources (Источники данных).See Data Sources.
Аутентификация пользователей с помощью Azure Active Directory.User authentication with Azure Active Directory.
Записные книжки на основе веб-технологий для совместной работы и просмотра данных.Web-based notebooks for collaboration and data exploration.

Возможность использования кластеров с поддержкой GPU.Supports GPU-enabled clusters

Набор средств для инжиниринга распределенных данных AzureAzure Distributed Data Engineering Toolkit

Набор средств для инжиниринга распределенных данных Azure (AZTK) — это средство для подготовки Spark по запросу в кластерах Docker в Azure.The Distributed Data Engineering Toolkit (AZTK) is a tool for provisioning on-demand Spark on Docker clusters in Azure.

AZTK не относится к службам Azure.AZTK is not an Azure service. Это клиентское средство с интерфейсом командной строки и пакета SDK для Python, которое встроено в пакетную службу Azure.Rather, it’s a client-side tool with a CLI and Python SDK interface, that’s built on Azure Batch. Эта технология обеспечивает наибольший контроль над инфраструктурой при развертывании кластера Spark.This option gives you the most control over the infrastructure when deploying a Spark cluster.

Возможность использования собственного образа Docker.Bring your own Docker image.
Возможность использования низкоприоритетных виртуальных машин с 80-процентной скидкой.Use low-priority VMs for an 80% discount.
Кластеры смешанного режима, использующие низкоприоритетные и выделенные виртуальные машины.Mixed mode clusters that use both low-priority and dedicated VMs.
Встроенная поддержка хранилища BLOB-объектов Azure и подключения Azure Data Lake.Built in support for Azure Blob Storage and Azure Data Lake connection.

Основные критерии выбораKey selection criteria

Чтобы ограничить количество вариантов, сначала ответьте на следующие вопросы:To narrow the choices, start by answering these questions:

Вы хотите использовать управляемую службу, а не управлять собственными серверами?Do you want a managed service rather than managing your own servers?
Какой подход будет использоваться для создания логики пакетной обработки: декларативный или императивный?Do you want to author batch processing logic declaratively or imperatively?
Пакетная обработка будет выполняться периодически?Will you perform batch processing in bursts? Если да, рассмотрите варианты, позволяющие автоматически завершать работу кластера или предусматривающие оплату за каждое пакетное задание.If yes, consider options that let you auto-terminate the cluster or whose pricing model is per batch job.
Нужно ли отправлять запросы к реляционным хранилищами данных во время пакетной обработки, например для поиска эталонных данных?Do you need to query relational data stores along with your batch processing, for example to look up reference data? Если да, рассмотрите варианты, позволяющие отправлять запросы к внешним реляционным хранилищам.If yes, consider the options that enable querying of external relational stores.

Матрица возможностейCapability matrix

В следующих таблицах перечислены основные различия в возможностях.The following tables summarize the key differences in capabilities.

Общие возможностиGeneral capabilities

ФункцияCapability	Аналитика озера данных AzureAzure Data Lake Analytics	Azure синапсеAzure Synapse	HDInsightHDInsight	Azure DatabricksAzure Databricks
Управляемая службаIs managed service	YesYes	YesYes	Да ¹Yes ¹	YesYes
Реляционное хранилище данныхRelational data store	YesYes	YesYes	НетNo	НетNo
Модель ценообразованияPricing model	За пакетное заданиеPer batch job	За час работы кластераBy cluster hour	За час работы кластераBy cluster hour	Единица Databricks² + час работы кластераDatabricks Unit² + cluster hour

[1] Настройка и масштабирование вручную.[1] With manual configuration and scaling.

[2] Единица Databricks (DBU) — это единица продуктивности процесса в час.[2] A Databricks Unit (DBU) is a unit of processing capability per hour.

ВозможностиCapabilities

ФункцияCapability	Аналитика озера данных AzureAzure Data Lake Analytics	Azure синапсеAzure Synapse	HDInsight со SparkHDInsight with Spark	HDInsight с HiveHDInsight with Hive	HDInsight с Hive LLAPHDInsight with Hive LLAP	Azure DatabricksAzure Databricks
АвтомасштабированиеAutoscaling	НетNo	НетNo	НетNo	НетNo	НетNo	YesYes
Степень детализации при горизонтальном масштабированииScale-out granularity	По заданиямPer job	По кластерамPer cluster	По кластерамPer cluster	По кластерамPer cluster	По кластерамPer cluster	По кластерамPer cluster
Выполняющееся в памяти кэширование данныхIn-memory caching of data	НетNo	YesYes	YesYes	НетNo	YesYes	YesYes
Отправка запросов из внешних реляционных хранилищQuery from external relational stores	YesYes	НетNo	YesYes	НетNo	НетNo	YesYes
Проверка подлинностиAuthentication	Azure ADAzure AD	SQL / Azure ADSQL / Azure AD	НетNo	Azure AD¹Azure AD¹	Azure AD¹Azure AD¹	Azure ADAzure AD
АудитAuditing	YesYes	YesYes	НетNo	Да ¹Yes ¹	Да ¹Yes ¹	YesYes
Безопасность на уровне строкRow-level security	НетNo	Да ²Yes²	НетNo	Да ¹Yes ¹	Да ¹Yes ¹	НетNo
Поддержка брандмауэровSupports firewalls	YesYes	YesYes	YesYes	Да ³Yes ³	Да ³Yes ³	НетNo
Динамическое маскирование данныхDynamic data masking	НетNo	YesYes	НетNo	Да ¹Yes ¹	Да ¹Yes ¹	НетNo

[1] Требуется использовать присоединенный к домену кластер HDInsight.[1] Requires using a domain-joined HDInsight cluster.

[2] только предикаты фильтрации.[2] Filter predicates only. См. раздел безопасность на уровне строк .See Row-Level Security

[3] Поддерживается при использовании в виртуальной сети Azure.[3] Supported when used within an Azure Virtual Network.

docs.microsoft.com

Зачем нужна потоковая обработка данных, как её сочетать с пакетной, почему не обойтись без Apache Spark – DIS Group

Что такое потоковая обработка данных? Это – когда решение в реальном времени обрабатывает данные, которые поступают также в реальном времени, в формате потока, генерируются непрерывно. В потоке сложно определить полный и целостный набор данных. Обычно компании не имеют возможности хранить такие данные в полном объёме, произвольный доступ к ним есть не всегда.

Только знакомитесь с потоковой обработкой данных? Чтобы не запутаться в понятиях, прочитайте статью, 6 фактов об Apache Spark, которые нужно знать каждому. О значении потоковой обработки данных, необходимости сочетать её с пакетной и о том, как использовать для этого Apache Spark, размышляет Вамши Сриперумбудур. В Informatica Вашми занимается маркетингом решений Big Data и аналитики.

Задачи для потоковой обработки данных

Потоковая обработка данных применяется не только для данных, собранных через интернет вещей. Вот несколько примеров задач, для которых она будет полезна:

Бороться с финансовыми мошенничествами (фродом) в реальном времени;
Быстро сделать интересное предложение клиенту, который собирается перестать пользоваться вашими услугами или покупать у вас товары;
Ввести динамическое ценообразование, в некоторых случая оперативно снижать цену для клиентов;
Привлечь потенциального клиента в магазин, рядом с которым он находятся;
В реальном времени мониторить данные пациентов.

Существует множество других примеров использования потоковой обработки данных в финансовом секторе, телекоме, рознице, здравоохранении, энергетике и государственном секторе.

Управляем одновременно потоковой обработкой данных и пакетной

Зачастую потоковая обработка данных не приносит пользы без привлечения пакетной. Давайте представим, то мы определили клиента для маркетинговых коммуникаций. Он входит в магазин? Мы его идентифицируем (например, с помощью видеокамеры) и сразу в реальном времени делаем ему персонализированное предложение. Для этого мы можем использовать его поисковую историю в браузере или историю его покупок в нашем магазине.

Данные с видеокамеры будут поступать в потоке, потребуют потоковой обработки данных. Пакетная используется системами, в которых хранится информации о клиенте, на основе которой мы будем делать наше предложение. Например, это может быть MDM-система. Данные в первом и втором случае будут значительно различаться. Они поступают на разных скоростях, с разной латентностью, задержкой. Эти различия нужно будет преодолеть, чтобы в реальном времени сделать клиенту персональное предложение. Данные нужно будет интегрировать.

Потоковая обработка данных с Apache Spark: разбить поток на фрагменты

Раньше потоковую обработку данных можно было осуществлять только отдельно от пакетной. Это подразумевало, что традиционные ETL-решения не могли работать с данными в потоке (обрабатывать данные и вносить их в базы). Для таких задач нужно было внедрять отдельное решение.

Некоторые вендоры, которые предлагают решения, которые ориентированы только на потоковую обработку данных, даже заявляли, что пакетная не нужна совсем. Они доходили до того, что называли её видом потоковой обработки данных.

Например, среди решений, которые успешно применялись для потоковой обработки данных – Apache Spark. Он разделяет информацию на устойчивые распределенные наборы данных (RDD). По сути, Apache Spark разбивает поток данных на RDD – фрагменты данных, которые распределяются по разным узлам кластера. Несколько таких фрагментов соединяются вместе в микро-пакет – DStream (Discretized Stream). Несколько DStream могут обрабатываться параллельно.

Проблема с механизмом DStream как раз была в том, при его применении приходилось разделять потоковую обработку данных и пакетную, а это усложняло весь механизм работы с данными и делало её дороже.

Потоковая обработка данных с Apache Spark: превратить поток в бесконечную таблицу для SQL

Со второй версии в Apache Spark доступен Structured Streaming, который помог преодолеть недостаток DStream. Structured Streaming – это масштабируемый и отказоустойчивый фреймворк для потоковой обработки данных, в основе его Spark SQL. Structured Streaming представляет поток данных в виде бесконечной таблицы.

Решение позволяет и проводить потоковую обработку данных, и интеграцию их с данными, которые обрабатываются пакетной. Другими словами, Structured Streaming для решений Big Data пытается унифицировать потоковые, итеративные и пакетные запросы с помощью абстрактного структурирования данных.

У Informatica для потоковой обработки данных недавно появился новый инструмент – Edge Data Streaming. Читайте о нём в другой статье блога. На российском рынке решение также доступно.

dis-group.ru

Пакетная обработка данных Используя Image Batch Processor App

Эта часть примера показывает, как получить результаты операции пакетной обработки данных

Нажмите Export, чтобы просмотреть доступные опции. Вы можете результаты экспорта к рабочей области или к файлу, или можно получить код MATLAB, приложение раньше генерировало результаты.

Выберите опцию theExport result of all processed images to workspace, чтобы сохранить результаты в переменной рабочей области. Выберите результаты, вы хотите сохранить, и нажать OK. Общий подход должен сохранить результаты неизображений в рабочую область и сохранить образы, которые следуют из обработки в файлах. Пример сохраняет количество клеток наряду с именем входного файла к переменной numCells рабочей области.

По умолчанию приложение возвращает результаты, которые вы выбираете в таблице под названием allresults. Можно задать другое имя, и можно также принять решение сохранить результаты в структуре вместо этого. Если вы выбираете Include input image file name, приложение включает имя изображения, сопоставленного с результатами.

   numCells                      fileName                   
    ________    _____________________________________________

    7           'C:\cellprocessing\cellimages\AT3_1m4_10.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_01.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_02.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_03.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_04.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_05.tif'
    6           'C:\cellprocessing\cellimages\AT3_1m4_06.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_07.tif'
    9           'C:\cellprocessing\cellimages\AT3_1m4_08.tif'
    7           'C:\cellprocessing\cellimages\AT3_1m4_09.tif'

Выберите опцию the Export result of all processed images to files, чтобы сохранить образы, произведенные пакетной обработкой данных. Выберите формат файла для каждого возвращенного файла и нажмите OK. По умолчанию приложение хранит файлы в той же папке, которую вы задали, когда вы загрузили свои изображения, но можно задать другую папку.

Вот то, на что папка похожа после сохранения результатов в файлах.

06/19/2005  10:06 PM           310,202 AT3_1m4_01.tif
12/12/2015  11:22 AM             3,822 AT3_1m4_01_bw.tif
12/12/2015  11:22 AM           929,544 AT3_1m4_01_thresholdMask.tif
06/19/2005  10:06 PM           310,434 AT3_1m4_02.tif
12/12/2015  11:22 AM             3,840 AT3_1m4_02_bw.tif
12/12/2015  11:22 AM           929,550 AT3_1m4_02_thresholdMask.tif
06/19/2005  10:06 PM           310,314 AT3_1m4_03.tif
12/12/2015  11:22 AM             3,756 AT3_1m4_03_bw.tif
12/12/2015  11:22 AM           929,508 AT3_1m4_03_thresholdMask.tif
06/19/2005  10:06 PM           310,336 AT3_1m4_04.tif
12/12/2015  11:22 AM             3,806 AT3_1m4_04_bw.tif
12/12/2015  11:22 AM           929,512 AT3_1m4_04_thresholdMask.tif
06/19/2005  10:06 PM           310,378 AT3_1m4_05.tif
12/12/2015  11:22 AM             3,744 AT3_1m4_05_bw.tif
12/12/2015  11:22 AM           929,518 AT3_1m4_05_thresholdMask.tif
06/19/2005  10:06 PM           310,342 AT3_1m4_06.tif
12/12/2015  11:22 AM             3,730 AT3_1m4_06_bw.tif
12/12/2015  11:22 AM           929,538 AT3_1m4_06_thresholdMask.tif
06/19/2005  10:06 PM           310,352 AT3_1m4_07.tif
12/12/2015  11:22 AM             3,756 AT3_1m4_07_bw.tif
12/12/2015  11:22 AM           929,532 AT3_1m4_07_thresholdMask.tif
06/19/2005  10:06 PM           310,364 AT3_1m4_08.tif
12/12/2015  11:22 AM             3,746 AT3_1m4_08_bw.tif
12/12/2015  11:22 AM           929,482 AT3_1m4_08_thresholdMask.tif
06/19/2005  10:06 PM           310,266 AT3_1m4_09.tif
12/12/2015  11:22 AM             3,732 AT3_1m4_09_bw.tif
12/12/2015  11:22 AM           929,500 AT3_1m4_09_thresholdMask.tif
06/19/2005  10:06 PM           310,288 AT3_1m4_10.tif
12/12/2015  11:22 AM             3,718 AT3_1m4_10_bw.tif
12/12/2015  11:22 AM           929,504 AT3_1m4_10_thresholdMask.tif

Выберите опцию the Generate function, чтобы получить код MATLAB, приложение раньше обрабатывало ваши файлы. Приложение генерирует функцию, которая принимает входное имя папки и выходное имя папки как входные параметры. По умолчанию функция возвращает таблицу с результатами, но можно выбрать структуру вместо этого. Для результатов изображений можно задать формат файла и хотите ли вы, чтобы функция записала изображение в заданную выходную папку. Чтобы получить код, нажмите OK.

docs.exponenta.ru

пакетная обработка данных — это… Что такое пакетная обработка данных?

пакетная обработка данных: batch processing

пакетная обработка
пакетная обработка заданий

Смотреть что такое «пакетная обработка данных» в других словарях:

Пакетная обработка данных — организация выполнения нескольких программ в определенной последовательности с помощью команд операционной системы. Пакетная обработка организуется с помощью пакетных файлов. См. также: Обработка данных Финансовый словарь Финам … Финансовый словарь
ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ — (batch processing) Компьютерный метод обработки данных, предполагающий, что подлежащие выполнению программы для обработки группируются в пакеты. Вся информация, необходимая компьютеру для выполнения программ, загружается в него с самого начала, с … Словарь бизнес-терминов
Easy Projects .NET — Диаграмма Гантта в Easy Projects .NET Тип управление проектами Разработчик Logic Software Написана на .NET Операционная система … Википедия
ДИАЛОГОВЫЙ — (interactive) Определение компьютерной системы, при которой оператор может общаться с компьютером, работающим по программе. Программа помогает оператору, когда ему необходима информация, и останавливается, пока не выдаст информацию. Диалоговые… … Словарь бизнес-терминов
Мультипрограммирование — многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… … Большая советская энциклопедия
MagicPlot — Тип Математическое программное обеспечение Разработчик … Википедия
FastStone Image Viewer — FastStone Image Viewer … Википедия
КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… … Энциклопедия банковского дела и финансов
Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей … Википедия
Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… … Википедия
Бэйсик — BASIC Класс языка: алгоритмическое, процедурное, объектное программирование Появился в: 1963 г. Типизация данных: нестрогая Бейсик (BASIC сокращение от англ. Beginner s All purpose Symbolic Instruction Code универсальный код символических… … Википедия

dic.academic.ru

пакетная обработка данных — с русского на английский

См. также в других словарях:

Пакетная обработка данных — организация выполнения нескольких программ в определенной последовательности с помощью команд операционной системы. Пакетная обработка организуется с помощью пакетных файлов. См. также: Обработка данных Финансовый словарь Финам … Финансовый словарь
ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ — (batch processing) Компьютерный метод обработки данных, предполагающий, что подлежащие выполнению программы для обработки группируются в пакеты. Вся информация, необходимая компьютеру для выполнения программ, загружается в него с самого начала, с … Словарь бизнес-терминов
Easy Projects .NET — Диаграмма Гантта в Easy Projects .NET Тип управление проектами Разработчик Logic Software Написана на .NET Операционная система … Википедия
ДИАЛОГОВЫЙ — (interactive) Определение компьютерной системы, при которой оператор может общаться с компьютером, работающим по программе. Программа помогает оператору, когда ему необходима информация, и останавливается, пока не выдаст информацию. Диалоговые… … Словарь бизнес-терминов
Мультипрограммирование — многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… … Большая советская энциклопедия
MagicPlot — Тип Математическое программное обеспечение Разработчик … Википедия
FastStone Image Viewer — FastStone Image Viewer … Википедия
КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… … Энциклопедия банковского дела и финансов
Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей … Википедия
Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… … Википедия
Бэйсик — BASIC Класс языка: алгоритмическое, процедурное, объектное программирование Появился в: 1963 г. Типизация данных: нестрогая Бейсик (BASIC сокращение от англ. Beginner s All purpose Symbolic Instruction Code универсальный код символических… … Википедия

translate.academic.ru

пакетная обработка (данных) — со всех языков на русский

См. также в других словарях:

Пакетная обработка данных — организация выполнения нескольких программ в определенной последовательности с помощью команд операционной системы. Пакетная обработка организуется с помощью пакетных файлов. См. также: Обработка данных Финансовый словарь Финам … Финансовый словарь
ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ — (batch processing) Компьютерный метод обработки данных, предполагающий, что подлежащие выполнению программы для обработки группируются в пакеты. Вся информация, необходимая компьютеру для выполнения программ, загружается в него с самого начала, с … Словарь бизнес-терминов
Easy Projects .NET — Диаграмма Гантта в Easy Projects .NET Тип управление проектами Разработчик Logic Software Написана на .NET Операционная система … Википедия
ДИАЛОГОВЫЙ — (interactive) Определение компьютерной системы, при которой оператор может общаться с компьютером, работающим по программе. Программа помогает оператору, когда ему необходима информация, и останавливается, пока не выдаст информацию. Диалоговые… … Словарь бизнес-терминов
Мультипрограммирование — многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… … Большая советская энциклопедия
MagicPlot — Тип Математическое программное обеспечение Разработчик … Википедия
FastStone Image Viewer — FastStone Image Viewer … Википедия
КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… … Энциклопедия банковского дела и финансов
Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей … Википедия
Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… … Википедия
Бэйсик — BASIC Класс языка: алгоритмическое, процедурное, объектное программирование Появился в: 1963 г. Типизация данных: нестрогая Бейсик (BASIC сокращение от англ. Beginner s All purpose Symbolic Instruction Code универсальный код символических… … Википедия

translate.academic.ru

пакетная обработка данных — это… Что такое пакетная обработка данных?

пакетная обработка данных: 1) Computers: Batch computing jobs

пакетная обработка
пакетная обработка данных, поступивших за ночь

Смотреть что такое «пакетная обработка данных» в других словарях:

Пакетная обработка данных — организация выполнения нескольких программ в определенной последовательности с помощью команд операционной системы. Пакетная обработка организуется с помощью пакетных файлов. См. также: Обработка данных Финансовый словарь Финам … Финансовый словарь
ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ — (batch processing) Компьютерный метод обработки данных, предполагающий, что подлежащие выполнению программы для обработки группируются в пакеты. Вся информация, необходимая компьютеру для выполнения программ, загружается в него с самого начала, с … Словарь бизнес-терминов
Easy Projects .NET — Диаграмма Гантта в Easy Projects .NET Тип управление проектами Разработчик Logic Software Написана на .NET Операционная система … Википедия
ДИАЛОГОВЫЙ — (interactive) Определение компьютерной системы, при которой оператор может общаться с компьютером, работающим по программе. Программа помогает оператору, когда ему необходима информация, и останавливается, пока не выдаст информацию. Диалоговые… … Словарь бизнес-терминов
Мультипрограммирование — многопрограммная работа, метод одновременного выполнения на ЦВМ нескольких программ (См. Программа), относящихся к различным задачам. Повышение быстродействия процессоров, увеличение объёмов памяти и состава разнообразных устройств ввода… … Большая советская энциклопедия
MagicPlot — Тип Математическое программное обеспечение Разработчик … Википедия
FastStone Image Viewer — FastStone Image Viewer … Википедия
КОМПЬЮТЕР — COMPUTERУстройство для выполнения арифметических логических операций. Эти операции выполняются автоматически по заданной программе. К. используются в основном для быстрой обработки данных. Существует много классификаций К., однако одним из… … Энциклопедия банковского дела и финансов
Progress 4GL — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей … Википедия
Progress 4gl — это 4GL Язык программирования, разработанный Progress Software Corporation. Язык Четвертого Поколения PROGRESS (4GL) является функционально полным высокоуровневым, объектно ориентированным языком разработки приложений, который позволяет… … Википедия
Бэйсик — BASIC Класс языка: алгоритмическое, процедурное, объектное программирование Появился в: 1963 г. Типизация данных: нестрогая Бейсик (BASIC сокращение от англ. Beginner s All purpose Symbolic Instruction Code универсальный код символических… … Википедия

universal_ru_en.academic.ru

Обработка

Photo-ideas.ru - Все, что можно делать с фото

Пакетная обработка данных – ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ

Выбор технологии пакетной обработки | Microsoft Docs

В этой статье

Технологии пакетной обработкиTechnology choices for batch processing

Azure Synapse AnalyticsAzure Synapse Analytics

Аналитика озера данных AzureAzure Data Lake Analytics

HDInsightHDInsight

Azure DatabricksAzure Databricks

Набор средств для инжиниринга распределенных данных AzureAzure Distributed Data Engineering Toolkit

Основные критерии выбораKey selection criteria

Матрица возможностейCapability matrix

Общие возможностиGeneral capabilities

ВозможностиCapabilities

Зачем нужна потоковая обработка данных, как её сочетать с пакетной, почему не обойтись без Apache Spark – DIS Group

Задачи для потоковой обработки данных

Управляем одновременно потоковой обработкой данных и пакетной

Потоковая обработка данных с Apache Spark: разбить поток на фрагменты

Потоковая обработка данных с Apache Spark: превратить поток в бесконечную таблицу для SQL

Пакетная обработка данных Используя Image Batch Processor App

пакетная обработка данных — это… Что такое пакетная обработка данных?

Смотреть что такое «пакетная обработка данных» в других словарях:

пакетная обработка данных — с русского на английский

См. также в других словарях:

пакетная обработка (данных) — со всех языков на русский

См. также в других словарях:

пакетная обработка данных — это… Что такое пакетная обработка данных?

Смотреть что такое «пакетная обработка данных» в других словарях:

Leave a Reply Отменить ответ