Заметки из Зазеркалья

28.01.2025

Хранилище двоичных данных: автоматическое распределение данных по серверам на основании частоты обращения к ним

Данная статья является анонсом новой функциональности.
Не рекомендуется использовать содержание данной статьи для освоения новой функциональности.
Полное описание новой функциональности будет приведено в документации к соответствующей версии.
Полный список изменений в новой версии приводится в файле v8Update.htm.

Планируется в версии 8.5.3

Мы продолжаем развивать хранилище двоичных данных.

Механизм хранилища двоичных данных позволяет хранить большие двоичные данные (сканы документов, фотографии, аудио- и видеозаписи) не в базе данных, а в специализированном хранилище (в файловой системе или внешнем S3-хранилище). Это позволяет существенно уменьшить размер базы данных и снизить нагрузку на неё. При хранении данных в файловой системе есть возможность хранить двоичные данные более чем на одном сервере кластера.

На крупных внедрениях объёмы двоичных данных исчисляются десятками терабайт, при этом значительная часть из них не является активно используемой. При этом в кластере есть как производительные серверы с быстрыми процессорами и SSD-дисками, так и менее производительные серверы. Очевидно, что помещение часто используемых двоичных данных на более быстрые серверы повысит производительность системы, а редко используемые данные можно размещать на менее производительных серверах, экономя ресурсы.

В версии 8.5.3 появится возможность автоматического распределения двоичных данных на основании частоты обращения к ним: часто используемые данные размещаются на быстрых серверах, редко используемые – на медленных.

Функциональность будет работать только при использовании в качестве хранилища двоичных данных файловой системы.

Для краткости будем называть часто используемые данные «горячими», редко используемые данные – «холодными».

Для использования новой функциональности можно будет указать, какие серверы обеспечивают высокую скорость доступа к данным, а какие медленную:

img-01.png

По умолчанию все серверы считаются «быстрыми».

Также можно будет:

  • Определить правила первичного размещения данных, для которых еще неясен их статус («горячие» или «холодные»): необходимо записывать их сначала на быстрые или сначала на медленные серверы.

  • Задать параметры статистики обращений к данным, которые определяют, какие данные считаются горячими и должны размещаться на быстрых серверах, а какие считаются холодными и должны размещаться на медленных серверах.

img-02.png
Если за "Количество дней накопления статистики обращений" происходит не меньше числа обращений, указанных в параметре "Количество обращений для смены скорости доступа", то данные считаются горячими, иначе – холодными.

Перенос горячих и холодных данных между серверами стартует после того, как прошло время "Количество дней накопления статистики обращений" + "Количество дней перед переносом данных" (например, при настройках как на скриншоте выше перенос начнется через 150 дней) после предыдущего переноса данных или после применения новых настроек. Перенос данных работает, пока не распределит все данные в соответствии с настройками.

Для поддержки новой функциональности будет расширен встроенный язык, административная консоль MMC, утилита rac, расширены административные интерфейсы COM и Java API, соответствующим образом расширена функция для технического специалиста «Управление серверами».

Мы рассчитываем, что эта функциональность ускорит работу систем на платформе 1С:Предприятие на крупных внедрениях, использующих хранилище двоичных данных при больших объемах двоичных данных (терабайты и десятки терабайт).


Теги: 8.5.3  хранилище двоичных данных 

Рассказать друзьям: