v1.7.2

Новое окно предпросмотра для импорта из файла

В диспетчере данных при создании подключения из файла теперь доступно окно предпросмотра загружаемых данных. Наряду с настройками подключения в данном окне можно настраивать предобработку данных до загрузки, включая:

1. Исключение пустых столбцов
2. Определение первой строки для загрузки данных
3. Определение заголовков
   
4. Изменение типа данных столбца
5. Переименование полей и таблиц

Для применения любых изменений в окне предварительного просмотра достаточно воспользоваться кнопкой "Обновить предпросмотр"

Исключение пустых столбцов

Настройка позволяет убрать из подключения все столбцы, в которых отсутствуют записи с данными

Определение первой строки для загрузки данных

С помощью поля ввода "Загружать с . . . строки" можно установить первую строку для загрузки данных из источника. Все строки, идущие до неё, будут проигнорированы. Нельзя указать значение больше, чем всего строк в источнике.

Определение заголовков

Чекбокс "Есть заголовки" отвечает за использование первой загруженной строки из файла в качестве заголовка таблицы. Если чекбокс не выбран, то данная строка считается строкой с данными в теле таблицы, а заголовок генерируется системой в формате "column_N", где N – номер столбца.

Изменение типа данных столбца

Теперь изменить тип данных столбца можно прямо в интерфейсе системы, без использования редактора скрипта загрузки и SQL-кода. Чтобы изменить тип данных столбца необходимо навести на его заголовок курсор мыши и нажать на значок карандаша рядом с установленным типом данных.

Для того, чтобы установить тип данных, достаточно выбрать один из пяти предустановленных типов. Для детальной настройки можно открыть дополнительное меню нажатием на значок . Дополнительные настройки зависят от выбранного типа и могут устанавливать, например, длину строки или разрядность значений.

Система проверяет корректность введённого типа данных для столбца по его значениям и выдаст предупреждение при попытке установить неподходящий тип данных.

Переименование полей и таблиц

Чтобы изменить название столбца или таблицы необходимо навести на него курсор мыши и нажать на значок карандаша рядом с текущим названием. Откроется модальное окно, в которое можно записать новое название столбца или таблицы.

Автоматическое определение типов данных при импорте из файла

Теперь при загрузке из файла система автоматически будет определять наиболее подходящий тип данных для каждого столбца, основываясь на значениях внутри них.

ВАЖНО! В расчёт берётся столько значений из каждого столбца, сколько указано строк для предварительного просмотра. Установить это значение можно в левой части окна импорта с помощью поля ввода "Строк предпросмотра".

При необходимости всем столбцам можно присваивать по умолчанию строковый тип данных. Управлять переключением между автоопределением типов данных и установкой во всех столбцах строкового типа можно с помощью раскрывающегося списка "Установить тип данных".

Автоматическое определение кодировки

Теперь система умеет работать с бОльшим числом кодировок файлов CSV, TXT и XML. При выборе файла одного из этих форматов входной тип кодировки будет определен автоматически. Результат импорта будет переведён в кодировку UTF-8

Эталонный файл для мультифайловой загрузки

Теперь при загрузке всех данных из папки необходимо выбрать "эталонный" файл – структура данных в БД формируемого источника будет определяться параметрами, указанными для такого файла. При необходимости изменить структуру все правки также необходимо вносить в эталонный файл.

Загрузка файлов с вложенными структурами данных

Можно загружать файлы формата JSON и XML, содержащие в себе вложенные структуры данных. Все уровни вложения при этом будут рассмотрены как отдельные таблицы, связанные с верхним уровнем как с родительской таблицей. Для этого системой генерируются уникальные ключи, которые можно использовать в модели данных для построения связей между такими таблицами.