Изменять тип данных при импорте

Концепция

Для редактирования типа данных в подключении (в скрипте загрузки) необходимо сначала подготовить функционал по определению подходящего типа данных для поля при загрузке. Если для загрузки из БД тип уже определен, то для загрузки из файла (н-р, Excel) на данный момент по умолчанию устанавливается String. При нажатии на заголовок столбца в таблице в подключении должен раскрываться список с доступными типами данных, где на первом месте будет стоять рекомендуемый (загруженный по метаданным из БД или файла). При выборе подходящего типа данных он фиксируется для указанного поля (и переносится в скрипт). При выборе неподходящего типа данных выдаётся ошибка.

Задание на разработку

При создании подключения в окне «Выбрать данные» (старом) и окне предварительного просмотра (новом) необходимо добавить двухуровневый список. На первом уровне находятся все основные типы данных с той иконкой, которая будет установлена при выборе. Текущий тип данных столбца должен быть выделен заливкой. Рекомендуемый тип данных (см. п.1.2) должен выделяться цветной обводкой. На втором уровне, открывающемся в виде списка при выборе типа данных на первом уровне, должны быть типы данных на языке ClickHouse с указанием точности, длины и других необходимых характеристик. При наличии возможности ввода дополнительных параметров (н-р, разрядности для Decimal) необходимо при нажатии на тип данных выводить поле для внесения этих параметров.

1. Список типов (x.x. – первый уровень списка; x.x.x. – второй уровень; «::» - поле для ввода дополнительных параметров, при отсутствии названия выводить только поле):

1.1. «Целое число» – целые числа разного размера:

1.1.1. Int – знаковые целые :: разрядность списком (8, 16, 32, 64, 128, 256)

1.1.2. UInt – беззнаковые целые :: разрядность списком (8, 16, 32, 64, 128, 256)

1.2. «Вещественное число»:

1.2.1. Float32, Float64 – числа с плавающей точкой

1.2.2. Decimal – число с фиксированной точностью :: поле «Длина» (максимальное количество цифр), поле «Разрядность» (количество цифр после запятой)

1.3. «Строковые типы»:

1.3.1. String – строка произвольной длины для любого текста

1.3.2. FixedString – строка фиксированной длины :: максимальное количество знаков

1.4. «Дата и время»:

1.4.1. Date – дата в диапазоне [1970-01-01, 2149-06-06]

1.4.2. Date32 – дата в четырех байтах, представляющим дни с 1970-01-01 (0 представляет 1970-01-01, а отрицательные значения представляют дни до 1970)

1.4.3. DateTime – дата и время в диапазоне [1970-01-01 00:00:00, 2106-02-07 06:28:15]

1.4.4. DateTime64 – момент времени с суб-секундной точностью в диапазоне [1900-01-01 00:00:00, 2299-12-31 23:59:59.99999999] :: точность тика (число от 1 до 8)

1.5. «Логический тип» (принимает только значения True и False, а также их аналоги, н-р 1 и 0)

2. Рекомендуемый тип данных. При создании подключения к СУБД рекомендуемым является тот тип данных, который был указан в СУБД для рассматриваемого столбца. При создании подключения к файлу рекомендуемым является тот тип, который был определен автоматически (даже при смене типа данных установленный системой тип должен быть выделен в общем списке)

3. Ошибки. В случае выбора неподходящего типа данных должно выдавать ошибки (как пример):

1.4.1. "Невозможно перевести в указанный тип данных"

1.4.2. Выбор типа данных с меньшим диапазоном, чем необходимо: "Cannot parse number: unexpected end of input while parsing Int32: (at row 1). Сhange to an Int64 or type with a higher bit depth"

1.4.3.Неверный формат даты или времени (нет функции автоматического приведения формата "DD.MM.YYYY" к "DD-MM-YYYY")

В SQL-представлении все полученные с помощью редактирования типы данных должны записываться в формате "Имя_столбца" Nullable (Тип данных), чтобы не было конфликтов с Null-строками