SQLRU.net
Разработка приложений баз данных
Начало » Использование СУБД » Firebird, HQbird, InterBase » Требуются молодые сурки для смелых экспериментов
Требуются молодые сурки для смелых экспериментов [сообщение #5337] Thu, 15 August 2024 14:19 Переход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 410
Зарегистрирован: August 2022
Senior Member
...у которых есть более-менее приличная по размерам база и которым не лень сравнить скорость её восстановления между ванильным Firebird 6 и артефактами из этой сборки. По сети (хотя бы localhost), без использования сервисов.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5368 является ответом на сообщение #5337] Tue, 27 August 2024 16:55 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 330
Зарегистрирован: June 2022
Senior Member
1. У меня нет приличных по размеру БД. Больше 50 Гигов
2. В чём великий смысл делать рестор без использования сервисов?

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5369 является ответом на сообщение #5368] Wed, 28 August 2024 00:55 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 410
Зарегистрирован: August 2022
Senior Member
sim_84 писал(а) Tue, 27 August 2024 15:55

2. В чём великий смысл делать рестор без использования сервисов?
В этом режиме gbak использует Batch вместо BLR для влива данных. Мне любопытно узнать какое влияние мои изменения оказали на его скорость.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5370 является ответом на сообщение #5369] Wed, 28 August 2024 11:03 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 162
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
Бэкапил метаданные через VPN с "географической" задержкой на уровне 80 мсек.
Без сервисов это прямо катастрофа - что-то около получаса на пару-тройку сотен мегабайт.
И меня опять терзают смутные сомнения, что Batch API это всё как-то поменяет.
В этом смысле, если и сравнивать, то сравнивать надо для xnet.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5373 является ответом на сообщение #5370] Wed, 28 August 2024 15:00 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 330
Зарегистрирован: June 2022
Senior Member
Вообще-то поменяет. Но всё равно будет уступать service api

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5375 является ответом на сообщение #5373] Wed, 28 August 2024 19:09 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 162
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
Я про то, что задержку на канале даже кратное уменьшение количество передач не скомпенсирует полностью - вряд ли можно (с пользой) применить Batch API на передаче метаданных. И передачу данных сотен и тысяч таблиц тоже придётся подготавливать каждую отдельно.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5376 является ответом на сообщение #5375] Wed, 28 August 2024 21:15 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 330
Зарегистрирован: June 2022
Senior Member
Ну вот ты не пробовал, а говоришь. А я пробовал. BatchApi может дать ускорение 2-10 раз. Но это все равно сильно медленней сервисов. На localhost batchapi дает почти ту же скорость что и сервисы.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5379 является ответом на сообщение #5376] Thu, 29 August 2024 09:46 Переход к предыдущему сообщениюПереход к следующему сообщению
dimitr в настоящее время не в онлайне  dimitr
Сообщений: 18
Зарегистрирован: July 2022
Junior Member
База под рукой была только маленькая - 36 гигов (бекап 22 гига). Ресторил на медленный диск (SATA SSD).

Ванильный ФБ:

gbak (embedded): 17m2,733s
gbak (localhost): 24m37,634s

Артефакт:

gbak (embedded): 16m49,982s
gbak (localhost): 22m9,491s

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5380 является ответом на сообщение #5379] Thu, 29 August 2024 09:49 Переход к предыдущему сообщениюПереход к следующему сообщению
dimitr в настоящее время не в онлайне  dimitr
Сообщений: 18
Зарегистрирован: July 2022
Junior Member
Если надо повторить с -par или на NVMe-диске - дай знать.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5381 является ответом на сообщение #5376] Thu, 29 August 2024 09:55 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 162
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
sim_84 писал(а) Thu, 29 August 2024 02:15
Ну вот ты не пробовал, а говоришь. А я пробовал. BatchApi может дать ускорение 2-10 раз. Но это все равно сильно медленней сервисов. На localhost batchapi дает почти ту же скорость что и сервисы.
Даже при доступе через VPN есть катастрофическая разница между "географически рядом" (20-30 мсек) и "географически далеко" (80-90 мсек). Толку ускорить на порядок 80% операций, если оставшиеся 20% на порядок-полтора замедлились?
И потом - финальный вывод (подчёркнуто) как от этого меняется?

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5382 является ответом на сообщение #5379] Thu, 29 August 2024 12:24 Переход к предыдущему сообщениюПереход к следующему сообщению
dimitr в настоящее время не в онлайне  dimitr
Сообщений: 18
Зарегистрирован: July 2022
Junior Member
dimitr писал(а) Thu, 29 August 2024 09:46

Ванильный ФБ:

gbak (embedded): 17m2,733s
gbak (localhost): 24m37,634s

Артефакт:

gbak (embedded): 16m49,982s
gbak (localhost): 22m9,491s
При -par 8 разница нивелируется до 1 мин (15m15,746s vs 14m28,440s)

[Обновления: Thu, 29 August 2024 12:25]

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5383 является ответом на сообщение #5382] Thu, 29 August 2024 15:26 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 410
Зарегистрирован: August 2022
Senior Member
dimitr писал(а) Thu, 29 August 2024 11:24

При -par 8 разница нивелируется до 1 мин (15m15,746s vs 14m28,440s)
Хорошо было бы взять статистику только влива данных, но и 5% от общего времени тоже приятный бонус. Ускорение, собственно, не являлось главной целью PR, там просто вызов одной процедуры был удалён в процессе рефакторинга.

[Обновления: Thu, 29 August 2024 15:27]

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5386 является ответом на сообщение #5383] Fri, 30 August 2024 09:32 Переход к предыдущему сообщениюПереход к следующему сообщению
dimitr в настоящее время не в онлайне  dimitr
Сообщений: 18
Зарегистрирован: July 2022
Junior Member
SD писал(а) Thu, 29 August 2024 15:26
Хорошо было бы взять статистику только влива данных
gbak -i (localhost): 15m43,668s vs 13m29,539s

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5387 является ответом на сообщение #5386] Fri, 30 August 2024 14:49 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 410
Зарегистрирован: August 2022
Senior Member
dimitr писал(а) Fri, 30 August 2024 08:32

gbak -i (localhost): 15m43,668s vs 13m29,539s
Ого, 14%. Это уже близко к разнице скорости, замеченной при сравнении вставок через DSQL и BLR.

Есть какие-нибудь шансы, что этот PR будет принят?

[Обновления: Fri, 30 August 2024 14:53]

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5388 является ответом на сообщение #5383] Fri, 30 August 2024 18:44 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 76
Зарегистрирован: July 2022
Member
SD писал(а) Thu, 29 August 2024 15:26
...там просто вызов одной процедуры был удалён...
Если процедура выполняла какие-то внутренние тесты, проверки, то, imho, удалять ее не правильно. Базы часто сыпятся после отключения питания, сбоев ОС, драйверов и проч. И тогда на помощь приходят резервные копии, которые всегда проходят цикл restore как гарантию того, что все в порядке. Но если такой гарантии нет, то нафиг такое ускорение.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5389 является ответом на сообщение #5388] Sat, 31 August 2024 00:44 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 410
Зарегистрирован: August 2022
Senior Member
ggreggory писал(а) Fri, 30 August 2024 17:44

Если процедура выполняла какие-то внутренние тесты, проверки, то, imho, удалять ее не правильно.
Эта процедура копировала данные записи между двумя буферами поле-по-полю. Грубо говоря, я заменил её на memcpy.

Известить модератора

Re: Требуются молодые сурки для смелых экспериментов [сообщение #5390 является ответом на сообщение #5389] Sat, 31 August 2024 11:41 Переход к предыдущему сообщению
BlackEric в настоящее время не в онлайне  BlackEric
Сообщений: 360
Зарегистрирован: June 2022
Senior Member
Есть генераторы тестовых данных для бд: Нhttps://github.com/GoranSiska/rxrdg - на гитхабе в исходниках.
18 лучших инструментов для генерации тестовых данных - коммерческие.

Можно сгенерировать тестовую бд любого объема и проверять все что нужно.

Известить модератора

Предыдущая тема: CLOB в varchar
Следующая тема: Подключение к базе данных во время работы nbackup
Переход к форуму:
  

[ Сформировать XML ] [ RSS ] [ PDF ]

Текущее время: Thu Nov 21 14:49:26 GMT+3 2024

Общее время, затраченное на создание страницы: 0.00890 секунд
.:: Обратная связь :: Начало ::.

При поддержке: FUDforum 3.1.3.
© 2001-2022 FUDforum Bulletin Board Software