SQLRU.net
Разработка приложений баз данных

Начало » Использование СУБД » Firebird, HQbird, InterBase » Что такое db_key (и как с ним бороться?)
Re: Что такое db_key [сообщение #3714 является ответом на сообщение #3713] Mon, 13 November 2023 14:09 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 889
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
sim_84
Простые варианты - это параллельный экспорт каких-то данных.
Более сложные это построение сложного отчёта или аналитики.
Но тут надо придумать как вычисления распределять между рабочими потоками.
не надо это делать "снаружи" сервера.

зы: да, мне с печи виднее. ©
Re: Что такое db_key [сообщение #3715 является ответом на сообщение #3714] Mon, 13 November 2023 14:22 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
Ну пока что у нас нет параллелизма при выполнении запросов.
На клиенте вполне можно распараллелить что-нибудь вроде кучи запросов соединённых через uion.

З.Ы. Я не призываю это делать, но возможность такая есть и это здорово.
Re: Что такое db_key [сообщение #3716 является ответом на сообщение #3715] Mon, 13 November 2023 14:28 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 889
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
и эти люди запрещают мне ковырять в носу критикуют "плоские" БД
Re: Что такое db_key [сообщение #3717 является ответом на сообщение #3715] Mon, 13 November 2023 15:06 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 417
Зарегистрирован: August 2022
Senior Member
sim_84 писал(а) Mon, 13 November 2023 12:22
Ну пока что у нас нет параллелизма при выполнении запросов.
А что, собственно, мешает FullTableScan-у делать то же самое, что и этот "параллельный бэкап"?..

PS: Основная просадка скорости бэкапа идёт всё равно на блобах, параллельное чтение самих записей меркнет на её фоне.
Re: Что такое db_key [сообщение #3718 является ответом на сообщение #3717] Mon, 13 November 2023 15:13 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
SD
sim_84
Ну пока что у нас нет параллелизма при выполнении запросов.
А что, собственно, мешает FullTableScan-у делать то же самое, что и этот "параллельный бэкап"?..
Тут обычно появляется некий aafemt и предлагает предоставить патч

SD
PS: Основная просадка скорости бэкапа идёт всё равно на блобах, параллельное чтение самих записей меркнет на её фоне.
На каких блобах ?
Есть реальный пример ?
Re: Что такое db_key [сообщение #3719 является ответом на сообщение #3717] Mon, 13 November 2023 15:17 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
Цитата:
А что, собственно, мешает FullTableScan-у делать то же самое, что и этот "параллельный бэкап"?..
Это возможно, но я думаю что там работы чуть больше чем тебе кажется, потому и не сделано ещё.
Самый главный вопрос, а куда девать прочитанные, но ещё не обработанные записи. В случае хеширования записей таблицы или сортировки оно понятно.
А вот если источник данных не буферизирован, то надо думать, ибо прочитанные записи обрабатываются последовательно другими методами доступа.

>> PS: Основная просадка скорости бэкапа идёт всё равно на блобах, параллельное чтение самих записей меркнет на её фоне.

Не каждая таблица содержит блобы, и не каждый блоб NOT NULL. Но даже там где они есть, не думаю что всё катастрофически плохо, если не используется сетевой протокол.

[Обновления: Mon, 13 November 2023 15:27]

Известить модератора

Re: Что такое db_key [сообщение #3720 является ответом на сообщение #3718] Mon, 13 November 2023 15:36 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 417
Зарегистрирован: August 2022
Senior Member
hvlad писал(а) Mon, 13 November 2023 13:13
Тут обычно появляется некий aafemt и предлагает предоставить патч
Или не появляется, потому что ждёт пока применят уже стоящие в очереди патчи.

hvlad писал(а) Mon, 13 November 2023 13:13
На каких блобах ?
Есть реальный пример ?
Свеженькое: https://groups.google.com/g/firebird-support/c/RbZt1dIPJ3g/m /U5n_tav9AgAJ
Re: Что такое db_key [сообщение #3721 является ответом на сообщение #3720] Mon, 13 November 2023 15:45 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
SD
hvlad писал(а) Mon, 13 November 2023 13:13
Тут обычно появляется некий aafemt и предлагает предоставить патч
Или не появляется, потому что ждёт пока применят уже стоящие в очереди патчи.
Т.е. у тебя уже есть соотв. патч ? И все могут расслабиться ? Wow!

SD
hvlad писал(а) Mon, 13 November 2023 13:13
На каких блобах ?
Есть реальный пример ?
Свеженькое: https://groups.google.com/g/firebird-support/c/RbZt1dIPJ3g/m /U5n_tav9AgAJ
Феерический звиздёж. Где там про блобы ? И где про параллельный бекап ?
Т.е. ты снова выдаёшь свои фантазии за твёрдые факты.
Re: Что такое db_key [сообщение #3722 является ответом на сообщение #3720] Mon, 13 November 2023 15:59 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
SD писал(а) Mon, 13 November 2023 15:36
hvlad писал(а) Mon, 13 November 2023 13:13
Тут обычно появляется некий aafemt и предлагает предоставить патч
Или не появляется, потому что ждёт пока применят уже стоящие в очереди патчи.
При всём уважении, ты реально считаешь что "Давать возможность задавать владельца при создании БД" и "Параллельное выполнение запросов" это фичи одного порядка?
Я сильно сомневаюсь, что у тебя есть наработки в этой области.

SD писал(а) Mon, 13 November 2023 15:36

hvlad писал(а) Mon, 13 November 2023 13:13
На каких блобах ?
Есть реальный пример ?
Свеженькое:    https://groups.google.com/g/firebird-support/c/RbZt1dIPJ3g/m /U5n_tav9AgAJ
Это вообще не о том. Как я и подозревал речь о бекапе через сетевой протокол

[Обновления: Mon, 13 November 2023 16:12]

Известить модератора

Re: Что такое db_key [сообщение #3723 является ответом на сообщение #3722] Mon, 13 November 2023 17:01 Переход к предыдущему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 417
Зарегистрирован: August 2022
Senior Member
sim_84 писал(а) Mon, 13 November 2023 13:59

При всём уважении, ты реально считаешь что "Давать возможность задавать владельца при создании БД" и "Параллельное выполнение запросов" это фичи одного порядка?
Я сильно сомневаюсь, что у тебя есть наработки в этой области.
Если даже простые патчи месяцами ждут одобрения, прикинь что будет если я реально выкачу патч, который перепашет половину VIO, поскольку считаю, что параллелить надо операции доступа к записям внутри одного коннекта, а не отделываться паллиативами?

Когда-то не так уж и давно я тут предлагал протестировать мою наработку под названием Fireswarm. Да, там было именно ускорение сетевого протокола и возможность использовать один коннект из нескольких потоков (в том числе фетч из одного резалт-сета). Желающих сделать это нахаляву нашлось ровно ноль, не говоря уже о спонсорах. Наработка присоединилась юникодному движку в долгом recycle bin.
Предыдущая тема: Как получить что 15/60 = 0.25
Следующая тема: создание объектов БД через ibescript
Переход к форуму:
  


Текущее время: Sun Dec 22 19:37:24 GMT+3 2024

Общее время, затраченное на создание страницы: 0.00838 секунд