SQLRU.net
Разработка приложений баз данных

Начало » Использование СУБД » Firebird, HQbird, InterBase » Вышел Firebird 5 Release Candidate!
Вышел Firebird 5 Release Candidate! [сообщение #3214] Fri, 29 September 2023 17:53 Переход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
Хорошие новости! Вышел релиз кандидат версии Firebird 5.0! Это означает, что все функции и возможности зафиксированы, и можно начинать интенсивное тестирование!

Особенно интересен Firebird 5 для тех, кто использует Firebird 4, так как 5-ка может работать с базами от 4-ки без необходимости бэкапа-рестора.

Миграция с 4-ки также упрощена и не требует бэкапа-рестора, можно просто использовать gfix -upgrade (предварительно сделав файловую копию, например с помощью nbackup)

Также, хочется отметить тот факт, что 5-ка впервые выходит на 11 платформах, включая ARM для Linux и Android.

Больше подробностей в самом скором времени!

На следующей неделе мы (IBase) начнем публиковать подробные материалы по новым возможностям Firebird 5.
А пока качайте, читайте Release Notes, и пробуйте запустить свои проекты прямо на 5-ке.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3224 является ответом на сообщение #3214] Mon, 02 October 2023 12:05 Переход к предыдущему сообщениюПереход к следующему сообщению
 в настоящее время не в онлайне 
Сообщений: 198
Зарегистрирован: September 2022
Senior Member
А вот бывалоча, RN сразу на русском языке публиковали.
И так ни шиша непонятно, а тут ещё и на ангельском.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3227 является ответом на сообщение #3224] Mon, 02 October 2023 16:48 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 77
Зарегистрирован: July 2022
Member
Скажите кто в теме. При ресторе распараллеливание создания индексов идет в рамках одного индекса или нескольких? Т.е. работает ли ситуация, когда индексы (при ресторе) создаются параллельно, например, 10 потоков создают одновременно 10 индексов. Или же при восстановлении каждого индекса создается 10 потоков и пока работа не будет завершена к восстановлению следующего индекса не переходит?
Re: Вышел Firebird 5 Release Candidate! [сообщение #3228 является ответом на сообщение #3224] Mon, 02 October 2023 17:18 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 889
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
МорскойДесант писал(а) Mon, 02 October 2023 12:05
А вот бывалоча, RN сразу на русском языке публиковали.
И так ни шиша непонятно, а тут ещё и на ангельском.
дык LangRef есть, от 21.09.2023.
правда там нет WhatsNew.
видимо RN авторам не так интересен.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3229 является ответом на сообщение #3227] Mon, 02 October 2023 19:01 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
ggreggory писал(а) Mon, 02 October 2023 16:48
Скажите кто в теме. При ресторе распараллеливание создания индексов идет в рамках одного индекса или нескольких? Т.е. работает ли ситуация, когда индексы (при ресторе) создаются параллельно, например, 10 потоков создают одновременно 10 индексов. Или же при восстановлении каждого индекса создается 10 потоков и пока работа не будет завершена к восстановлению следующего индекса не переходит?
Второе
Re: Вышел Firebird 5 Release Candidate! [сообщение #3232 является ответом на сообщение #3224] Mon, 02 October 2023 21:35 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
Я не занимался переводом RN. Будут статьи на русском языке о новинках 5-ки.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3233 является ответом на сообщение #3229] Mon, 02 October 2023 21:38 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 77
Зарегистрирован: July 2022
Member
hvlad писал(а) Mon, 02 October 2023 19:01
Второе
Понял. Первый вариант тоже был бы интересен. Не в ущерб второму, конечно.

Как понимаю, сейчас выигрыш рестора есть на базах с мега-индексами на мега-таблицах. Если ситуация обратная - много всяких разных таблиц и индексов, то выигрыша уже не наблюдается. Ну это мое наблюдение. Если у кого другие данные - делитесь, было бы интересно...
Re: Вышел Firebird 5 Release Candidate! [сообщение #3234 является ответом на сообщение #3233] Mon, 02 October 2023 21:54 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
ggreggory
Как понимаю, сейчас выигрыш рестора есть на базах с мега-индексами на мега-таблицах. Если ситуация обратная - много всяких разных таблиц и индексов, то выигрыша уже не наблюдается. Ну это мое наблюдение. Если у кого другие данные - делитесь, было бы интересно...
Если вся БД состит из сотен пустых таблиц с десятками индексов - да, такое мы не (лечим) ускоряем.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3249 является ответом на сообщение #3233] Thu, 05 October 2023 09:36 Переход к предыдущему сообщениюПереход к следующему сообщению
neozx1984 в настоящее время не в онлайне  neozx1984
Сообщений: 27
Зарегистрирован: June 2022
Junior Member
ggreggory писал(а) Mon, 02 October 2023 21:38

Как понимаю, сейчас выигрыш рестора есть на базах с мега-индексами на мега-таблицах. Если ситуация обратная - много всяких разных таблиц и индексов, то выигрыша уже не наблюдается. Ну это мое наблюдение. Если у кого другие данные - делитесь, было бы интересно...
Тут сравнение двух подходов - многопоточной активации индекса (ParallelWorkers) и многопоточной активации индексов (в разных коннектах). Тестировалось на РедБазе 3.0, но в Firebird 5 картина будет примерна такая же. Кратко результат ParallelWorkers эффективен при 3-4 потоках, при большом количестве потоков производительность падает.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3250 является ответом на сообщение #3249] Thu, 05 October 2023 10:20 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
neozx1984
Кратко результат ParallelWorkers эффективен при 3-4 потоках, при большом количестве потоков производительность падает.
И это, конечно же, совершенно не зависит от кол-ва ядер и св-в диска.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3254 является ответом на сообщение #3250] Thu, 05 October 2023 11:51 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 889
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
hvlad писал(а) Thu, 05 October 2023 10:20
neozx1984
Кратко результат ParallelWorkers эффективен при 3-4 потоках, при большом количестве потоков производительность падает.
И это, конечно же, совершенно не зависит от кол-ва ядер и св-в диска.
640K ought to be enough for anybody! ©
Re: Вышел Firebird 5 Release Candidate! [сообщение #3256 является ответом на сообщение #3254] Thu, 05 October 2023 15:50 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 417
Зарегистрирован: August 2022
Senior Member
Забавно, про параллельная активация индексов оказалась эффективнее параллельного построения индекса.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3258 является ответом на сообщение #3228] Thu, 05 October 2023 18:30 Переход к предыдущему сообщениюПереход к следующему сообщению
 в настоящее время не в онлайне 
Сообщений: 198
Зарегистрирован: September 2022
Senior Member
МП писал(а) Mon, 02 October 2023 17:18
МорскойДесант писал(а) Mon, 02 October 2023 12:05
А вот бывалоча, RN сразу на русском языке публиковали.
И так ни шиша непонятно, а тут ещё и на ангельском.
дык LangRef есть, от 21.09.2023.
---
https://firebirdsql.org/en/firebird-rdbms/ - ?
В смысле - "где есть"?
Re: Вышел Firebird 5 Release Candidate! [сообщение #3261 является ответом на сообщение #3258] Fri, 06 October 2023 10:57 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 889
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
МорскойДесант
https://firebirdsql.org/en/firebird-rdbms/ - ?
В смысле - "где есть"?
дык, вестимо где:
http://www.ibase.ru/develop/
Re: Вышел Firebird 5 Release Candidate! [сообщение #3262 является ответом на сообщение #3261] Fri, 06 October 2023 11:17 Переход к предыдущему сообщениюПереход к следующему сообщению
 в настоящее время не в онлайне 
Сообщений: 198
Зарегистрирован: September 2022
Senior Member
Вай... а я уже и забыл про Айбэйз.
Спасибо!
Re: Вышел Firebird 5 Release Candidate! [сообщение #3263 является ответом на сообщение #3262] Fri, 06 October 2023 11:29 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 889
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
МорскойДесант
Вай... а я уже и забыл про Айбэйз.
немудрено забыть.
судя по "гиперактивности", kdv самозабанился.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3319 является ответом на сообщение #3249] Tue, 10 October 2023 13:54 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 417
Зарегистрирован: August 2022
Senior Member
neozx1984 писал(а) Thu, 05 October 2023 08:36

Тут сравнение двух подходов
Там, помимо всего прочего, есть интересное утверждение:
Цитата:
Когда читается таблица с данными, её записи разделяются между потоками. Каждый поток читает записи со страниц данных, находящихся в выделенной ему POINTER PAGE. Обработав их, берёт следующую необработанную POINTER PAGE.
КАК, Холмс? gbak не имеет доступа на такой уровень. Или это работает для любого запроса, идущего по таблице натуралом?
Re: Вышел Firebird 5 Release Candidate! [сообщение #3321 является ответом на сообщение #3319] Tue, 10 October 2023 14:08 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
SD писал(а) Tue, 10 October 2023 13:54
neozx1984 писал(а) Thu, 05 October 2023 08:36

Тут сравнение двух подходов
Там, помимо всего прочего, есть интересное утверждение:
Цитата:
Когда читается таблица с данными, её записи разделяются между потоками. Каждый поток читает записи со страниц данных, находящихся в выделенной ему POINTER PAGE. Обработав их, берёт следующую необработанную POINTER PAGE.
КАК, Холмс? gbak не имеет доступа на такой уровень. Или это работает для любого запроса, идущего по таблице натуралом?
MAKE_DBKEY
Re: Вышел Firebird 5 Release Candidate! [сообщение #3323 является ответом на сообщение #3321] Tue, 10 October 2023 14:12 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
hvlad писал(а) Tue, 10 October 2023 14:08
SD писал(а) Tue, 10 October 2023 13:54
neozx1984 писал(а) Thu, 05 October 2023 08:36

Тут сравнение двух подходов
Там, помимо всего прочего, есть интересное утверждение:
Цитата:
Когда читается таблица с данными, её записи разделяются между потоками. Каждый поток читает записи со страниц данных, находящихся в выделенной ему POINTER PAGE. Обработав их, берёт следующую необработанную POINTER PAGE.
КАК, Холмс? gbak не имеет доступа на такой уровень. Или это работает для любого запроса, идущего по таблице натуралом?
MAKE_DBKEY
Ты же был в Берлине в 2019. И задавал там ехидные вопросы, я точно помню.
Я там всё рассказывал и показывал.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3408 является ответом на сообщение #3249] Sat, 14 October 2023 22:03 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 77
Зарегистрирован: July 2022
Member
neozx1984 писал(а) Thu, 05 October 2023 09:36
ggreggory писал(а) Mon, 02 October 2023 21:38

Как понимаю, сейчас выигрыш рестора есть на базах с мега-индексами на мега-таблицах. Если ситуация обратная - много всяких разных таблиц и индексов, то выигрыша уже не наблюдается. Ну это мое наблюдение. Если у кого другие данные - делитесь, было бы интересно...
Тут сравнение двух подходов - многопоточной активации индекса (ParallelWorkers) и многопоточной активации индексов (в разных коннектах). Тестировалось на РедБазе 3.0, но в Firebird 5 картина будет примерна такая же. Кратко результат ParallelWorkers эффективен при 3-4 потоках, при большом количестве потоков производительность падает.
Хорошая статья! И я узнал о plume! Попробовал. На моем 3.0.8 он работать отказался, сыпался с ошибками "Warning trouble on index ...", но после апгрейда до 3.0.11 вроде работает.

Спасибо!
Re: Вышел Firebird 5 Release Candidate! [сообщение #3410 является ответом на сообщение #3408] Sun, 15 October 2023 12:14 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
hvlad,

я при тестировании заметил что если бекап идёт с переключателем -zip, то параллельные потоки уже мало влияют на картину. Видимо на сжатии данных какая-то сериализация есть

с переключателем -zip

  • в одном потоке - 36 секунд;
  • -par 4 - 32 секунды.
без переключателя -zip

  • в одном потоке - 35 секунд;
  • -par 4 - 18 секунд.
Вопрос с эти можно что-то сделать? Если нет то неплохо бы отразить в документации.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3411 является ответом на сообщение #3410] Sun, 15 October 2023 12:23 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
ggreggory,

Цитата:
При восстановлении параллельная обработка реализована только при построении индексов.
Вот это для Firebird 5.0 уже не правда. Заливка данных в таблицу тоже параллелиться. В этом легко убедится

gbak -c "d:\fbdata\5.0\mydb.fbk" "c:\fbdata\5.0\mydb.fdb" -se localhost/3055:service_mgr -user sysdba -pas masterkey -par 4 -v -stat td -Y "d:\fbdata\5.0\restore-par-4.log"
Просто в лог посмотри, там видно будет.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3412 является ответом на сообщение #3410] Sun, 15 October 2023 12:51 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
sim_84 писал(а) Sun, 15 October 2023 12:14
hvlad,

я при тестировании заметил что если бекап идёт с переключателем -zip, то параллельные потоки уже мало влияют на картину. Видимо на сжатии данных какая-то сериализация есть
...
Вопрос с эти можно что-то сделать? Если нет то неплохо бы отразить в документации.
Это нужно исследовать, для начала.
Я на zip не ориентировался, когда это писал, только проверял работоспособность.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3413 является ответом на сообщение #3412] Sun, 15 October 2023 13:07 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
Как будет время, глянь пожалуйста.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3414 является ответом на сообщение #3413] Sun, 15 October 2023 13:23 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
sim_84 писал(а) Sun, 15 October 2023 13:07
Как будет время, глянь пожалуйста.
Это не сложно. И не долго.
Вот что я вижу для БД TPCC размером 8.75GB. БД и бекап на одном и том же быстром NVMe SSD.

par 1, no zip :  80 sec
par 1, zip    : 195 sec
par 4, no zip :  21 sec
par 4, zip    : 198 sec

Очевидно, проблема в zip. Но дело не в сериализации, а в том, что он полностью занимает то ядро,
которое выполняет запись в файл - даже когда мы читаем БД в один поток. Т.е. алгоритм не справляется
с нагрузкой и работает сильно медленнее чем данные пишутся на диск. С более медленным диском картина
будет другой ("лучше").

Сжимать в не несколько потоком сам zip не умеет, насколько я знаю. Мы не можем сжимать каждый прочитанный
из БД блок в отдельном потоке, т.к. потом эту кучку отдельно сжатых блоков никто не распакует. Чтобы этого
достичь, нужно менять формат файла бекапа.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3415 является ответом на сообщение #3414] Sun, 15 October 2023 14:14 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
hvlad,

ясно. Тогда наверное имеет смысл в README.gbak.txt дописать, что указывать для backup одновременно -zip и -par не имеет смысла.

Я свой тест делал с БД на NVME и резервную копию на SATA SSD.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3416 является ответом на сообщение #3414] Sun, 15 October 2023 14:41 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
hvlad писал(а) Sun, 15 October 2023 13:23
sim_84 писал(а) Sun, 15 October 2023 13:07
Как будет время, глянь пожалуйста.
Это не сложно. И не долго.
Вот что я вижу для БД TPCC размером 8.75GB. БД и бекап на одном и том же быстром NVMe SSD.

par 1, no zip :  80 sec
par 1, zip    : 195 sec
par 4, no zip :  21 sec
par 4, zip    : 198 sec

Очевидно, проблема в zip. Но дело не в сериализации, а в том, что он полностью занимает то ядро,
которое выполняет запись в файл - даже когда мы читаем БД в один поток. Т.е. алгоритм не справляется
с нагрузкой и работает сильно медленнее чем данные пишутся на диск. С более медленным диском картина
будет другой ("лучше").

Сжимать в не несколько потоком сам zip не умеет, насколько я знаю. Мы не можем сжимать каждый прочитанный
из БД блок в отдельном потоке, т.к. потом эту кучку отдельно сжатых блоков никто не распакует. Чтобы этого
достичь, нужно менять формат файла бекапа.
Попробовал с 7z. Он пожирает CPU активно, сколько ни дай Smile Но всё равно тормозит Sad
Вот лучшее, чего я добился (пробовал -m1, m3, m5 (default) и отдельно -tzip m1):

par 1, 7z -m1  : 82 sec
par 4, 7z -m1  : 59 sec

файл с архивом немного больше, чем у gbak -zip : 4.24GB против 4.09GB.
Так что, в принципе, есть вариант, когда сжатие выигрывает от параллельного чтения, но не сильно.

Если кому не лень - попробуйте с zstd
Re: Вышел Firebird 5 Release Candidate! [сообщение #3417 является ответом на сообщение #3416] Sun, 15 October 2023 14:44 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
это я так понимаю уже через перенаправление потока? Встроен только zip же
Re: Вышел Firebird 5 Release Candidate! [сообщение #3418 является ответом на сообщение #3417] Sun, 15 October 2023 15:14 Переход к предыдущему сообщениюПереход к следующему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
sim_84 писал(а) Sun, 15 October 2023 14:44
это я так понимаю уже через перенаправление потока? Встроен только zip же
Конечно, через пайпы

gbak -b database stdout -par N -y xxx.log | 7z -sibackup.fbk a archive.7z -mx1
Re: Вышел Firebird 5 Release Candidate! [сообщение #3434 является ответом на сообщение #3411] Thu, 19 October 2023 21:55 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 77
Зарегистрирован: July 2022
Member
sim_84 писал(а) Sun, 15 October 2023 12:23
ggreggory,

Цитата:
При восстановлении параллельная обработка реализована только при построении индексов.
Вот это для Firebird 5.0 уже не правда. Заливка данных в таблицу тоже параллелиться. В этом легко убедится

gbak -c "d:\fbdata\5.0\mydb.fbk" "c:\fbdata\5.0\mydb.fdb" -se localhost/3055:service_mgr -user sysdba -pas masterkey -par 4 -v -stat td -Y "d:\fbdata\5.0\restore-par-4.log"
Просто в лог посмотри, там видно будет.
Спасибо. Предполагаю, что изначально что-то не так проверял. Сейчас проверил - заливка без создания индексов на моем ноуте в полтора раза быстрее чем на 3-ем Firebird. Но предполагаю, что на нормальном железе разница будет посущественнее.

Правда plume на Release Candidate сыпется с ошибками. Сравнить создание индексов двумя разными способами не удалось.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3436 является ответом на сообщение #3434] Fri, 20 October 2023 11:25 Переход к предыдущему сообщениюПереход к следующему сообщению
neozx1984 в настоящее время не в онлайне  neozx1984
Сообщений: 27
Зарегистрирован: June 2022
Junior Member
ggreggory писал(а) Thu, 19 October 2023 21:55
Правда plume на Release Candidate сыпется с ошибками. Сравнить создание индексов двумя разными способами не удалось.
Что пишет?
Re: Вышел Firebird 5 Release Candidate! [сообщение #3439 является ответом на сообщение #3436] Fri, 20 October 2023 14:17 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 77
Зарегистрирован: July 2022
Member
neozx1984 писал(а) Fri, 20 October 2023 11:25
ggreggory писал(а) Thu, 19 October 2023 21:55
Правда plume на Release Candidate сыпется с ошибками. Сравнить создание индексов двумя разными способами не удалось.
Что пишет?
Сначала "Warning trouble on index ...", потом "invalid database handle (no active connection)"
Re: Вышел Firebird 5 Release Candidate! [сообщение #3440 является ответом на сообщение #3439] Fri, 20 October 2023 14:26 Переход к предыдущему сообщениюПереход к следующему сообщению
avp в настоящее время не в онлайне  avp
Сообщений: 83
Зарегистрирован: October 2023
Member
Кстати, а диалект 1 ещё не убрали как грозились?
Re: Вышел Firebird 5 Release Candidate! [сообщение #3443 является ответом на сообщение #3440] Fri, 20 October 2023 16:46 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
Не убрали.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3479 является ответом на сообщение #3439] Mon, 23 October 2023 12:39 Переход к предыдущему сообщениюПереход к следующему сообщению
neozx1984 в настоящее время не в онлайне  neozx1984
Сообщений: 27
Зарегистрирован: June 2022
Junior Member
ggreggory писал(а) Fri, 20 October 2023 14:17
Сначала "Warning trouble on index ...", потом "invalid database handle (no active connection)"
На Firebird 5 beta и RC1 я тестировал, на БД employee, правда.
Возможно база специфическая.
Нужно посмотреть firebird.log на наличие ошибок, т.к. подключение закрывается со стороны сервера.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3481 является ответом на сообщение #3479] Mon, 23 October 2023 15:31 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
neozx1984,

попробуй кеш подготовленных запросов выключить в firebird.cong

MaxStatementCacheSize = 0
Дело в том, что любой DDL сбрасывает этот кеш. А здесь одни сплошные DDL операторы.
В трекере уже был тикет с багом по поводу кеша подготовленных запросов, вроде Влад его пофиксил, но не факт что до конца.

Кроме того я не уверен, что plume выбирает индексы корректно для одновременной активации.
Смотри может попасться 4 мелких индекса, а может 4 больших. А большие начнут жрать temp одновременно, кроме того если
ещё и многопоточная активация индекса включена, то эти 4 больших индекса начнут совсем другое кол-во потоков задействовать, но не больше, чем MaxParallelWorkers.
Re: Вышел Firebird 5 Release Candidate! [сообщение #3482 является ответом на сообщение #3481] Mon, 23 October 2023 15:33 Переход к предыдущему сообщениюПереход к следующему сообщению
sim_84 в настоящее время не в онлайне  sim_84
Сообщений: 332
Зарегистрирован: June 2022
Senior Member
На БД employee многопоточная активация на фиг не упала
Re: Вышел Firebird 5 Release Candidate! [сообщение #3484 является ответом на сообщение #3481] Mon, 23 October 2023 16:20 Переход к предыдущему сообщениюПереход к следующему сообщению
neozx1984 в настоящее время не в онлайне  neozx1984
Сообщений: 27
Зарегистрирован: June 2022
Junior Member
sim_84 писал(а) Mon, 23 October 2023 15:31
neozx1984,

попробуй кеш подготовленных запросов выключить в firebird.cong

MaxStatementCacheSize = 0
Дело в том, что любой DDL сбрасывает этот кеш. А здесь одни сплошные DDL операторы.
В трекере уже был тикет с багом по поводу кеша подготовленных запросов, вроде Влад его пофиксил, но не факт что до конца.
Да, были задачи:
Multi-threaded activating indices restarts server process #7314
Broken lock of statements cache during multithreaded index activation #7385
они закрыты.
На некоторых базах можно словить deadlock, поэтому поводу делали тест-кейс задача
Deadlock during index creation when parallel workers are used #7783

Про отключения кеша запросов это к ggreggory база его.

sim_84 писал(а) Mon, 23 October 2023 15:31

Кроме того я не уверен, что plume выбирает индексы корректно для одновременной активации.
Смотри может попасться 4 мелких индекса, а может 4 больших. А большие начнут жрать temp одновременно, кроме того если
ещё и многопоточная активация индекса включена, то эти 4 больших индекса начнут совсем другое кол-во потоков задействовать, но не больше, чем MaxParallelWorkers.
plume не оптимально выбирает индексы для активации есть сортировка только по FK, поэтому поводу есть задача Resource managment.

sim_84 писал(а) Mon, 23 October 2023 15:33
На БД employee многопоточная активация на фиг не упала
Это функциональный тест Cool
Re: Вышел Firebird 5 Release Candidate! [сообщение #3485 является ответом на сообщение #3481] Mon, 23 October 2023 17:20 Переход к предыдущему сообщениюПереход к следующему сообщению
ggreggory в настоящее время не в онлайне  ggreggory
Сообщений: 77
Зарегистрирован: July 2022
Member
sim_84 писал(а) Mon, 23 October 2023 15:31

попробуй кеш подготовленных запросов выключить в firebird.cong
MaxStatementCacheSize = 0
Не помогло.

Поставил свежий снапшот WI-V5.0.0.1249 - та же фигня.

Но на 3.0.11 на той же базе plume нормально работает. Наверное, какие-то фиксы 3-ей версии в 5-ую еще не перенесены...

[Обновления: Mon, 23 October 2023 17:21]

Известить модератора

Re: Вышел Firebird 5 Release Candidate! [сообщение #3486 является ответом на сообщение #3485] Mon, 23 October 2023 17:32 Переход к предыдущему сообщениюПереход к предыдущему сообщению
hvlad в настоящее время не в онлайне  hvlad
Сообщений: 364
Зарегистрирован: August 2022
Senior Member
ggreggory
Поставил свежий снапшот WI-V5.0.0.1249 - та же фигня.

Но на 3.0.11 на той же базе plume нормально работает. Наверное, какие-то фиксы 3-ей версии в 5-ую еще не перенесены...
Если падает - делаешь воспроизводимый пример (или ловишь дамп) и велкам в трекер.
Ну не первый же день, ы ? Smile
Предыдущая тема: Обмен данными с внешними источниками
Следующая тема: Падение fb3 при параллельном подключении
Переход к форуму:
  


Текущее время: Tue Dec 24 06:46:21 GMT+3 2024

Общее время, затраченное на создание страницы: 0.01316 секунд