SQLRU.net
Разработка приложений баз данных

Начало » Использование СУБД » Firebird, HQbird, InterBase » 5.0 database on RAW disk partition
5.0 database on RAW disk partition [сообщение #5174] Tue, 02 July 2024 13:02 Переход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
Нашел только краткое описание для 2.1.
через gbak.

в доке к 5.0 только
Цитата:
Difference file name should be set
explicitly for database on raw device
как создать? чисто из любопытства
Re: 5.0 database on RAW disk partition [сообщение #5175 является ответом на сообщение #5174] Tue, 02 July 2024 15:03 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 389
Зарегистрирован: August 2022
Senior Member
"Difference file name" задаётся с помощью ALTER DATABASE. В остальном ничего не изменилось.
Re: 5.0 database on RAW disk partition [сообщение #5176 является ответом на сообщение #5175] Tue, 02 July 2024 15:41 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
Я к тому, что в доке по 3.0/4.0/5.0 нет ничего про RAW диски.

нашел README.raw_devices.txt

[Обновления: Tue, 02 July 2024 15:45]

Известить модератора

Re: 5.0 database on RAW disk partition [сообщение #5177 является ответом на сообщение #5176] Tue, 02 July 2024 17:28 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 869
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
а кто-нибудь тестировал на реальной нагрузке, оно таки стоит своих свеч?
на одиночном диске и на RAID-е.
мож это что-то действительно нужное, а пацаны-то и не знают...

зы: я помню, ещё до исторического материализма, Попов (из "Кристы") щупал на древнем IB.
но то было давно, и сервер был иной и железяки несравненно другие.
Re: 5.0 database on RAW disk partition [сообщение #5179 является ответом на сообщение #5177] Wed, 03 July 2024 15:54 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
на линуксах осилил.

на винде не смог.
Re: 5.0 database on RAW disk partition [сообщение #5192 является ответом на сообщение #5177] Wed, 10 July 2024 23:05 Переход к предыдущему сообщениюПереход к следующему сообщению
kdv в настоящее время не в онлайне  kdv
Сообщений: 97
Зарегистрирован: June 2022
Member
МП писал(а) Tue, 02 July 2024 17:28
а кто-нибудь тестировал на реальной нагрузке, оно таки стоит своих свеч?
Как показывает практика, на raw-диске файловое кэширование ОС не работает. А значит работает только кэширование Firebird. А оно не очень того. Например, там нет "предиктивного чтения", которое есть в файловом кэше ОС.
Так что, работать-то оно будет но мееееедленно.
Не зря все нынешние ОС оставляют 50% RAM под кэш ФС.Которых у ФБ на raw не будет в принципе. Понятно-то что ФБ файловый кэш напрямую не использует, но без него будет худо.
Re: 5.0 database on RAW disk partition [сообщение #5193 является ответом на сообщение #5192] Thu, 11 July 2024 08:34 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
kdv писал(а) Wed, 10 July 2024 23:05
МП писал(а) Tue, 02 July 2024 17:28
а кто-нибудь тестировал на реальной нагрузке, оно таки стоит своих свеч?
Как показывает практика, на raw-диске файловое кэширование ОС не работает. А значит работает только кэширование Firebird. А оно не очень того. Например, там нет "предиктивного чтения", которое есть в файловом кэше ОС.
Так что, работать-то оно будет но мееееедленно.
Не зря все нынешние ОС оставляют 50% RAM под кэш ФС.Которых у ФБ на raw не будет в принципе. Понятно-то что ФБ файловый кэш напрямую не использует, но без него будет худо.
для жОстких дисков-то понятно. на M2 кеширование уже скорее в минус работает.
и непонятно как быть с разделами под temp
Re: 5.0 database on RAW disk partition [сообщение #5194 является ответом на сообщение #5192] Thu, 11 July 2024 11:36 Переход к предыдущему сообщениюПереход к следующему сообщению
МП в настоящее время не в онлайне  МП
Сообщений: 869
Зарегистрирован: August 2022
Географическое положение: бурятский тун...
Senior Member
kdv
Как показывает практика...
ты это реально щупал?
на каком железе?
на какой оси?
на SSD/RAID ?
Re: 5.0 database on RAW disk partition [сообщение #5219 является ответом на сообщение #5194] Wed, 17 July 2024 01:21 Переход к предыдущему сообщениюПереход к следующему сообщению
kdv в настоящее время не в онлайне  kdv
Сообщений: 97
Зарегистрирован: June 2022
Member
щупал не я, но я подглядывал
естественно, на линуксе, не на винде
про железо не в курсе
ssd тогда еще не было

Домыслов тут не надо, включи
FileSystemCacheThreshold = 0
и узнаешь, как оно будет на raw без файлового кэша ОС. На ссд, рэйд, и проч. Хреново оно будет. Файловый кэш ОС очень сильно вытягивает предиктивным чтением, которого в ФБ просто нет, вообще.
Оно якобы есть в ИБ, но я его тестил лет 8 назад, и не нашел никаких выгод.
Re: 5.0 database on RAW disk partition [сообщение #5220 является ответом на сообщение #5194] Wed, 17 July 2024 01:25 Переход к предыдущему сообщениюПереход к следующему сообщению
kdv в настоящее время не в онлайне  kdv
Сообщений: 97
Зарегистрирован: June 2022
Member
на всякий случай. я тестировал отключение файлового кэша ОС в статье
"Оптимизатор СУБД Firebird: ORDER против SORT"
  https://www.ibase.ru/files/articles/performance/Firebird%20O ptimizer%20-%20ORDER%20vs%20SORT.pdf
(страница 15, отключение файлового кэша ОС)
и там падение было в 19 раз.

Справедливости ради надо сказать, что если ВСЁ влезает в кэш ФБ, и ФБ Суперсервер (3.0 и выше), то на raw будет вполне норм.

[Обновления: Wed, 17 July 2024 01:28]

Известить модератора

Re: 5.0 database on RAW disk partition [сообщение #5221 является ответом на сообщение #5220] Wed, 17 July 2024 08:21 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
HDD SATA III - 196 Мб/сек
SSD SATA III 500 Мб/сек
M2 PCI-E 7000 Мб/сек - дорогой 3000 - дешевый

условия изменились, надо тестировать заново



Re: 5.0 database on RAW disk partition [сообщение #5222 является ответом на сообщение #5221] Wed, 17 July 2024 08:58 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 132
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
С бюджетными и даже "просто серверными" SSD "под базу данных" есть фундаментальная проблема - деградация параметров под реальной нагрузкой.
СУБД (довольно быстро) записала полный объём диска, закончился SLC-кэш и всё - аллес капут.
Re: 5.0 database on RAW disk partition [сообщение #5223 является ответом на сообщение #5222] Wed, 17 July 2024 09:51 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
basid писал(а) Wed, 17 July 2024 08:58
С бюджетными и даже "просто серверными" SSD "под базу данных" есть фундаментальная проблема - деградация параметров под реальной нагрузкой.
СУБД (довольно быстро) записала полный объём диска, закончился SLC-кэш и всё - аллес капут.
меньше 10% свободного места под NTFS на любом диске фундаментальная проблема

Re: 5.0 database on RAW disk partition [сообщение #5224 является ответом на сообщение #5219] Wed, 17 July 2024 14:37 Переход к предыдущему сообщениюПереход к следующему сообщению
SD в настоящее время не в онлайне  SD
Сообщений: 389
Зарегистрирован: August 2022
Senior Member
kdv писал(а) Wed, 17 July 2024 00:21
щупал не я, но я подглядывал
естественно, на линуксе, не на винде
Тогда у меня есть плохая старость: блочные девайсы в /dev Линух кэширует так же как и обычные файлы.
Re: 5.0 database on RAW disk partition [сообщение #5234 является ответом на сообщение #5222] Thu, 18 July 2024 03:51 Переход к предыдущему сообщениюПереход к следующему сообщению
fraks в настоящее время не в онлайне  fraks
Сообщений: 126
Зарегистрирован: June 2022
Географическое положение: Новосибирск
Senior Member
basid писал(а) Wed, 17 July 2024 12:58
С бюджетными и даже "просто серверными" SSD "под базу данных" есть фундаментальная проблема - деградация параметров под реальной нагрузкой.
СУБД (довольно быстро) записала полный объём диска, закончился SLC-кэш и всё - аллес капут.
Проблема сильно преувеличена.
Например, в нашем случае, SSD 128-256Гб, несколько баз по 20-40Гб, 20-40 пользователей к каждой базе.
На SSD только базы.
За 5 лет ресурс выюзывается на 3-7%, соответственно 93% еще остается.
Re: 5.0 database on RAW disk partition [сообщение #5235 является ответом на сообщение #5234] Thu, 18 July 2024 08:18 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
fraks писал(а) Thu, 18 July 2024 03:51
basid писал(а) Wed, 17 July 2024 12:58
С бюджетными и даже "просто серверными" SSD "под базу данных" есть фундаментальная проблема - деградация параметров под реальной нагрузкой.
СУБД (довольно быстро) записала полный объём диска, закончился SLC-кэш и всё - аллес капут.
Проблема сильно преувеличена.
Например, в нашем случае, SSD 128-256Гб, несколько баз по 20-40Гб, 20-40 пользователей к каждой базе.
На SSD только базы.
За 5 лет ресурс выюзывается на 3-7%, соответственно 93% еще остается.
+100500

128 Gb Intel 2 шт
c 2010 года.
тестер/бустер и пр

через него перелопатились мириады баз. по 2-8-40Gb
работают до сих пор

сейчас все тестовые миграции, аналитики и пр. на M2

типовой сервер для заказчиков (дневной оборот по кассе 10 тыс-100 тыс-6 млн) - ICore-3 + программное зеркало SSD

Re: 5.0 database on RAW disk partition [сообщение #5236 является ответом на сообщение #5224] Thu, 18 July 2024 08:19 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
SD писал(а) Wed, 17 July 2024 14:37
kdv писал(а) Wed, 17 July 2024 00:21
щупал не я, но я подглядывал
естественно, на линуксе, не на винде
Тогда у меня есть плохая старость: блочные девайсы в /dev Линух кэширует так же как и обычные файлы.
порылся. таки да.
Re: 5.0 database on RAW disk partition [сообщение #5238 является ответом на сообщение #5234] Thu, 18 July 2024 10:23 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 132
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
fraks писал(а) Thu, 18 July 2024 08:51
Проблема сильно преувеличена.
Например, в нашем случае, SSD 128-256Гб, несколько баз по 20-40Гб, 20-40 пользователей к каждой базе.
На SSD только базы.
За 5 лет ресурс выюзывается на 3-7%, соответственно 93% еще остается.
И что?
У меня перед глазами есть примеров однотипных баз и тормозов на "просто серверных SSD", установленных во вполне нормальные сервера.
А ещё есть пример, как процесс firebird "набирал" петабайты записи за, примерно, год непрерывной работы.
То, что конкретно ваше приложение создаёт мизерную нагрузку ещё не означает, что точно так же ведут себя и любые другие приложения.

Про "вот эти три процента износил" - отдельно доставило:
Device Statistics (GP Log 0x04)
       Value Flags Description
           =  ===  == General Statistics
        1043  ---  Lifetime Power-On Resets
 52023594730  ---  Logical Sectors Written
   798321302  ---  Number of Write Commands
128708198877  ---  Logical Sectors Read
  5654194037  ---  Number of Read Commands
           =  ===  == Solid State Device Statistics
           3  N--  Percentage Used Endurance Indicator
              |||_ C monitored condition met
               ||__ D supports DSN
                |___ N normalized value
ID# ATTRIBUTE_NAME          RAW_VALUE
  5 Reallocated_Sector_Ct               0
  9 Power_On_Hours                  40351
 12 Power_Cycle_Count                1043
165 Block_Erase_Count       1542122245167
166 Minimum_PE_Cycles_TLC              13
167 Max_Bad_Blocks_per_Die             26
168 Maximum_PE_Cycles_TLC              65
169 Total_Bad_Blocks                  245
170 Grown_Bad_Blocks                    0
171 Program_Fail_Count                  0
172 Erase_Fail_Count                    0
173 Average_PE_Cycles_TLC              35
174 Unexpected_Power_Loss              63
184 End-to-End_Error                    0
187 Reported_Uncorrect                  0
188 Command_Timeout                     0
194 Temperature_Celsius     35 (Min/Max 17/49)
199 UDMA_CRC_Error_Count                0
232 Available_Reservd_Space           100
233 NAND_GB_Written_TLC             18097  # 17,7 ТБ
234 NAND_GB_Written_SLC             37806  # 36,9 ТБ
241 Host_Writes_GiB                 24806  # 24,2 ТБ
242 Host_Reads_GiB                  61372  # 59,9 ТБ
Это, замечу, статистика обычного домашнего SSD, на которым я "просто не трясся":
Model Family:     WD Blue / Red / Green SSDs
Device Model:     WDC WDS500G2B0A-00SM50
Firmware Version: X61190WD
User Capacity:    500 107 862 016 bytes [500 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available, deterministic, zeroed
Device is:        In smartctl database 7.3/5528
ATA Version is:   ACS-4 T13/BSR INCITS 529 revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Thu Jul 18 15:06:34 2024 RTZ
Rd look-ahead is: Enabled
Write cache is:   Enabled
DSN feature is:   Unavailable
ATA Security is:  Disabled, frozen [SEC2]
Wt Cache Reorder: Unavailable
Re: 5.0 database on RAW disk partition [сообщение #5239 является ответом на сообщение #5223] Thu, 18 July 2024 10:35 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 132
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
pastor писал(а) Wed, 17 July 2024 14:51
меньше 10% свободного места под NTFS на любом диске фундаментальная проблема
Да-да-да. А ещё своп-файл должен быть вдвое больше объёма ОЗУ. Не надо вот этих древних историй про "убить NTFS созданием-удалением миллионов мелких файлов".
NTFS-диск, на котором осталось 4 килобайта (один кластер) свободного места я лично наблюдал в начале десятых на Windows Server 2003. И, что характерно, ничего не сломалось и продолжило штатно работать после того, как я "раскидал" файлы по более-менее свободным дискам. Даже не потребовался "root-овый резерв".
Если вы когда-то работали с NT4 или даже с NT3.5, то не надо думать, что с тех пор вообще ничего не поменялось.
Re: 5.0 database on RAW disk partition [сообщение #5240 является ответом на сообщение #5238] Thu, 18 July 2024 10:39 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 132
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
basid писал(а) Thu, 18 July 2024 15:23
           3  N--  Percentage Used Endurance Indicator
              |||_ C monitored condition met
               ||__ D supports DSN
                |___ N normalized value
Отформатировал неправильно. Должно быть так:
           3  N--  Percentage Used Endurance Indicator
              |||_ C monitored condition met
              ||__ D supports DSN
              |___ N normalized value
Re: 5.0 database on RAW disk partition [сообщение #5241 является ответом на сообщение #5239] Thu, 18 July 2024 11:44 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
basid писал(а) Thu, 18 July 2024 10:35
pastor писал(а) Wed, 17 July 2024 14:51
меньше 10% свободного места под NTFS на любом диске фундаментальная проблема
Да-да-да. А ещё своп-файл должен быть вдвое больше объёма ОЗУ. Не надо вот этих древних историй про "убить NTFS созданием-удалением миллионов мелких файлов".
NTFS-диск, на котором осталось 4 килобайта (один кластер) свободного места я лично наблюдал в начале десятых на Windows Server 2003. И, что характерно, ничего не сломалось и продолжило штатно работать после того, как я "раскидал" файлы по более-менее свободным дискам. Даже не потребовался "root-овый резерв".
Если вы когда-то работали с NT4 или даже с NT3.5, то не надо думать, что с тех пор вообще ничего не поменялось.
оно не ломается.
оно тормозит.
на SSD - просто ужас как.

своп уже лет 20 как выключен Smile
Re: 5.0 database on RAW disk partition [сообщение #5242 является ответом на сообщение #5241] Thu, 18 July 2024 14:45 Переход к предыдущему сообщениюПереход к следующему сообщению
basid в настоящее время в онлайне  basid
Сообщений: 132
Зарегистрирован: June 2022
Географическое положение: Asia/Irkutsk
Senior Member
Своп должен быть и под виндой и под линуксом.
Да у них будут разные размеры, но и там и там своп - нужен.
Re: 5.0 database on RAW disk partition [сообщение #5261 является ответом на сообщение #5221] Fri, 19 July 2024 14:34 Переход к предыдущему сообщениюПереход к следующему сообщению
kdv в настоящее время не в онлайне  kdv
Сообщений: 97
Зарегистрирован: June 2022
Member
от М2 толк будет только при многопользовательской работе. В одно ядро упрётся примерно в скорость ssd sata3.
Re: 5.0 database on RAW disk partition [сообщение #5273 является ответом на сообщение #5261] Fri, 19 July 2024 17:28 Переход к предыдущему сообщениюПереход к следующему сообщению
pastor в настоящее время не в онлайне  pastor
Сообщений: 78
Зарегистрирован: June 2022
Географическое положение: Калуга
Member
запустил наш бенчмарк. 1 000 000 записей, для нагруженной таблицы с набором индексов
Core i3 10100
таки да, упирается
зато перенос данных между двумя базами не тормозит



Создание тестового набора
Вставка записей force_write=0
Завершено
Результат: Время выполнения [21625 мс] Средняя скорость вставки [46243 зап/сек]
Вставка записей force_write=1
Завершено
Результат: Время выполнения [22745 мс] Средняя скорость вставки [43966 зап/сек]
Таблица
1. Система [Ваша система] Средняя скорость вставки [45104 зап/сек]
2. Система [ПК Core i5, SSD] Средняя скорость вставки [41934 зап/сек]
3. Система [ПК Core i5] Средняя скорость вставки [29774 зап/сек]
4. Система [Ноутбук Core i7] Средняя скорость вставки [24579 зап/сек]
5. Система [Ноутбук Core i5] Средняя скорость вставки [21031 зап/сек]
6. Система [Сервер Xeon 5110] Средняя скорость вставки [11048 зап/сек]
7. Система [Ноутбук Atom] Средняя скорость вставки [4272 зап/сек]
Re: 5.0 database on RAW disk partition [сообщение #5277 является ответом на сообщение #5224] Mon, 22 July 2024 11:54 Переход к предыдущему сообщению
inoremap в настоящее время не в онлайне  inoremap
Сообщений: 10
Зарегистрирован: August 2023
Junior Member
SD писал(а) Wed, 17 July 2024 16:37
блочные девайсы в /dev Линух кэширует так же как и обычные файлы.
При открытии файла с флагом O_DIRECT не должен кэшировать, посмотрел сейчас, если запустить
echo 3 > /proc/sys/vm/drop_caches; dd if=/dev/sda of=/dev/null bs=16M status=progress
то free -m -w пишет что buffers увеличивается до > 3/4 ОЗУ, а с флагом direct
echo 3 > /proc/sys/vm/drop_caches; dd iflag=direct if=/dev/sda of=/dev/null bs=16M status=progress
значение buffers остается на минимальных значениях.
Предыдущая тема: Уточняющий вопросы по пользованию Firebird 4
Следующая тема: Поддержка новых типов данных из Firebird 4.0 в PHP. Драйвер pdo-firebird
Переход к форуму:
  


Текущее время: Sun Sep 08 06:52:14 GMT+3 2024

Общее время, затраченное на создание страницы: 0.01291 секунд