Huge Pages в PostgreSQL - История изменений

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2026-03-17T15:31:22Z

НАСТРОЙКА РАБОТЫ Huge Pages

← Предыдущая версия		Версия от 18:31, 17 марта 2026
Строка 53:		Строка 53:
	2316		2316
	# echo 'vm.nr_hugepages = 2316' >> /etc/sysctl.d/30-postgresql.conf		# echo 'vm.nr_hugepages = 2316' >> /etc/sysctl.d/30-postgresql.conf

			* '''Внимание!!''' Система сбрасывает предыдущие страницы, поэтому '''PostgreSQL''' - нужно остановить и только потом применить!
	# sysctl -p --system		# sysctl -p --system

	* Переходим к запуску PostgreSQL. В зависимости от системы инициализации способ запуска может отличаться,<br>		* Переходим к запуску PostgreSQL. В зависимости от системы инициализации способ запуска может отличаться,<br>
	у меня модный-молодежный systemd.		у меня модный-молодежный systemd.

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2026-02-24T21:50:37Z

НАСТРОЙКА РАБОТЫ Huge Pages

← Предыдущая версия		Версия от 00:50, 25 февраля 2026
Строка 76:		Строка 76:
	и выполнить:		и выполнить:
	sysctl -p		sysctl -p

			* [https://postgrespro.ru/docs/postgrespro/current/kernel-resources#LINUX-MEMORY-OVERCOMMIT Документация]

	==ИСТОЧНИКИ==		==ИСТОЧНИКИ==

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2026-02-24T21:49:02Z

НАСТРОЙКА РАБОТЫ Huge Pages

← Предыдущая версия		Версия от 00:49, 25 февраля 2026
Строка 64:		Строка 64:
	HugePages_Rsvd: 128		HugePages_Rsvd: 128
	HugePages_Surp: 0		HugePages_Surp: 0
			* '''ВНИМАНИЕ!!''' Параметры ниже влияют на установщик '''PostgresSQL/PRO''', при инициализации первоначальной установки базы в заданном каталоге, от системы может поступить отказ в необходимом объеме памяти!
			... не удалось получить анонимную разделяемую память: Невозможно выделить память!
			для нормальной работы параметры необходимо выключать!
	* Дополнительно - чтобы исключить переполнение доступной памяти и схлопывания процесса:		* Дополнительно - чтобы исключить переполнение доступной памяти и схлопывания процесса:
	в /etc/sysctl.conf		в /etc/sysctl.conf

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2026-01-29T08:08:34Z

НАСТРОЙКА РАБОТЫ Huge Pages

@@ Строка 64: / Строка 64: @@
   HugePages_Rsvd:      128
   HugePages_Surp:        0
 ==ИСТОЧНИКИ==

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2025-12-25T19:51:43Z

НАСТРОЙКА РАБОТЫ Huge Pages

← Предыдущая версия		Версия от 22:51, 25 декабря 2025
Строка 57:		Строка 57:
	у меня модный-молодежный systemd.		у меня модный-молодежный systemd.
	# systemctl start postgresql-9.4.service		# systemctl start postgresql-9.4.service

			* Утилизацию больших страниц можно посмотреть так:
			# grep ^HugePages /proc/meminfo
			HugePages_Total: 2316
			HugePages_Free: 2301
			HugePages_Rsvd: 128
			HugePages_Surp: 0

	==ИСТОЧНИКИ==		==ИСТОЧНИКИ==

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2025-12-25T16:47:17Z

НАСТРОЙКА РАБОТЫ Huge Pages

← Предыдущая версия		Версия от 19:47, 25 декабря 2025
Строка 57:		Строка 57:
	у меня модный-молодежный systemd.		у меня модный-молодежный systemd.
	# systemctl start postgresql-9.4.service		# systemctl start postgresql-9.4.service

			==ИСТОЧНИКИ==
			* [https://habr.com/ru/articles/228793/ Huge Pages в PostgreSQL]
			* [https://habr.com/ru/companies/tbank/articles/446342/ Влияние Transparent Huge Pages на производительность системы]
			* [https://docs.oracle.com/en/database/oracle/oracle-database/19/cwlin/setting-thp-uek.html?source=post_page--------------------------- Setting and Disabling Transparent HugePages]
			* [https://centlinux.com/disable-transparent-huge-pages/ Disable Transparent Huge Pages in RHEL 8]

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2025-12-25T16:44:01Z

НАСТРОЙКА РАБОТЫ Huge Pages

@@ Строка 18: / Строка 18: @@
 В случае отсутствия этих опций, ничего не заработает и ядро следует пересобрать (актуально для '''Gentoo''' например).
 Очевидно что нам понадобится '''PostgreSQL''' версии '''9.4''' и выше. Установку пакетов и инициализацию кластера оставляю за кадром, т.к. в зависимости от дистрибутива способ будет отличаться. Переходим сразу к файлу конфигурации postgresql.conf.<br>
 За поддержку больших страниц отвечает параметр '''huge_page''' который может принимать три значения,

Vix: /* НАСТРОЙКА РАБОТЫ Huge Pages */

2025-12-25T16:35:56Z

НАСТРОЙКА РАБОТЫ Huge Pages

← Предыдущая версия		Версия от 19:35, 25 декабря 2025
Строка 28:		Строка 28:
	HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space or		HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space or
	huge pages. To reduce the request size (currently 148324352 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.		huge pages. To reduce the request size (currently 148324352 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
			* Итак, правим '''postgresql.conf'''
			# editor /var/lib/pgsql/9.4/data/postgresql.conf
			huge_page = '''try'''

			* Теперь включаем поддержку больших страниц в системе, по-умолчанию они не задействованы. Расчет страниц приблизительный и здесь следует опираться на то сколько памяти вы готовы выделить под нужды СУБД. Отмечу что значение измеряется в страницах размером '''2Mb''', если вы хотите выделить '''16GB''', то это будет '''8000''' страниц.

			* Официальная документация предлагает опираться на значение '''VmPeak''' из '''status''' файла который размещен в '''/proc/PID/''' директории который соответствует номеру процесса '''postmaster'''. '''VmPeak''' как следует из названия это пиковое значение использования виртуальной памяти. Этот вариант позволяет определить минимальную планку от которой следует отталкиваться, но на мой взгляд такой способ определения тоже носит случайный характер.
			# head -1 /var/lib/pgsql/9.4/data/postmaster.pid
			3076
			# grep ^VmPeak /proc/3076/status
			VmPeak: 4742563 kB
			# echo $((4742563 / 2048 + 1))
			2316
			# echo 'vm.nr_hugepages = 2316' >> /etc/sysctl.d/30-postgresql.conf
			# sysctl -p --system
			* Переходим к запуску PostgreSQL. В зависимости от системы инициализации способ запуска может отличаться,<br>
			у меня модный-молодежный systemd.
			# systemctl start postgresql-9.4.service

Vix в 16:31, 25 декабря 2025

2025-12-25T16:31:04Z

@@ Строка 1: / Строка 1: @@
 ==ВВЕДЕНИЕ==
-В PostgreSQL начиная с версии 9.4 появилась поддержка больших страниц. Это очень хорошая новость, с большими страницами я познакомился когда работал с виртуализацией. Коротко о чем же речь. В ОС Linux работа с памятью основывается на обращении к страницам размер которых равен 4kB (на самом деле зависит от платформы, проверить можно через getconf PAGE_SIZE), так вот когда объем памяти переваливает за несколько десятков, а то и сотни гигабайт управлять ею становится сложнее, увеличиваются накладные расходы на адресацию памяти и поддержание страничных таблиц. Для облегчения жизни и были придуманы большие страницы, размер которых может быть 2MB а то и 1GB. За счет использования больших страниц можно получить ощутимый прирост скорости работы и увеличение отзывчивости в приложениях которые активно работают с памятью. Как я уже отметил, впервые я столкнулся с большими страницами при работе с виртуализацией, в частности с KVM. Проведенные в свое время тесты показали что прирост производительности виртуальных машин составил от 7 до 10% (измерялось все это дело синтетическими тестами различных сервисов типа redis/memcache/postgres/etc внутри виртуальных машин). Теперь это появилось в PostgreSQL.<br>
+В '''PostgreSQL''' начиная с версии '''9.4''' появилась поддержка больших страниц. Это очень хорошая новость, с большими страницами я познакомился когда работал с виртуализацией. Коротко о чем же речь. В '''ОС Linux''' работа с памятью основывается на обращении к страницам размер которых равен 4kB (на самом деле зависит от платформы, проверить можно через '''getconf PAGE_SIZE'''), так вот когда объем памяти переваливает за несколько десятков, а то и сотни гигабайт управлять ею становится сложнее, увеличиваются накладные расходы на адресацию памяти и поддержание страничных таблиц. Для облегчения жизни и были придуманы большие страницы, размер которых может быть 2MB а то и 1GB. За счет использования больших страниц можно получить ощутимый прирост скорости работы и увеличение отзывчивости в приложениях которые активно работают с памятью. Как я уже отметил, впервые я столкнулся с большими страницами при работе с виртуализацией, в частности с '''KVM'''. Проведенные в свое время тесты показали что прирост производительности виртуальных машин составил от 7 до 10%<br>
-* Итак вернемся к теме статьи, к поддержке больших страниц в PostgreSQL. Если честно, я давно этого ждал. Вобще запустить PostgreSQL с поддержкой больших страниц можно было и раньше, с помощью libhugetlbfs. Однако теперь есть встроенная поддержка. Ниже описание процесса как настроить и запустить PostgreSQL с поддержкой больших страниц.
+* (измерялось все это дело синтетическими тестами различных сервисов типа redis/memcache/postgres/etc внутри виртуальных машин). Теперь это появилось в '''PostgreSQL'''.<br>

Vix: Новая страница: «==ВВЕДЕНИЕ== В PostgreSQL начиная с версии 9.4 появилась поддержка больших страниц. Это очень хорошая новость, с большими страницами я познакомился когда работал с виртуализацией. Коротко о чем же речь. В ОС Linux работа с памятью основывается на обращении к стра...»

2025-12-25T16:20:21Z

Новая страница: «==ВВЕДЕНИЕ== В PostgreSQL начиная с версии 9.4 появилась поддержка больших страниц. Это очень хорошая новость, с большими страницами я познакомился когда работал с виртуализацией. Коротко о чем же речь. В ОС Linux работа с памятью основывается на обращении к стра...»

Новая страница

==ВВЕДЕНИЕ==
В PostgreSQL начиная с версии 9.4 появилась поддержка больших страниц. Это очень хорошая новость, с большими страницами я познакомился когда работал с виртуализацией. Коротко о чем же речь. В ОС Linux работа с памятью основывается на обращении к страницам размер которых равен 4kB (на самом деле зависит от платформы, проверить можно через getconf PAGE_SIZE), так вот когда объем памяти переваливает за несколько десятков, а то и сотни гигабайт управлять ею становится сложнее, увеличиваются накладные расходы на адресацию памяти и поддержание страничных таблиц. Для облегчения жизни и были придуманы большие страницы, размер которых может быть 2MB а то и 1GB. За счет использования больших страниц можно получить ощутимый прирост скорости работы и увеличение отзывчивости в приложениях которые активно работают с памятью. Как я уже отметил, впервые я столкнулся с большими страницами при работе с виртуализацией, в частности с KVM. Проведенные в свое время тесты показали что прирост производительности виртуальных машин составил от 7 до 10% (измерялось все это дело синтетическими тестами различных сервисов типа redis/memcache/postgres/etc внутри виртуальных машин). Теперь это появилось в PostgreSQL.<br>
* Итак вернемся к теме статьи, к поддержке больших страниц в PostgreSQL. Если честно, я давно этого ждал. Вобще запустить PostgreSQL с поддержкой больших страниц можно было и раньше, с помощью libhugetlbfs. Однако теперь есть встроенная поддержка. Ниже описание процесса как настроить и запустить PostgreSQL с поддержкой больших страниц.