Перейти к основному содержимому
Перейти к основному содержимому

Справочник по pg_clickhouse

Введение

[pg_clickhouse] — это расширение PostgreSQL с открытым исходным кодом, которое выполняет аналитические запросы в ClickHouse прямо из PostgreSQL без переписывания SQL. Оно поддерживает PostgreSQL 13 и более поздних версий, а также ClickHouse v23 и более поздних версий.

Как только ClickPipes начнёт синхронизировать данные с ClickHouse, используйте pg_clickhouse, чтобы быстро и просто [импортировать внешние таблицы] в схему PostgreSQL. Затем выполняйте существующие запросы PostgreSQL к этим таблицам, сохраняя текущую кодовую базу и передавая выполнение в ClickHouse.

Начало работы

Самый простой способ попробовать pg_clickhouse — воспользоваться [Docker-образ], который содержит стандартный Docker-образ PostgreSQL с расширениями pg_clickhouse и re2:

docker run --name pg_clickhouse -e POSTGRES_PASSWORD=my_pass \
       -d ghcr.io/clickhouse/pg_clickhouse:18
docker exec -it pg_clickhouse psql -U postgres -c 'CREATE EXTENSION pg_clickhouse'

См. [руководство], чтобы приступить к импорту таблиц ClickHouse и переносу запросов на сторону ClickHouse.

Тестовый пример: TPC-H

В этой таблице сравнивается производительность запросов TPC-H для обычных таблиц PostgreSQL и pg_clickhouse, подключённого к ClickHouse; в обоих случаях использован коэффициент масштабирования 1. ✔︎ означает полный pushdown, а тире — отмену запроса спустя 1 минуту. Все тесты выполнялись на MacBook Pro M4 Max с 36 ГБ памяти.

ЗапросPostgreSQLpg_clickhousePushdown
[Query 1]4693 ms268 ms✔︎
[Query 2]458 ms3446 ms
[Query 3]742 ms111 ms✔︎
[Query 4]270 ms130 ms✔︎
[Query 5]337 ms1460 ms✔︎
[Query 6]764 ms53 ms✔︎
[Query 7]619 ms96 ms✔︎
[Query 8]342 ms156 ms✔︎
[Query 9]3094 ms298 ms✔︎
[Query 10]581 ms197 ms✔︎
[Query 11]212 ms24 ms
[Query 12]1116 ms84 ms✔︎
[Query 13]958 ms1368 ms
[Query 14]181 ms73 ms✔︎
[Query 15]1118 ms557 ms
[Query 16]497 ms1714 ms
[Query 17]1846 ms32709 ms
[Query 18]5823 ms10649 ms
[Query 19]53 ms206 ms✔︎
[Query 20]421 ms-
[Query 21]1349 ms4434 ms
[Query 22]258 ms1415 ms

Сборка из исходного кода

Unix: общий случай

Пакеты для разработки PostgreSQL и curl включают pg_config и curl-config в PATH, поэтому достаточно просто выполнить make (или gmake), затем make install, а затем в базе данных выполнить CREATE EXTENSION pg_clickhouse.

Debian / Ubuntu / APT

См. PostgreSQL Apt, где подробно описано, как получать пакеты из репозитория PostgreSQL Apt.

sudo apt install \
  postgresql-server-18 \
  libcurl4-openssl-dev \
  uuid-dev \
  libssl-dev \
  make \
  cmake \
  g++

RedHat / CentOS / Yum

sudo yum install \
  postgresql-server \
  libcurl-devel \
  libuuid-devel \
  openssl-libs \
  automake \
  cmake \
  gcc

Подробнее о получении пакетов из репозитория PostgreSQL Yum см. в PostgreSQL Yum.

Установка из PGXN

После установки указанных выше зависимостей используйте [клиент PGXN] (доступен через Homebrew, Apt и в виде пакетов Yum под именем pgxnclient) для загрузки, компиляции и установки pg_clickhouse:

pgxn install pg_clickhouse

Сборка и установка

Чтобы собрать и установить библиотеку ClickHouse и pg_clickhouse, выполните:

make
sudo make install

Если на вашем хосте установлено несколько версий PostgreSQL, может потребоваться указать подходящую версию pg_config:

export PG_CONFIG=/usr/lib/postgresql/18/bin/pg_config
make
sudo make install

Если curl-config отсутствует в переменной PATH на вашем хосте, можно явно указать путь:

export CURL_CONFIG=/opt/homebrew/opt/curl/bin/curl-config
make
sudo make install

Если вы столкнулись с такой ошибкой:

"Makefile", line 8: Need an operator

Вам нужно использовать GNU make, который вполне может быть установлен в вашей системе под именем gmake:

gmake
gmake install
gmake installcheck

Если вы столкнулись с такой ошибкой:

make: pg_config: Command not found

Убедитесь, что pg_config установлен и доступен в переменной PATH. Если вы устанавливали PostgreSQL с помощью системы управления пакетами, например RPM, убедитесь, что пакет -devel тоже установлен. При необходимости укажите процессу сборки, где его найти:

export PG_CONFIG=/path/to/pg_config
make
sudo make install

Чтобы установить расширение с пользовательским префиксом в PostgreSQL 18 и более поздних версиях, передайте аргумент prefix цели install (но не другим целям make):

sudo make install prefix=/usr/local/extras

Затем убедитесь, что префикс указан в следующих [postgresql.conf параметрах]:

extension_control_path = '/usr/local/extras/postgresql/share:$system'
dynamic_library_path   = '/usr/local/extras/postgresql/lib:$libdir'

Тестирование

Чтобы запустить набор тестов, после установки расширения выполните

make installcheck

Если вы столкнулись с ошибкой, например:

ERROR:  must be owner of database regression

Вам нужно запустить набор тестов под учетной записью суперпользователя, например стандартного суперпользователя "postgres":

make installcheck PGUSER=postgres

Подключение

После установки pg_clickhouse вы можете подключить его к базе данных, войдя как суперпользователь и выполнив:

CREATE EXTENSION pg_clickhouse;

Если вы хотите установить pg_clickhouse и все связанные с ним объекты в конкретную схему, используйте конструкцию SCHEMA, чтобы указать схему, например:

CREATE SCHEMA env;
CREATE EXTENSION pg_clickhouse SCHEMA env;

Зависимости

Для расширения pg_clickhouse требуются PostgreSQL 13 или новее, libcurl, libuuid. Для сборки расширения требуются компиляторы C и C++, libSSL, GNU make и CMake.

Дорожная карта

Сейчас наш главный приоритет — завершить поддержку pushdown для аналитических рабочих нагрузок, прежде чем добавлять функциональность DML. Наша дорожная карта:

  • Обеспечить оптимальное планирование оставшихся 10 запросов TPC-H без pushdown
  • Протестировать и доработать pushdown для запросов ClickBench
  • Поддержать прозрачный pushdown всех агрегатных функций PostgreSQL
  • Поддержать прозрачный pushdown всех функций PostgreSQL
  • Разрешить настройки ClickHouse на уровне сервера и сеанса через CREATE SERVER и GUC
  • Поддержать все типы данных ClickHouse
  • Поддержать легковесные DELETE и UPDATE
  • Поддержать вставку батчами через COPY
  • Добавить функцию для выполнения произвольного запроса ClickHouse и возврата его результатов в виде таблиц
  • Добавить поддержку pushdown для запросов UNION, если все они обращаются к удаленной базе данных

Авторы

  • Авторские права (c) 2025-2026, ClickHouse
  • Авторские права на отдельные части (c) 2023-2025, Ildus Kurbangaliev
  • Авторские права на отдельные части (c) 2019-2023, Adjust GmbH
  • Авторские права на отдельные части (c) 2012-2019, PostgreSQL Global Development Group

[Запрос 1] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/1.sql [Запрос 2] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/2.sql [Запрос 3] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/3.sql [Запрос 4] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/4.sql [Запрос 5] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/5.sql [Запрос 6] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/6.sql [Запрос 7] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/7.sql [Запрос 8] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/8.sql [Запрос 9] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/9.sql [Запрос 10] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/10.sql [Запрос 11] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/11.sql [Запрос 12] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/12.sql [Запрос 13] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/13.sql [Запрос 14] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/14.sql [Запрос 15] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/15.sql [Запрос 16] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/16.sql [Запрос 17] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/17.sql [Запрос 18] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/18.sql [Запрос 19] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/19.sql [Запрос 20] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/20.sql [Запрос 21] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/21.sql [Запрос 22] https://github.com/ClickHouse/pg_clickhouse/blob/main/dev/tpch/queries/22.sql