mizhka

Введение

Сутью тестового задания является установка PostgreSQL 16, запуск нескольких запросов и самое главное - Вы должны сделать оптимизацию нескольких запросов. Точнее Вам нужно объяснить почему запрос выполняется медленно, почему так происходит и как можно это изменить.

Мы не требуем выполнения всех пунктов задания, будем рады если Вы выполните хотя бы один из пунктов.

Как приступить к выполнению задания:

• Установить на свой компьютер PostgreSQL 16 (желательно одну из последних версий - 16.6 / 16.7)
• Запустите скрипты из параграфа "Скрипт для генерации базы"
• После этого приступайте к задачам

mizhka

PostgreSQL (12-16) may ignore your fresh built index due to long-running transaction in another session. It's since 2007, introduced by HOT optimization. Look at pg_index.indcheckxmin of your index.

First session:

postgres=# begin;
BEGIN
postgres=*# select txid_current();
 txid_current
--------------
  10008974883

mizhka

Задача

Сделать отчёт о производительности вставки данных в СУБД PostgreSQL

• написать на любом языке программу вставки данных в PostgreSQL
• выполнить замер на 10 минут, собрать метрики, сделать профилирование и составить отчёт о производительности вставки
• тест проведен на OS Linux (Debian/Ubuntu) и PostgreSQL 16
• отчёт в формате Markdown

Базовые требования

• Можно вставлять любые фейковые данные
• Приложение должно принимать два параметра:

mizhka

-  name: tune operating system
   hosts: all
   become: true
   vars:
     sysctl_settings: 
       - { key: 'vm.swappiness', value: '3'}
       - { key: 'kernel.sched_autogroup_enabled', value: '0'}
       - { key: 'kernel.sched_migration_cost_n', value: '50000000'}
     pkgs: 
       - cpufrequtils

mizhka

#!/usr/bin/awk -f

function process_pgclass (line) {
        split(line,field,";")
        relid2name[field[8]] = field[2]
        #printf("'%s' %s\n", field[8], field[2])
        return
}

BEGIN {

mizhka

#/usr/bin/env sh

FLAMEHOME=/home/mizhka/repo/fbsd/FlameGraph 

${FLAMEHOME}/stackcollapse-perf.pl $1 | sort | grep Postgre | \
 sed 's#postmaster;_start;__libc_start_main;main;PostmasterMain;\[postgres\];##g' | \
 sed 's#postmaster;_start;__libc_start_main;main;PostmasterMain;\[unknown\];##g' | \
 sed 's#postmaster;\[postgres\];##g' | \
 sed 's#postmaster;\[unknown\];##g' | \
 sed 's#postgres;\[postgres\];##g' | \

mizhka

# Place these sections into the relevant nginx.conf or included files sections.

worker_processes  1;

events {
    worker_connections  1024;
}

http {
	# Allow gzipping js, css, log, svg and json files.

mizhka

 % sysctl dev.pcm
dev.pcm.1.bitperfect: 0
dev.pcm.1.buffersize: 65536
dev.pcm.1.rec.vchanformat: s16le:2.0
dev.pcm.1.rec.vchanrate: 48000
dev.pcm.1.rec.vchanmode: fixed
dev.pcm.1.rec.vchans: 1
dev.pcm.1.rec.autosrc: 2
dev.pcm.1.rec.32bit: 24
dev.pcm.1.%parent: hdaa0

mizhka

#! /bin/sh
#
# CUPS filter for  DCP1610W
# Copyright Brother Industries,Ltd 2006-2014
# 
#                                    Ver1.05

# This program is free software; you can redistribute it and/or modify it
# under the terms of the GNU General Public License as published by the Free
# Software Foundation; either version 2 of the License, or (at your option)

mizhka

# dhcpd.conf
# option definitions common to all supported networks...
option subnet-mask 255.255.255.0;
default-lease-time 600;
max-lease-time 7200;

subnet 192.168.20.0 netmask 255.255.255.0 {
  range 192.168.20.2 192.168.20.40;
  option domain-name-servers 192.168.20.1;
  option routers 192.168.20.1;