IT и Mysql: истории из жизни, советы, новости и юмор — Все посты, страница 4

18

2 года назад

MySQL даёт большую загрузку в гостевой системе⁠⁠

На виртуалке (хост хз какой linux, гостевая gentoo) висит MySQL без нагрузки. Сам mysqld в top видно что ничего не грузит, но при запуске load average системы возрастает с 0.3 до ~3.2.
Поставил innodb_read_io_threads, innodb_write_io_threads, innodb_purge_threads в минимум (остальное там менял только что касалось памяти - буфера и тд), изменений не дало.
Гугль по теме сломан.

Я не настоящий 0дмин - моё предположение, что какими-то syscall-ами грузит ядро.
ps на "голых" машинах юзал всё это давно и много - проблем нет.

Mysql Виртуальная машина Linux Системное администрирование IT

25

37

nekko

2 года назад

ДЕВОПСИНА

ORDER BY ОТЧАЯНИЕ DESC⁠⁠

Источник айти мемов

Показать полностью 1

Mysql Футболка IT юмор IT

16

1

TyuleshPelmesh

2 года назад

Лига программистов

Производительность БД с одной и многими таблицами. Мини-тест⁠⁠

В прошлом посте обмолвился, что собираюсь в своей базе данных завести каждому пользователю по табличке. Ну потому что у меня запросы всегда только для одного пользователя, а значит можно сэкономить ресурсы сервера на индексации, так я думал. Мне накидали полную панамку что так делать нельзя, но почему – никто особо не объяснил. И я решил бахнуть небольшой тест на нескольких БД – проверить что там будет на самом деле.

Для ЛЛ: В большинстве случаев выдавать каждому пользователю по таблице действительно нет смысла. Но для SQLite запросы обрабатываются ощутимо быстрее, если у каждого пользователя своя табличка.

Итак, тестовая задача, более- менее приближенная к моему сценарию:

периодически пользователи закидываеют в БД записи в которой есть ID пользоватея, время записи, текстовая метка (комментарий) и какой-то параметр (число)

INSERT INTO mega_table (id, dt, txt, dat_stat) VALUES ( %s, %s, %s, %s )

после наполнения базы пользователями иногда запрашивается статистика по тому самому числовому параметру за какой-то период времени и с определенным комментарием

SELECT SUM( dat_stat ) FROM mega_table WHERE id=%s AND dt < %s AND dt > %s AND txt = %s

Проверял 3 БД: MySQL сдвижками InnoDB и MyISAM, SQLite и Postgres. Написал скрипт, который эмулирует заполнение БД и запросы к ней, и измеряет сколько времени занимает добавление записи и выполнение запроса. Скачать скриптец можно тут (он сугубо тестовый, т.е. стрёмный и без никакой обработки ошибок, уж сорян). Менял количество пользователей и количество записей у каждого пользователя и смотрел что будет если всё писать в одну таблицу, либо каждому пользователю создавать отдельную. Заодно после выполнения скрипта посмотрел сколько полученные базы данных занимают места на диске.
И вот получились такие таблички.

Производительность БД с одной и многими таблицами. Мини-тест Программирование, Python, IT, Mysql, Postgresql, База данных, Тест, Чайник, Длиннопост

Какие выводы я для себя сделал.

Во первых видно, что если делать по таблице для каждого пользователя, то и добавление записи, и обработка запроса и размер БД получаются вобщем не лучше, чем если завести одну таблицу на всех. Единственное исключение – выполнение запросов в SQLite (и в некоторых случаях для Postgre) может быть в разы быстрее на многих таблицах, чем на одной. Почему так получается? Думаю потому что БД люто заоптимизированы очень крутыми чуваками под определенные сценарии использования. И если ты не столь-же крут (я лично нет), то нужно выбрать наиболее подходящую БД и подгонять свою задачу под типичные сценарии использования этой БД.

Во вторых если мне важнее скорость добавления/чтения (т.е. экономить вычислительные ресурсы) то из протестированных лучше пользовать Postgres, если важнее экономить место на диске – то MySQL с движком MyISAM. MySQL с движком InnoDB где-то посередине.

В третьих SQLite неожиданно всех обошел в скорости выполнения запросов (для моего случая по крайней мере). Прикольно.

Ну и в четвертых, питоновская обёртка для SQL-запросов про которую я писал в прошлом посте таки упростила бы мне написание тестового скрипта, но для чистоты эксперимента пришлось её отложить в сторону.

В любом случае это было интересно сделать, надеюсь кому-то было интересно и почитать.

Показать полностью 3

[моё] Программирование Python IT Mysql Postgresql База данных Тест Чайник Длиннопост

29

22

user5026104

2 года назад

Студенческое общество

Команда для разработки соц сети⁠⁠

Привет! Меня зовут Никита, я из Беларуси, Минск. Я заинтересован в веб-разработке. Неплохо знаю html и css, поверхостно знаю php и javascript. Недавно я заинтересовался в проекте для школы. Я хочу сделать сайт-соц.сеть для моей школы, в которой будут чаты для каждого класса, а также общешкольный чат для оповещения администрацией о важных мероприятиях всю школы сразу, через один чат.

Так как я совсем поверхостно знаю php и javascript мне нужна команда ребят (желательно моего возраста 13-15 лет), которые знают php и javascript лучше меня, и которые смогут помочь мне в разработке моего проекта. Мне понадобится помощь в создании системы регистрации и авторизации, а также в создании закрытых чатов. Ну и еще я ищу новые знакомства)

Пишите мне в тг @nikitkakovrov.

[моё] Студенты Программирование Веб-разработка Веб-дизайн PHP Javascript HTML CSS Mysql Школа IT Команда Знакомства Друзья Текст

12

nikitavas

2 года назад

Платформа для разработки ERP учетных систем (бесплатно)⁠⁠

Всем привет.

Делал в качестве хобби платформу для быстрой разработки учетных систем.

Кому надоело вести документацию в Excel или Access, а 1С еще дорого, но хочется для себя использовать полноценную базу данных.

Изначально была цель разработать кроссплатформенное решение трехзвенной архитектуры с доступом из веб, плюс быстрая разработка прикладного кода, минимальные требования к ресурсам(с возможностью использования на самом дешевом тарифном плане хостинга) и такие же минимальные требования к разработке и разработчикам(т.е. без своих DSL ЯП и обучения новым фреймворкам)

Выбрал такое трехзвенное решение:

JS(JQuery) - Сервер приложений(Apache+PHP) - БД(MySQL или MariaDB)

Никаких готовых фреймфорков и использования сторонних пакетов. Правда собирал из кусочков, так что местами "франкенштейн", авторизация на уровне школьной, но я предполагаю, что знать где у вас будет установлена система будет ограниченное количество человек.

В результате получилось решение, где можно по быстрому накидать таблиц, создать также быстро UI для них(однотипное) и далее сосредоточиться только на написании прикладного кода.

Готовые объекты для форм, таблиц, прикладного кода, отчетов. CRUD, фильтрация, сортировка из коробки. Для манипуляций с данными сделана надстройка в стиле Excel (устанавливаете нужные фильтры и работаете с таблицами). SQL учить особо не надо, только представлять какие данные в каких таблицах.

Выкладываю бесплатно, без ограничений внутри. можете пользоваться, переводить ведение ваших данных в систему.

Есть готовые примеры, которые можно смотреть как сделано и делать наподобие, лишнее можно выпилить. На полноценную документацию сил не хватило, честно говоря уже выдохся. Весь код открыт, даже кое-где есть комментарии. Файл с описанием внутри архива (PDF).

Кодинг через веб есть, но это блажь, можно отключить и кодить в вашей любимой IDE, файлы объектов (форм, таблиц, классов, отчетов в отдельных каталогах).

Все весит 10Mb, без codemirror около 5Mb.

ЯП на фронте Javascript(JQuery), на сервере PHP в чистом виде практически. Это чтобы не зависеть от перехода на новые версии чего либо, т.к. вам нужно будет, чтобы работало как можно дольше без обновлений, такая специфика учетных систем.

Теоретически должно работать даже на Astra Linux, но я не пробовал.

Размещаю небольшие демонстрации на видео. Там же ссылка на скачивание (во втором видео demo2).

https://www.youtube.com/watch?v=ONOFC8kjtTU

https://www.youtube.com/watch?v=G34ZniBclsk