Dimensione "massima" consigliata del DB

Visualizzazione Stampabile

16-01-2009, 12:24
djlight

Dimensione "massima" consigliata del DB

Ciao ragazzi,
premetto di avere installato vB su un mio server che funziona solo per mantenere il forum up.
Attualmente nelle impostazioni gli allegati vengono salvati nel db mysql e il database ha ora raggiunto quota 250mega.
Domanda da niubbo Fino a che quota posso spingermi senza avere problemi con il db visto e considerato che non nessun problema di spazio. A quale dimensione il forum potrebbe diventare lento e macchinoso nelle query o per altri motivi dati dalla dimensione del DB?
E' possibile nel caso in futuro spostare gli allegati dal db e portarli direttamente su disco come singoli files?
THX
17-01-2009, 03:22
y2ksw

Le dimensioni normali massime sono 2 GB per ogni tabella, ma può essere estesa, usando delle opzioni particolati. La velocità dipende dalla velocità dei dischi e dal numero di tabelle nel database, meno da altri fattori.

Consiglio di esportare gli allegati su file - crea meno problemi ed è più rapido all'accesso.
05-02-2009, 19:54
jeff_92

Citazione:

Originariamente Scritto da y2ksw

Le dimensioni normali massime sono 2 GB per ogni tabella, ma può essere estesa, usando delle opzioni particolati. La velocità dipende dalla velocità dei dischi e dal numero di tabelle nel database, meno da altri fattori.

Consiglio di esportare gli allegati su file - crea meno problemi ed è più rapido all'accesso.

Io ho una tabella (post) da 15GB.. e funziona :D senza nessun tricks..
09-02-2009, 18:02
y2ksw

Capperi! :)
02-04-2009, 18:16
Giangy94

Speriamo sia l'ultimo che posti-.-
20-07-2009, 15:54
horusbird

Citazione:

Originariamente Scritto da jeff_92

Io ho una tabella (post) da 15GB.. e funziona :D senza nessun tricks..

Ciao, mi riaggancio a questo vecchio post perche' ho grossi problemi ogni qual volta faccio operazioni sul database mysql e non riesco a schiodare la cosa.

Premetto che VBulletin e' hostato su un server virtuale (vmware) gestito con Virtualmin e Webmin con le seguenti caratteristiche:

1024 mega di ram
900 mega swap
18,50 giga di spazio disco
OS: CentOS Linux 5.2
Kernel and CPU Linux 2.6.18-92.1.10.el5 on i686
ecc ecc

il database attualmente ha 402 tabelle tra Joomla e vBulletin, gli allegati che sono circa 4 giga risiedono su file system e la tabella piu' grossa del database e' la tabella post con 267.000 record = 190 mega circa.

Il server virtuale e' settato "credo" bene, cosi' come mi pare giusto il file di cfg di mysql, il problema e' che ogni qual volta faccio operazioni sul database quali ad esempio il controllo delle tabelle e la loro riparazione, oppure il backup del database o altro che va a "stressare" un po' mysql, il server inizia a swappare (dopo avere saturato il 100% della CPU che ricordo essere di un giga) e alla fine si pianta completamente costringendoci a dover fare il reboot del sistema.

Il numero di accessi contemporanei al server e' mediamente di circa 60/70 utenti (da 10 a 150 nelle ore di punta) e i problemi sopra elencati li ho sempre quando ho molti utenti collegati.

Quando pero' leggo post come il tuo in cui affermi di riuscire a gestire una tabella di 15 giga casco dalle nuvole e non riesco a spiegarmi quale sia allora il mio problema.

Pensa che avevo temporaneamente per motivi vari dovuto riportare gli allegati nel database (4 giga) e ti assicuro che se non avessimo fatto l'operazione al contario con l'aiuto del tecnico della farm che, mentre andava avanti l'operazione monitorava lo swap e chiudeva man mano i servizi non indispensabili, non sarei mai riuscito a riportare tutti e 4 i giga nel file system... durante l'operazione nonostante l'http chiuso cosi' come tutti i demoni FTP , POP ecc. ecc. veniva utilizzato il 100% di cpu e quasi 900 mega di swap e TUTTO da mysql che cercava di gestire quella cavolo di tabella degli allegati grossa 4 giga!

Con gli amministratori del server abbiamo provato anche a cambiare macchina ma senza alcun risultato apprezzabile.

Loro seguitano a dire che il problema e' il numero enorme di sessioni che in certi momenti apre mysql le quali "saturano" la cpu e costringono linux a swappare sempre di piu' con la conseguenza del blocco del sistema.

Hai, o avete idea di come risolvere il problema?

Io credo che un database di 280 mega alla fine non sia affatto esagerato e allo stesso tempo ritengo che anche un sistema linux con 1 giga di ram non dovrebbe essere messo in crisi cosi' facilmente... che ne pensate?
Cosa posso controllare?

Grazie mille
20-07-2009, 16:42
y2ksw

Il problema è che probabilmente PHP e MySQL siano configurati a usare tanta memoria che però in pratica non c'è.
Il problema inerente i tanti utenti proverei a risolvere prima dal lato PHP, poi da MySQL. Prova ad assegnare meno memoria disponibile per gli script, e di conseguenza ridurre la dimensione massima dei dati POST e degli allegati (max 2/3 della memoria massima disponibile, meglio 1/2).

A livello MySQL, ridurrei gradualmente l'utilizzo della RAM e cercherei di operare più sul disco. Dovresti controllare nelle ore di punta l'utilizzo della memoria nelle variabili MySQL e aggiustare i valori al reale consumo, non a quello ipotetico oppure ritenuto ottimale. In particolare, il Key Buffer non deve essere grande quanto dichiarato nel manuale MySQL, ma di regola sono sufficienti 16 MB. E il numero delle connessioni non deve essere un'esagerazione se MySQL risponde velocemente. Invece la cache delle query deve essere alta, per ospitare il maggior numero di query ricorrenti.

In altre parole, devi evitare che si swappano Apache, PHP o MySQL su disco, ad ogni costo. Meglio che MySQL utilizza file temporanei che ogni altra soluzione ;)
20-07-2009, 16:50
y2ksw

Dimenticavo ... sei in qualche modo limitato nella banda? Se è vero, alla saturazione della banda Apache non riesce più a mandare via i dati, e quindi si ottura tutto. Anche con crash di sistema. In tal caso è necessario limitare le connessioni dal router oppure da una soluzione software, ad esempio da Apache.
20-07-2009, 16:57
y2ksw

Per ridurre la dimensione della pagina, consiglio di salvare gli stili su file CSS. In questo modo lo stile viene caricato solo una volta per sessione, salvo impostazioni particolari del browser.
20-07-2009, 17:20
horusbird

Citazione:

Originariamente Scritto da y2ksw

Il problema è che probabilmente PHP e MySQL siano configurati a usare tanta memoria che però in pratica non c'è.
Il problema inerente i tanti utenti proverei a risolvere prima dal lato PHP, poi da MySQL. Prova ad assegnare meno memoria disponibile per gli script, e di conseguenza ridurre la dimensione massima dei dati POST e degli allegati (max 2/3 della memoria massima disponibile, meglio 1/2).

A livello MySQL, ridurrei gradualmente l'utilizzo della RAM e cercherei di operare più sul disco. Dovresti controllare nelle ore di punta l'utilizzo della memoria nelle variabili MySQL e aggiustare i valori al reale consumo, non a quello ipotetico oppure ritenuto ottimale. In particolare, il Key Buffer non deve essere grande quanto dichiarato nel manuale MySQL, ma di regola sono sufficienti 16 MB. E il numero delle connessioni non deve essere un'esagerazione se MySQL risponde velocemente. Invece la cache delle query deve essere alta, per ospitare il maggior numero di query ricorrenti.

In altre parole, devi evitare che si swappano Apache, PHP o MySQL su disco, ad ogni costo. Meglio che MySQL utilizza file temporanei che ogni altra soluzione ;)

Iniziando con la cfg di mysql, ecco la mia attuale, da quanto capisco ha dei valori troppo alti giusto?

Codice:

# skip-innodb old_passwords=1 query_cache_limit=4M query_cache_size=64M log-slow-queries=/var/log/mysqld_slow.log long_query_time=5 max_connections=512 table_cache=512 thread_cache=100 key_buffer=32M sort_buffer_size=1M read_buffer_size=1M read_rnd_buffer_size=768K join_buffer_size=8M set-variable = max_connections=400 set-variable = key_buffer=150 ft_min_word_len=3 tmp_table_size = 32M query_cache_type=1 interactive_timeout=100 wait_timeout=50 connect_timeout=10 join_buffer=1M myisam_sort_buffer_size=64M max_allowed_packet=16M [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid
20-07-2009, 17:48
horusbird

Questa e' invece la configurazione di php, molti parametri non ho neppure idea di cosa siano e a cosa servano... gli daresti uno sguardo?

Grazie!:)

Codice:

[PHP] ;;;;;;;;;;;;;;;;;;;; ; Language Options ; ;;;;;;;;;;;;;;;;;;;; engine = On zend.ze1_compatibility_mode = Off short_open_tag = On asp_tags = Off precision = 14 y2k_compliance = On output_buffering = 4096 zlib.output_compression = Off implicit_flush = Off unserialize_callback_func= serialize_precision = 100 allow_call_time_pass_reference = Off ; ; Safe Mode ; safe_mode = Off safe_mode_gid = Off safe_mode_exec_dir safe_mode_allowed_env_vars = PHP_ safe_mode_protected_env_vars = LD_LIBRARY_PATH disable_classes = expose_php = On ;;;;;;;;;;;;;;;;;;; ; Resource Limits ; ;;;;;;;;;;;;;;;;;;; ; max_execution_time = 45 ; max_input_time = 60 memory_limit = 48M ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;; ; Error handling and logging ; ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;; error_reporting = "E_ALL & ~E_NOTICE" display_errors = Off display_startup_errors = Off log_errors = On log_errors_max_len = 1024 ignore_repeated_errors = Off ignore_repeated_source = Off report_memleaks = On track_errors = Off ;;;;;;;;;;;;;;;;; ; Data Handling ; ;;;;;;;;;;;;;;;;; variables_order = "EGPCS" register_globals = On register_long_arrays = Off register_argc_argv = Off auto_globals_jit = On post_max_size = 12M magic_quotes_gpc = Off magic_quotes_runtime = Off magic_quotes_sybase = Off auto_prepend_file = auto_append_file = ;;;;;;;;;;;;;;;;;;;;;;;;; ; Paths and Directories ; ;;;;;;;;;;;;;;;;;;;;;;;;; doc_root = user_dir = extension_dir = "/usr/lib/php/modules" enable_dl = On ;;;;;;;;;;;;;;;; ; File Uploads ; ;;;;;;;;;;;;;;;; file_uploads = On upload_max_filesize = 12M ;;;;;;;;;;;;;;;;;; ; Fopen wrappers ; ;;;;;;;;;;;;;;;;;; allow_url_fopen = On default_socket_timeout = 60 ;;;;;;;;;;;;;;;;;;; ; Module Settings ; ;;;;;;;;;;;;;;;;;;; define_syslog_variables(). define_syslog_variables = Off SMTP = localhost smtp_port = 25 sendmail_path = "/usr/sbin/sendmail -t -i" [SQL] sql.safe_mode = Off [ODBC] odbc.allow_persistent = On odbc.check_persistent = On odbc.max_persistent = -1 odbc.max_links = -1 odbc.defaultlrl = 4096 odbc.defaultbinmode = 1 [MySQL] mysql.allow_persistent = Off mysql.max_persistent = 0 mysql.max_links = -1 mysql.default_port = mysql.default_socket = mysql.default_host = mysql.default_user = mysql.connect_timeout = 60 mysql.trace_mode = Off [MySQLi] mysqli.max_links = -1 mysqli.default_port = 3306 mysqli.default_socket = mysqli.default_host = mysqli.default_user = mysqli.reconnect = Off [mSQL] msql.allow_persistent = On msql.max_persistent = -1 msql.max_links = -1 [PostgresSQL] pgsql.allow_persistent = On pgsql.auto_reset_persistent = Off pgsql.max_persistent = -1 pgsql.max_links = -1 pgsql.ignore_notice = 0 pgsql.log_notice = 0 [Sybase] sybase.allow_persistent = On sybase.max_persistent = -1 sybase.max_links = -1 sybase.min_error_severity = 10 sybase.min_message_severity = 10 sybase.compatability_mode = Off [Sybase-CT] sybct.allow_persistent = On sybct.max_persistent = -1 sybct.max_links = -1 sybct.min_server_severity = 10 sybct.min_client_severity = 10 [bcmath] bcmath.scale = 0 [Informix] ifx.default_host = ifx.default_user = ifx.default_password = ifx.allow_persistent = On ifx.max_persistent = -1 ifx.max_links = -1 ifx.textasvarchar = 0 ifx.byteasvarchar = 0 ifx.charasvarchar = 0 ifx.blobinfile = 0 ifx.nullformat = 0 [Session] session.save_handler = files session.save_path = /var/lib/php/session session.use_cookies = On session.use_only_cookies = Off session.name = PHPSESSID session.auto_start = 0 session.cookie_path = / session.cookie_domain = session.serialize_handler = php session.gc_probability = 1 session.gc_divisor = 1000 session.gc_maxlifetime = 1440 session.bug_compat_42 = 0 session.bug_compat_warn = 1 session.referer_check = session.entropy_length = 0 session.entropy_file = session.cache_limiter = nocache session.cache_expire = 180 session.use_trans_sid = 0 session.hash_function = 0 session.hash_bits_per_character = 5 url_rewriter.tags = "a=href,area=href,frame=src,input=src,form=fakeentry" [MSSQL] mssql.allow_persistent = On mssql.max_persistent = -1 mssql.max_links = -1 mssql.min_error_severity = 10 mssql.min_message_severity = 10 mssql.compatability_mode = Off [Tidy] tidy.clean_output = Off [soap] soap.wsdl_cache_enabled=1 soap.wsdl_cache_dir="/tmp" soap.wsdl_cache_ttl=86400
20-07-2009, 22:54
y2ksw

Questo è la configurazione MySQL di un server con molti utenti contemporanei e 2 GB di RAM. Il tuo ha meno, per cui devi assegnare ancora meno. Comunque potrebbe essere una base valida. Versione MySQL 5.x, ma non dovrebbe fare differenze per versioni minori, in quanto i valori sconosciuti non sono considerati.

I valri in grassetto sono essenziali per evitare lo swapping e per snellire (parecchio) il sistema. Usarlo solo come riferimento (non copia incolla) perché il sistema è Windows ;)

Codice:

# Example MySQL config file for small systems. # # This is for a system with little memory (<= 64M) where MySQL is only used # from time to time and it's important that the mysqld daemon # doesn't use much resources. # # You can copy this file to # C:/xampp/mysql/bin/my.cnf to set global options, # mysql-data-dir/my.cnf to set server-specific options (in this # installation this directory is C:/xampp/mysql/data) or # ~/.my.cnf to set user-specific options. # # In this file, you can use all long options that a program supports. # If you want to know which options a program supports, run the program # with the "--help" option. # The following options will be passed to all MySQL clients [client] # password = your_password port = 3306 socket = "C:/xampp/mysql/mysql.sock" # Here follows entries for some specific programs # The MySQL server [mysqld] port= 3306 socket= "C:/xampp/mysql/mysql.sock" basedir="C:/xampp/mysql" tmpdir=C:/temp datadir="C:/xampp/mysql/data" skip-locking key_buffer_size=16M max_allowed_packet=4M table_cache = 64 sort_buffer_size=512k net_buffer_length = 8K read_buffer_size=1M read_rnd_buffer_size=4M myisam_sort_buffer_size = 8M # Don't listen on a TCP/IP port at all. This can be a security enhancement, # if all processes that need to connect to mysqld run on the same host. # All interaction with mysqld must be made via Unix sockets or named pipes. # Note that using this option without enabling named pipes on Windows # (via the "enable-named-pipe" option) will render mysqld useless! # # commented in by lampp security #skip-networking # Replication Master Server (default) # binary logging is required for replication # log-bin deactivated by default since XAMPP 1.4.11 #log-bin=mysql-bin # required unique id between 1 and 2^32 - 1 # defaults to 1 if master-host is not set # but will not function as a master if omitted server-id = 1 # Replication Slave (comment out master section to use this) # # To configure this host as a replication slave, you can choose between # two methods : # # 1) Use the CHANGE MASTER TO command (fully described in our manual) - # the syntax is: # # CHANGE MASTER TO MASTER_HOST=<host>, MASTER_PORT=<port>, # MASTER_USER=<user>, MASTER_PASSWORD=<password> ; # # where you replace <host>, <user>, <password> by quoted strings and # <port> by the master's port number (3306 by default). # # Example: # # CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306, # MASTER_USER='joe', MASTER_PASSWORD='secret'; # # OR # # 2) Set the variables below. However, in case you choose this method, then # start replication for the first time (even unsuccessfully, for example # if you mistyped the password in master-password and the slave fails to # connect), the slave will create a master.info file, and any later # change in this file to the variables' values below will be ignored and # overridden by the content of the master.info file, unless you shutdown # the slave server, delete master.info and restart the slaver server. # For that reason, you may want to leave the lines below untouched # (commented) and instead use CHANGE MASTER TO (see above) # # required unique id between 2 and 2^32 - 1 # (and different from the master) # defaults to 2 if master-host is set # but will not function as a slave if omitted #server-id = 2 # # The replication master for this slave - required #master-host = <hostname> # # The username the slave will use for authentication when connecting # to the master - required #master-user = <username> # # The password the slave will authenticate with when connecting to # the master - required #master-password = <password> # # The port the master is listening on. # optional - defaults to 3306 #master-port = <port> # # binary logging - not required for slaves, but recommended #log-bin=mysql-bin # Point the following paths to different dedicated disks #tmpdir = "C:/xampp/tmp" #log-update = /path-to-dedicated-directory/hostname # Uncomment the following if you are using BDB tables #bdb_cache_size = 4M #bdb_max_lock = 10000 # Comment the following if you are using InnoDB tables skip-innodb #innodb_data_home_dir = "C:/xampp/mysql/" #innodb_data_file_path = ibdata1:10M:autoextend #innodb_log_group_home_dir = "C:/xampp/mysql/" #innodb_log_arch_dir = "C:/xampp/mysql/" ## You can set .._buffer_pool_size up to 50 - 80 % ## of RAM but beware of setting memory usage too high #innodb_buffer_pool_size = 16M #innodb_additional_mem_pool_size = 2M ## Set .._log_file_size to 25 % of buffer pool size #innodb_log_file_size = 5M #innodb_log_buffer_size = 8M #innodb_flush_log_at_trx_commit = 1 #innodb_lock_wait_timeout = 50 #If no specific storage engine/table type is defined in an SQL-Create statement the default type will be used. default-storage-engine=myisam #Don't cache results that are bigger than this. #query_cache_limit=1M #minimal size of unit in wich space for results is allocated (last unit will be trimed after writing all result data #query_cache_min_res_unit=4096k #The memory allocated to store results from old queries. query_cache_size=128M #Query cache type to use. #query_cache_type=1 #Lock mysqld in memory.(=Don't swap.) memlock #The number of simultaneous clients allowed. #max_connections=400 #The number of simultaneous clients allowed. max_connections=300 #Using this option will cause most temporary files created to use a small set of names, rather than a unique name for each new file. temp-pool #Allow connections via named pipes (Windows NT+ only). Note: you can specify a pipe name on the advanced network page, if required. #enable-named-pipe #Don't cache host names. #skip-host-cache #Don't resolve hostnames. All hostnames are IP's or 'localhost'. #skip-name-resolve #Don't allow new user creation by the user who has no write privileges to the mysql.user table. safe-user-create #Disallow authentication for accounts that have old (pre-4.1) passwords. #secure-auth #Enter a name for the slow query log. Otherwise a default name will be used. log-slow-queries= [mysqldump] quick max_allowed_packet = 16M [mysql] no-auto-rehash # Remove the next comment character if you are not familiar with SQL #safe-updates [isamchk] key_buffer = 20M sort_buffer_size = 20M read_buffer = 2M write_buffer = 2M [myisamchk] key_buffer = 20M sort_buffer_size = 20M read_buffer = 2M write_buffer = 2M [mysqlhotcopy] interactive-timeout
20-07-2009, 22:56
y2ksw

Non funziona il grassetto in code :(

quindi:
skip-innodb
max_connections=300
temp-pool
skip-locking
key_buffer_size=16M
table_cache = 64
sort_buffer_size=512k
read_buffer_size=1M
read_rnd_buffer_size=4M
myisam_sort_buffer_size = 8M
memlock
20-07-2009, 23:00
y2ksw

Con memlock MySQL non verrà mai swappato ;)
21-07-2009, 08:33
horusbird

Citazione:

Originariamente Scritto da y2ksw

Con memlock MySQL non verrà mai swappato ;)

Bene :) , ho fatto alcune modifiche sulla base dei tuoi consigli, vediamo di quanto miglioriamo la situazione. :up: