Huzylog

# mysql -u root -p

mysql > alter user 'root'@'localhost' identified with mysql_native_password by 'pw123';
mysql > flush privileges;

서버에 워드프레스를 설치하려고 했는데, "데이터베이스 연결 중 오류" 가 발생했다.

실제로 연결을 시도해보니 로그인이 되지 않고 있는 점을 발견했고, 아래와 같이 해결했다.

문제는 인증체계가 바뀌어서 그런것인데, php7.4 이상으로 업그레이드해주거나, mysql 에서 alter user 로 native passwod (기존 인증방식)을 사용하도록 해주면 된다.

용량이 14gb에 달하는 테이블을 아무런 생각도 없이 PMA에서 "테이블 최적화" 를 눌러버렸다.

서버에서 그 즉시 mysql 프로세스가 먹는 메모리와 CPU가 급증하고 멈추기만을 기다렸다.

장장 7시간이 넘게 소요되었다.. 이걸 강제로 멈춘다면 테이블이 crash가 발생할수도 있다라는 글을 여럿 발견하고는 아무런 일도 할수 없었다.

그럼 이 작업이 언제 끝났는지를 알수 있었냐면, PMA또는 터미널상에서의 mysql command를 통해 가능하다.

PMA 에서는 "서버 > 상태 > 프로세스" 로 접근하면, 당당히 목록에 "OPTIMIZE TABLE XXX"가 열심히 작업 중일 것이다..

터미널에서는 mysql -u root -p 로 로그인하여 mysql command로 들어가 "SHOW PROCESSLIST"를 입력해주면 된다.

어쨌건... 용량 큰 테이블을 쪼개는 작업을 진행 중인데.. 

맨처음 설계부터 신중해야함을 다시한번 느낀다.

최근에 구축 중인 사이트가 있는데, 방대한 양의 시세 정보 데이터를 적재하고 이를 검색서비스를 제공하는 사이트이다. 

여러 다른서버들이 있어 다른서버의 시세도 한눈에 보게끔 해주고 싶었는데, 아무 생각 없이 where 에 in 으로 서브 쿼리를 넣어 주는걸로 작성을 해주었더니, 시간이 매우 오래 걸렸다.

SELECT * FROM auction
	WHERE idx IN (
    	SELECT MAX(idx) FROM auction
        	WHERE item_id = :item_id
            GROUP BY realm_id, auction_house_id, item_id)
    ORDER BY price_min DESC;

위 쿼리의 결과가 도출되는데 4초에서 6초가 소요되었다. 개선을 해볼수 있지 않을까 싶어 여러 검색을 해보았는데, where 에서는 서브 쿼리를 절대 쓰지 말라, join 을 사용하라는 글이 많이 있어 join 으로 변경 해보았다.

SELECT main.* FROM auction AS main
	JOIN (
    	SELECT MAX(idx) AS max_idx
        FROM auction WHERE item_id = :item_id
        GROUP BY realm_id, auction_house_id, item_id) AS sub
    ON main.idx = sub.max_idx
    ORDER BY price_min DESC

이렇게 변경 하니 채 1초도 걸리지 않았다. 10~30ms가 소요되었다... 

서브쿼리가 참 최악인가보다.

MySQL Database의 경우 Oracle 이나 MS SQL Server에 비해서 대용량의 자료를 처리하는 경우가 적기에 튜닝에 필요성이 적은 것 같습니다. 그러나 웹이라는 환경은 많은 사용자가 동시에 접속을 할 수 있기에 항상 모니터링과 최적화는 기본이라고 생각합니다.
본 강좌에서는 기본적인 모니터링 방법과 Connection과 Memory 부분에 대한 튜닝 방법을 소개하도록 하겠습니다.
가. 모니터링 및 초기화 명령어

• show status - MySQL 데이타베이스의 현재 상황
• show Processlist - MySQL 프로세스 목록
• show variables - 설정 가능한 모든 변수 목록
• flush logs - MySQL의 로그파일 초기화
• flush status - MySQL 상태정보 초기화
• flush thread - 쓰레드 캐시에 저장된 쓰레드 초기화
• flush tables - MySQL에 캐싱된 테이블 초기화
• flush privileges - 권한정보 재 설정

나. Connection 튜닝
1. status

• Aborted_clients - 클라이언트 프로그램이 비 정상적으로 종료된 수
• Aborted_connects - MySQL 서버에 접속이 실패된 수
• Max_used_connections - 최대로 동시에 접속한 수
• Threads_cached - Thread Cache의 Thread 수
• Threads_connected - 현재 연결된 Thread 수
• Threads_created - 접속을 위해 생성된 Thread 수
• Threads_running - Sleeping 되어 있지 않은 Thread 수

2. system variables

• wait_timeout - 종료전까지 요청이 없이 기다리는 시간 ( TCP/IP 연결, Shell 상의 접속이 아닌 경우 )
• thread_cache_size - thread 재 사용을 위한 Thread Cache 수로써, Cache 에 있는 Thread 수보다 접속이 많으면 새롭게 Thread를 생성한다.
• max_connections - 최대 동시 접속 가능 수

그외에 status 또는 system variables 값은 참고의 Mysql 메뉴얼을 참조해 주십시요.

mysql> show variables like '%max_connection%';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| max_connections | 100   |
+-----------------+-------+
1 row in set (0.00 sec)

mysql> show status like '%connect%';
+----------------------+---------+
| Variable_name        | Value   |
+----------------------+---------+
| Aborted_connects     | 3782    |
| Connections          | 2961108 |
| Max_used_connections | 90      |
| Threads_connected    | 1       |
+----------------------+---------+
4 rows in set (0.01 sec)

mysql> show status like '%clients%';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| Aborted_clients | 2160  |
+-----------------+-------+
1 row in set (0.00 sec)

mysql> show status like '%thread%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| Delayed_insert_threads | 0     |
| Slow_launch_threads    | 0     |
| Threads_cached         | 7     |
| Threads_connected      | 1     |
| Threads_created        | 1364  |
| Threads_running        | 1     |
+------------------------+-------+
6 rows in set (0.00 sec)

• Connection Usage(%)가 100% 라면 max_connections 수를 증가시켜 주십시요. Connection 수가 부족할 경우 Too Many Connection Error 가 발생합니다.
• DB 서버의 접속이 많은 경우는 wait_timeout 을 최대한 적게 (10~20 정도를 추천) 설정하여 불필요한 연결을 빨리 정리하는 것이 좋습니다. 그러나 Connection Miss Rate(%) 가 1% 이상이 된다면 wait_timeout 을 좀 더 길게 잡는 것이 좋습니다.
• Cache Miss Rate(%) 가 높다면 thread_cache_size를 기본값인 8 보다 높게 설정하는 것이 좋습니다. 일반적으로 threads_connected 가 Peak-time 시 보다 약간 낮은 수치로 설정하는 것이 좋습니다.
• MySQL 서버는 외부로 부터 접속 요청을 받을 경우 인증을 위해 IP 주소를 호스트네임으로 바꾸는 과정을 수행하여 접속시에 불필요한 부하가 발생하게 됩니다. skip-name-resolve를 설정하시고 접속시에 IP 기반으로 접속을 하게 되면 hostname lookup 과정을 생략하게 되어 좀 더 빠르게 접속을 하실 수 있습니다.

다. Memory 튜닝
1. status

• key_block_unused - Key Cache에서 사용되고 있지 않은 Block 수
• key_reads - Key Block 읽기 요청시 Disk을 읽은 수
• key_read_requests - Key Block 읽기 요청수

2. system variables

• key_buffer_size - 인덱스를 메모리에 저장하는 버퍼의 크기
• table_cache - 전체 쓰레드가 사용할 오픈 가능한 테이블 수
• myisam_sort_buffer_size - 테이블 repair,Alter table,load data에 사용되는 버퍼 메모리 크기
• join_buffer_size - 조인을 위한 메모리 버퍼 크기
• record_buffer - 순차적인 검색을 위해 사용되는 메모리 버퍼 크기
• record_rnd_buffer - order by 절을 사용할 경우 디스크 사용을 피하기 위하여 사용하는 메모리 버퍼 크기
• sort_buffer - order by 와 group by에 사용되는 메모리 버퍼 크기
• tmp_table_size - group by 시 디스크를 사용하지 않고 임시 테이블을 만들기 위해 사용되는 메모리 크기
• key_cache_block_size - block 의 크기(bytes, 기본값 1024)

mysql> show status like '%key%';
+------------------------+-----------+
| Variable_name          | Value     |
+------------------------+-----------+
| Com_preload_keys       | 0         |
| Com_show_keys          | 2945      |
| Handler_read_key       | 365020739 |
| Key_blocks_not_flushed | 0         |
| Key_blocks_unused      | 222601    |
| Key_blocks_used        | 231960    |
| Key_read_requests      | 847204435 |
| Key_reads              | 4195954   |
| Key_write_requests     | 25034738  |
| Key_writes             | 16452136  |
+------------------------+-----------+
10 rows in set (0.00 sec)

• key_buffer_size는 총 메모리 크기의 25% 정도의 크기로 설정하는 것이 좋습니다.
• Key_reads/Key_read_requests Rate(%)은 일반적으로 1%보다 적습니다. 1% 보다 높다면 Key Cache가 아닌 디스크를 읽은 경우가 많다고 판단할 수 있습니다. 또한 Key_reads/Key_reads_requests Relative Rate(%) 값이 지속적으로 90% 이상일 경우는 key_buffer_size가 효율적으로 설정되어 있다고 생각하시면 됩니다. 하지만 데이터베이스가 엄청나게 크거나 여러 데이터를 골고루 많이 읽는 데이터베이스라면 아무리 많은 양의 키 캐시를 설정해도 90% 이상의 적중률을 얻을 수는 없습니다.

라. 적용
system variables은 my.cnf 또는 my.ini 파일을 수정 후 MySQL Server 를 재시작 해 주십시요.

[www@smson www]$ vi /etc/my.cnf  # The MySQL server
[mysqld]
port            = 3306
socket          = /tmp/mysql.sock
skip-locking
skip-name-resolve
key_buffer = 256M
max_allowed_packet = 1M
table_cache = 256
sort_buffer_size = 1M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache = 8
query_cache_size= 16M
# Try number of CPU's*2 for thread_concurrency
thread_concurrency = 8
wait_timeout = 120

~~~

[root@smson mysql]# /usr/local/mysql/share/mysql/mysql.server restart

• http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html
• http://dev.mysql.com/doc/refman/5.0/en/server-status-variables.html
• http://jeremy.zawodny.com/blog/archives/000173.html
• http://www.dbguide.net/know/know101003.jsp?IDX=887&catenum=14
• High Performance MySQL
• http://dev.mysql.com/books/hpmysql-excerpts/ch06.html
• http://www.mysqlperformanceblog.com/mysql-performance-presentations/

출처 : http://www.albumbang.com/board/board_view.jsp?board_name=free&no=139

Usually, I update variables on the fly using something like:

mysql> SET GLOBAL max_connections = 150;

… and then modify /etc/my.cnf to make the change persistent.

The problem in doing this is that you’re not verifying that your /etc/my.cnf is correct and can only hope that a restart doesn’t encounter any problems.

Fortunately, Sai emailed us a great little tip to verify the syntax. You can run the following which will report errors in /etc/my.cnf:

# /usr/libexec/mysqld --help --verbose
081009  9:55:36 [ERROR] /usr/libexec/mysqld: unknown variable 'mmax_connections=150'
 
#

Perfect. Just what the doctor ordered.

하지만 난 mysqld가 저 경로에 없었다..

#mysqld --help --verbose

또는..

#which mysqld 한 뒤에..

/usr/sbin/mysqld 이 위치라는걸 보고

#/usr/sbin/mysqld --help --verbose 를 했다.

Simply put, you need to rewrite all of your database connections and queries.

You are using mysql_* functions which are now deprecated and will be removed from PHP in the future. So you need to start using MySQLi or PDO instead, just as the error notice warned you.

A basic example of using PDO (without error handling):

<?php
$db = new PDO('mysql:host=localhost;dbname=testdb;charset=utf8', 'username', 'password');
$result = $db->exec("INSERT INTO table(firstname, lastname) VAULES('John', 'Doe')");
$insertId = $db->lastInsertId();
?>

A basic example of using MySQLi (without error handling):

$db = new mysqli($DBServer, $DBUser, $DBPass, $DBName);
$result = $db->query("INSERT INTO table(firstname, lastname) VAULES('John', 'Doe')");

Here's a handy little PDO tutorial to get you started. There are plenty of others, and ones about the PDO alternative, MySQLi.

예) select * from table_name order by rand() limit 10 ;

위에서 table_name 에는 자신이 랜덤으로 데이터를 뽑을 테이블의 이름이며

10은 자신이 랜덤으로 몇개의 데이터를 뽑을것인지 쓰는 곳이다.

예를들어 자신이 aaa라는 테이블에서 7개의 임의의 데이터를 읽어오려면

select * from aaa order by rand() limit 7 ;

라고 쓰면 된다.