Category: DATABASE

9월 15 2021

mysql, 1040, ‘Too many connections’

By snowffox in DATABASE

mysql, 1040, ‘Too many connections’ mysql을 이용해서 스크립트 작성중 too many connections 오류가 발생했다. 스크립트 실행 전에 processlist를 확인해 보면 아래와 같다.

ysql> show full processlist\g
+--------+----------+-----------------+----------+---------+------+----------+-----------------------+
| Id     | User     | Host            | db       | Command | Time | State    | Info                  |
+--------+----------+-----------------+----------+---------+------+----------+-----------------------+
| 142415 | foxxipam | localhost:42880 | foxxipam | Sleep   |  239 |          | NULL                  |
| 142416 | foxxipam | localhost:42898 | foxxipam | Sleep   |  239 |          | NULL                  |
| 144300 | foxxipam | localhost       | foxxipam | Sleep   |  750 |          | NULL                  |
| 144325 | foxxipam | localhost       | foxxipam | Query   |    0 | starting | show full processlist |
+--------+----------+-----------------+----------+---------+------+----------+-----------------------+
4 rows in set (0.00 sec)

ysql> show full processlist\g

+--------+----------+-----------------+----------+---------+------+----------+-----------------------+

+--------+----------+-----------------+----------+---------+------+----------+-----------------------+

+--------+----------+-----------------+----------+---------+------+----------+-----------------------+

4 rows in set (0.00 sec)

10월 19

mysqldump 오류? 버그?

By snowffox in DATABASE

MySQL 5.7 mysqldump 오류? 버그? mysql 버전 확인

$ mysql --version
mysql  Ver 14.14 Distrib 5.7.31, for Linux (x86_64) using  EditLine wrapper

1 2	$ mysql --version mysql Ver 14.14 Distrib 5.7.31, for Linux (x86_64) using EditLine wrapper

mysqldump 명령으로 데이타베이스 백업을 할 때, 아래와 같은 오류메시지가 나왔다.

$ mysqldump -Q -u boxcorea -p boxcorea > boxcorea20201019.sql
Enter password:
mysqldump: Error: 'Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaces

$ mysqldump -Q -u boxcorea -p boxcorea > boxcorea20201019.sql

Enter password:

mysqldump: Error: 'Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaces

10월 06 2020

현 시점에, Django가 티베로 odbc를 지원하지 않기때문에, 프로그래밍할때 ORM 사용은 불가능하다. 때문에, 아래와 같은 클래스를 만들어서 사용했다. 티베로 ODBC설정은 Ubuntu+Tibero+Python3+ODBC 연결하기를 참고하면 된다. insert, delete 문은 execute 메소드를 사용하면되며, 결과값이 있는 쿼리는 query나 fetchone, fetchall 메소드를 사용하면된다. 윈도우 환경에서는 setdecoding 관련 부분이 필요 없지만, 리눅스 환경에서는 꼭 필요하다.

# Use to Tibero database from ODBC.
# if has return query then use query, else execute...

import pyodbc


class Tibero:
    def __init__(self):
        dbuser = 'tibero_user'
        dbpass = 'tibero_password'
        dsn = 'ODBC_DSN'
        self.coninfo = 'DSN=%s;UID=%s;PWD=%s' % (dsn, dbuser, dbpass)
        self._conn = pyodbc.connect(self.coninfo)

        # setdecoding not need to windows, but need to linux
        self._conn.setdecoding(pyodbc.SQL_CHAR, encoding='utf-8')
        self._conn.setdecoding(pyodbc.SQL_WCHAR, encoding='utf-8')
        self._conn.setdecoding(pyodbc.SQL_WMETADATA, encoding='utf-32le')
        self._conn.setencoding(encoding='utf-8')
        self._cursor = self._conn.cursor()

    def __enter__(self):
        return self

    def __exit__(self, exc_type, exc_val, exc_tb):
        self.close()

    @property
    def connect(self):
        return self._conn

    @property
    def cursor(self):
        return self._cursor

    def commit(self):
        self.connect.commit()

    def close(self, commit=True):
        if commit:
            self.commit()
        self.connect.close()

    def execute(self, sql, params=None):
        self.cursor.execute(sql, params or ())

    def fetchall(self):
        return self.cursor.fetchall()

    def fetchone(self):
        return self.cursor.fetchone()

    def query(self, sql, params=None):
        self.cursor.execute(sql, params or ())
        return self.fetchall()

# Use to Tibero database from ODBC.

# if has return query then use query, else execute...

import pyodbc

class Tibero:

def __init__(self):

dbuser = 'tibero_user'

dbpass = 'tibero_password'

dsn = 'ODBC_DSN'

self.coninfo = 'DSN=%s;UID=%s;PWD=%s' % (dsn, dbuser, dbpass)

self._conn = pyodbc.connect(self.coninfo)

# setdecoding not need to windows, but need to linux

self._conn.setdecoding(pyodbc.SQL_CHAR, encoding='utf-8')

self._conn.setdecoding(pyodbc.SQL_WCHAR, encoding='utf-8')

self._conn.setdecoding(pyodbc.SQL_WMETADATA, encoding='utf-32le')

self._conn.setencoding(encoding='utf-8')

self._cursor = self._conn.cursor()

def __enter__(self):

return self

def __exit__(self, exc_type, exc_val, exc_tb):

self.close()

@property

def connect(self):

return self._conn

@property

def cursor(self):

return self._cursor

def commit(self):

self.connect.commit()

def close(self, commit=True):

if commit:

self.commit()

self.connect.close()

def execute(self, sql, params=None):

self.cursor.execute(sql, params or ())

def fetchall(self):

return self.cursor.fetchall()

def fetchone(self):

return self.cursor.fetchone()

def query(self, sql, params=None):

self.cursor.execute(sql, params or ())

return self.fetchall()

8월 12 2020

Ubuntu+Tibero+Python3+ODBC 연결하기

By snowffox in DATABASE, Python/Django

Ubuntu 18.04에서 python3과 tibero 데이타베이스 연동하기 Tibero는 python 드라이버를 지원하지 않으므로, ODBC를 통해서 연결해야한다. 우분투리눅스에 ODBC를 아래 명령어로 설치한다.

# sudo apt install build-essential
# sudo apt install libssl-dev python3-dev
# sudo apt install unixodbc unixodbc-dev

# sudo apt install build-essential

# sudo apt install libssl-dev python3-dev

# sudo apt install unixodbc unixodbc-dev

tibero odbc 드라이버를 설치하려면 tibero client를 설치해야하지만, 티베로 데이타베이스서버에서 아래 파일만 복사하여 사용할 수도 있다. 여기서는 tibero 서버에서 libtbodbc.so 파일을 가져와서 /home/tibero/client/ 에 설치했다.

$ ls -l
-rwxr-xr-x 1 tibero dba  32171678 Aug 12 13:38 libtbodbc.so

1 2	$ ls -l -rwxr-xr-x 1 tibero dba 32171678 Aug 12 13:38 libtbodbc.so

1월 21 2020

CentOS7, mongoDB 설치하기.

By snowffox in DATABASE

CentOS7에 mongoDB 설치하기. 1. 저장소(Repository) 등록 mongoDB는 CentOS 기본 저장소에 등록이 되어있지 않으므로 mongoDB 저장소를 등록한다. mongodb 저장소가 설정되지 않으면 아래처럼 mongodb 관련 rpm 파일을 찾지 못한다.

# yum search mongodb
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.navercorp.com
 * extras: mirror.navercorp.com
 * updates: mirror.navercorp.com
Warning: No matches found for: mongodb
No matches found

# yum search mongodb

Loaded plugins: fastestmirror

Loading mirror speeds from cached hostfile

* base: mirror.navercorp.com

* extras: mirror.navercorp.com

* updates: mirror.navercorp.com

Warning: No matches found for: mongodb

No matches found

패키지를 yum 으로 설치하기 위해서, 저장소를 등록한다. 저장소를 등록하기 위해서 mongodb.repo 파일을 만들고 아래 내용을 작성한다.

# vi /etc/yum.repos.d/mongodb.repo

[MongoDB]
name=MongoDB Repository
baseurl=http://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.2/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-4.2.asc

# vi /etc/yum.repos.d/mongodb.repo

[MongoDB]

name=MongoDB Repository

baseurl=http://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.2/$basearch/

gpgcheck=1

enabled=1

gpgkey=https://www.mongodb.org/static/pgp/server-4.2.asc

10월 23

mysql error, 1267 Illegal mix of collations 해결방법.

By snowffox in DATABASE

mysql에서 두 테이블 join 했을때, 아래와 같은 오류 발생.

(1267, "Illegal mix of collations (utf8_unicode_ci,IMPLICIT) and (utf8_general_ci,IMPLICIT) for operation '='")

1	(1267, "Illegal mix of collations (utf8_unicode_ci,IMPLICIT) and (utf8_general_ci,IMPLICIT) for operation '='")

테이블 1과 테이블2의 collate 문자셋이 서로 달라서 발생한다고 한다. 해결 방법은 몇 가지가 있다고 하는데, 테이블 문자셋만 변경해서는 오류가 해결되지 않아서 데이타베이스와 해당 테이블의 collate 문자셋을 모두 변경했다.

alter database [DB_NAME] character set utf8 collate utf8_general_ci;
alter table [TABLE1] convert to character set utf8 collate utf8_general_ci;
alter table [TABLE2] convert to character set utf8 collate utf8_general_ci;

alter database [DB_NAME] character set utf8 collate utf8_general_ci;

alter table [TABLE1] convert to character set utf8 collate utf8_general_ci;

alter table [TABLE2] convert to character set utf8 collate utf8_general_ci;

참고문서: https://bstar36.tistory.com/318

5월 17

MySQL, INET_ATON으로 IP 주소 정렬하기

By snowffox in DATABASE

MySQL INET_ATON으로 IP 주소 정렬하기. mysql에서 ip 주소(char type field)를 정렬하면 원하는 결과가 나오지 않는다.

mysql>  select ip from device_device where category_id=2 order by ip;
+----------------+
| ip             |
+----------------+
| 192.168.100.1  |
| 192.168.100.10 |
| 192.168.100.11 |
 ...
| 192.168.100.35 |
| 192.168.100.36 |
| 192.168.100.37 |
| 192.168.100.4  |
| 192.168.100.5  |
| 192.168.100.6  |
| 192.168.100.7  |
| 192.168.100.9  |
+----------------+
35 rows in set (0.00 sec)

mysql>

mysql> select ip from device_device where category_id=2 order by ip;

+----------------+

| ip |

+----------------+

| 192.168.100.1 |

| 192.168.100.10 |

| 192.168.100.11 |

...

| 192.168.100.35 |

| 192.168.100.36 |

| 192.168.100.37 |

| 192.168.100.4 |

| 192.168.100.5 |

| 192.168.100.6 |

| 192.168.100.7 |

| 192.168.100.9 |

+----------------+

35 rows in set (0.00 sec)

mysql>

5월 01

mysql 문자셋으로 인한 django 프로그램에서 db error

By snowffox in DATABASE, Python/Django

Django 에서 아래와 같은 오류 발생 django.db.utils.OperationalError: (1366, “Incorrect string value: ‘\\xE2\\x80\\x8B9F-…’ for column ‘address’ at row 1”) 원인은 mysql 데이타베이스와 테이블의 문자셋이 utf-8이 아니어서 발생했다. database의 문자셋을 확인해보면, latin1 이다.

mysql> status;
--------------
mysql  Ver 14.14 Distrib 5.7.25, for Linux (x86_64) using  EditLine wrapper

Connection id:          462073
Current database:       information
Current user:           information@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.7.25-0ubuntu0.18.04.2 (Ubuntu)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    latin1
Db     characterset:    latin1
Client characterset:    utf8
Conn.  characterset:    utf8
UNIX socket:            /var/run/mysqld/mysqld.sock
Uptime:                 89 days 8 hours 44 min 3 sec

Threads: 1  Questions: 18081364  Slow queries: 0  Opens: 920  Flush tables: 1  Open tables: 846  Queries per second avg: 2.341
--------------

mysql> status;

--------------

mysql Ver 14.14 Distrib 5.7.25, for Linux (x86_64) using EditLine wrapper

Connection id: 462073

Current database: information

Current user: information@localhost

SSL: Not in use

Current pager: stdout

Using outfile: ''

Using delimiter: ;

Server version: 5.7.25-0ubuntu0.18.04.2 (Ubuntu)

Protocol version: 10

Connection: Localhost via UNIX socket

Server characterset: latin1

Db characterset: latin1

Client characterset: utf8

Conn. characterset: utf8

UNIX socket: /var/run/mysqld/mysqld.sock

Uptime: 89 days 8 hours 44 min 3 sec

Threads: 1 Questions: 18081364 Slow queries: 0 Opens: 920 Flush tables: 1 Open tables: 846 Queries per second avg: 2.341

--------------

2월 18

MSsql error:53

By snowffox in DATABASE, Windows(M$윈도우)

윈도우 서버 재부팅후, 아래 처럼 오류:53 메시지가 보이면서 MSsql에 접속불가능한 상황 발생 발생원인: 호스트네임 변경해결방법: 호스트네임을 원래대로 변경하거나, 서버 이름에 새로 바꾼 호스트네임을 입력한다.

6월 01

NetBackup 구성하기 – part3 (오라클 RMAN백업)

By snowffox in Application(어플리케이션), DATABASE

오라클 RMAN을 이용한 넷백업 구성하기. 넷백업은 오라클 데이타베이스의 RMAN 백업을 지원한다. 오라클 RMAN(Recovery MANager)은 오라클 데이타베이스를 정지하지 않고 백업 가능한 hot백업을 지원한다. 오라클 엔진 백업은 기존 화일시스템 백업과 같은 방법으로 백업을 만들면된다. 여기서는 오라클 RMAN으로 백업 가능한 부분과 불가능한 부분은 따로 언급하지 않을 것이며, 기초적인 구성 방법만 다룬다. 이것은 내가 오라클과 넷백업에 대해 깊이있게 알지 …

Category: DATABASE

mysql, 1040, ‘Too many connections’

mysqldump 오류? 버그?

Python Tibero odbc

Ubuntu+Tibero+Python3+ODBC 연결하기

CentOS7, mongoDB 설치하기.

mysql error, 1267 Illegal mix of collations 해결방법.

MySQL, INET_ATON으로 IP 주소 정렬하기

mysql 문자셋으로 인한 django 프로그램에서 db error

MSsql error:53

NetBackup 구성하기 – part3 (오라클 RMAN백업)

카테고리

최신 글

Blog Stats

Category: DATABASE

카테고리

최신 글

태그

Blog Stats