7월 11
CentOS 7에서 apache2 재실행 했을때 아래 오류 발생.
[Wed Jul 04 12:15:03.580995 2018] [core:emerg] [pid 22739] (28)No space left on device: AH00023: Couldn't create the rewrite-map mutex AH00016: Configuration Failed
아래 문서에 의하면, 공유메모리(shared memory)나 세마포(semaphore)같은 리소스가 부족해서 발생한다고 한다. 관련 커널 파라메터를 수정하는 방법과, 아파치 프로세스에 의해 남은 semaphore를 ipcrm 명령어로 삭제하면 된다.(처리는 참고 문서를 참고. 과정을 캡쳐하지 못했음…)
6월 18
파이썬 스크립트를 이용한 스위치 설정 정보 저장.(Cisco, extreme)
지원 스위치: Cisco IOS , Extreme EXOS 스위치
지원 프로토콜: telnet, ssh (익스트림 스위치 제외).
스크립트 실행 환경: python 3.6.5, netmiko, telnetlib가 필요하다.
기타사항: 시스코 스위치는 로그인 즉시 enable 상태가 되도록 설정되어 있어야함(설정 방법은 https://blog.boxcorea.com/wp/archives/2529를 참조).
스위치 접속 정보화일(switch.txt)은 아래와 같은 포맷이며, 각 열은 탭(\t) 하나로 구분한다.
# IP PORT USER PASSWD PROTOCOL VENDOR 172.16.10.1 23 admin password1 telnet cisco 172.16.10.2 22 root password2 ssh cisco 172.16.10.3 23 admin password3 telnet extreme
5월 29
익스트림 스위치 EXOS 에서 비인가 DHCP(Rogue DHCP) 서버 차단하기.
Rogue DHCP 차단은 cisco 스위치의 rogue dhcp 서버 차단과 같은 dhcp snooping 설정을 하면 된다. 시스코 스위치의 설정은 이전 글 https://blog.boxcorea.com/wp/archives/2258을 참고.
먼저, dhcp snooping 설정을 확인해 본다.
Switch.2 # show ip-security dhcp-snooping vlan V210
Trusted Ports: None
Trusted DHCP Servers: None
Bindings Restoration : Disabled
Bindings Filename :
Bindings File Location :
Primary Server : None
Secondary Server: None
Bindings Write Interval : 30 minutes
------------------------------------
Port Violation-action
------------------------------------
위 결과를 보면, dhcp snooping은 설정되어 있지 않다.
Continue reading
5월 29
시스코 스위치 link-flap 에러 처리
상태 : C3550 스위치 포트가 link-flap 에러를 감지하고, 포트 상태를 err-disabled 상태로 변경함. 39번 포트에 연결된 장비는 통신이 안되는 상황 발생.
link-flap 은 인터페이스(스위치포트)가 up/down 을 반복하는 것을 의미한다.
먼저, 스위치 로그를 확인해 본다.
Switch #show log ... May 28 07:38:16: %LINK-3-UPDOWN: Interface FastEthernet0/39, changed state to up May 28 07:38:18: %PM-4-ERR_DISABLE: link-flap error detected on Fa0/39, putting Fa0/39 in err-disable state May 28 07:38:18: %LINK-3-UPDOWN: Interface FastEthernet0/39, changed state to down ...
5월 23 2018
Cisco 스위치에서 Rogue DHCP(허가받지 않은 DHCP)서버차단.
이상증상: PC에 고정 IP를 설정하였으나, ipconfig 명령으로 확인해 보면 IP주소가 설정한대로 바뀌지 않고, 특정 IP주소로 설정되어 통신 안되는 현상 발생햇다. IP공유기의 LAN포트가 스위치에 연결되어 있어 IP공유기가 DHCP서버(Rogue DHCP)로 동작하는것으로 추정되지만 확인 불가능. PC는 시스코 스위치(C3550)에 연결되어 있다. 이에 스위치에서 Rogue DHCP를 차단하기로 함.
스위치에서 dhcp를 차단하기위해서는 dhcp snooping기능을 활성화 하면 된다. 먼저, 아래처럼 dhcp snooping 기능이 동작중인지 확인해 본다.
Switch #show ip dhcp snooping
Switch DHCP snooping is disabled
DHCP snooping is configured on following VLANs:
none
DHCP snooping is operational on following VLANs:
none
DHCP snooping is configured on the following L3 Interfaces:
Insertion of option 82 is enabled
circuit-id format: vlan-mod-port
remote-id format: MAC
Option 82 on untrusted port is not allowed
Verification of hwaddr field is enabled
Verification of giaddr field is enabled
DHCP snooping trust/rate is configured on the following Interfaces:
Interface Trusted Rate limit (pps)
------------------------ ------- ----------------
Switch #show ip dhcp snooping statistics
Packets Forwarded = 0
Packets Dropped = 0
Packets Dropped From untrusted ports = 0
위의 결과를 보면, DHCP snooping 기능이 중지되어 있는 것을 알 수 있다.
Continue reading
5월 14 2018
익스트림 스위치 CPU 점유문제를 확인하고 해결한 방법.
모델: Extreme X430-48t
이상 증상: CPU 0% IDLE. 응답시간이 길어지는 현상 발생
top 명령으로 리소스 사용량을 확인해보니, 아래처럼, 0.0% idle, bcmRX, tbcm_msm_txX 프로세스의 CPU 점유율이 높다.
Switch.1 # top Mem: 193584K used, 61432K free, 0K shrd, 0K buff, 78476K cached CPU: 0.0% usr 20.0% sys 0.0% nic 0.0% idle 0.0% io 0.0% irq 80.0% sirq Load average: 7.42 7.58 7.38 4/152 1532 PID PPID USER STAT RSS %MEM CPU %CPU COMMAND 1110 2 root RW 0 0.0 0 42.1 [bcmRX] 1107 2 root DW< 0 0.0 0 42.1 [tbcm_msm_tx1] 1532 1531 root R 648 0.2 0 10.5 top -d 3 1105 2 root DW< 0 0.0 0 5.2 [tbcm_msm_tx0] 1262 1 root S 12224 4.7 0 0.0 ./cliMaster 1240 1 root S < 10440 4.0 0 0.0 ./hal 1333 1 root S 5760 2.2 0 0.0 ./netTools 1342 1 root S 5296 2.0 0 0.0 ./etmon 1269 1 root S 4816 1.8 0 0.0 ./snmpMaster 1358 1 root S 4688 1.8 0 0.0 ./xmld 1271 1 root S 4100 1.6 0 0.0 ./snmpSubagent 1371 1 root S 4064 1.5 0 0.0 ./idMgr 1282 1 root S 3964 1.5 0 0.0 ./aaa -t random 1320 1 root S 3800 1.4 0 0.0 ./rtmgr update 1236 1 root S 3416 1.3 0 0.0 ./emsServer 1326 1 root S 3376 1.3 0 0.0 ./mcmgr 1286 1 root S 3332 1.3 0 0.0 ./vlan 1288 1 root S 3060 1.2 0 0.0 ./fdb 1330 1 root S 2964 1.1 0 0.0 ./acl 1344 1 root S 2720 1.0 0 0.0 ./thttpd 1264 1 root S 2560 1.0 0 0.0 ./cfgmgr 1310 1 root S 2532 0.9 0 0.0 ./stp 1376 1 root S 2528 0.9 0 0.0 ./erps 1366 1 root S 2496 0.9 0 0.0 ./dot1ag 1383 1 root S 2420 0.9 0 0.0 ./exsshd 1303 1 root S 2400 0.9 0 0.0 ./eaps 947 1 root S 2384 0.9 0 0.0 /exos/bin/epm -t 40 -f /exos/config/epmrc.L2 -d /exos/config/epmdprc 1335 1 root S 2368 0.9 0 0.0 ./netLogin 1360 1 root S 2316 0.9 0 0.0 ./xmlc 1305 1 root S 2284 0.8 0 0.0 ./esrp 1339 1 root S 2244 0.8 0 0.0 ./telnetd -e 1378 1 root S < 2240 0.8 0 0.0 ./mrp 1299 1 root S 2216 0.8 0 0.0 ./lldp 1362 1 root S 2212 0.8 0 0.0 ./ipSecurity 1337 1 root S 2200 0.8 0 0.0 ./techSupport 1364 1 root S 2168 0.8 0 0.0 ./upm 1352 1 root S 2132 0.8 0 0.0 ./poe 1297 1 root S 2124 0.8 0 0.0 ./edp 1290 1 root S 2116 0.8 0 0.0 ./elrp 1301 1 root S 2112 0.8 0 0.0 ./lacp 1368 1 root S 2056 0.8 0 0.0 ./hclag 1292 1 root R 2000 0.7 0 0.0 ./elsm 1238 1 root S 1948 0.7 0 0.0 ./devmgr
5월 11
시스코 C4507의 CPU 사용율이 갑자기 70%이상 증가(평소 20% 수준)하는 현상 발생
1. show process cpu 명령으로 어떤 프로세스가 CPU를 많이 점유하는지 확인한다.
switch#sh processes cpu CPU utilization for five seconds: 73%/12%; one minute: 70%; five minutes: 71% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process 1 12146602 11934173 1017 0.00% 0.00% 0.00% 0 Chunk Manager 2 1708 1193302 1 0.00% 0.00% 0.00% 0 Load Meter 3 176742 4199199 42 0.07% 0.01% 0.00% 0 OSPF-100 Hello 4 0 1 0 0.00% 0.00% 0.00% 0 Deferred Events 5 0 1 0 0.00% 0.00% 0.00% 0 Retransmission o 6 0 1 0 0.00% 0.00% 0.00% 0 IPC ISSU Receive 7 11041033 1026095 10760 0.00% 0.12% 0.15% 0 Check heaps 8 4 3 1333 0.00% 0.00% 0.00% 0 Pool Manager 9 0 2 0 0.00% 0.00% 0.00% 0 Timers 10 0 2 0 0.00% 0.00% 0.00% 0 Serial Backgroun 11 0 1 0 0.00% 0.00% 0.00% 0 Crash writer 12 40 16 2500 0.00% 0.00% 0.00% 0 RF Slave Main Th 13 0 1 0 0.00% 0.00% 0.00% 0 ifIndex Receive 14 5270506 14388758 366 0.07% 0.09% 0.08% 0 ARP Input 15 0 1 0 0.00% 0.00% 0.00% 0 CEF MIB API 16 0 1 0 0.00% 0.00% 0.00% 0 AAA_SERVER_DEADT 17 0 2 0 0.00% 0.00% 0.00% 0 AAA high-capacit 18 0 1 0 0.00% 0.00% 0.00% 0 Policy Manager 19 24 16 1500 0.00% 0.00% 0.00% 0 Entity MIB API 20 0 1 0 0.00% 0.00% 0.00% 0 IFS Agent Manage 21 5545 1192214 4 0.00% 0.00% 0.00% 0 IPC Event Notifi 22 11173 5961063 1 0.07% 0.00% 0.00% 0 IPC Mcast Pendin 23 1272 99354 12 0.00% 0.00% 0.00% 0 IPC Dynamic Cach 24 0 1 0 0.00% 0.00% 0.00% 0 IPC Session Serv 25 0 1 0 0.00% 0.00% 0.00% 0 IPC Zone Manager 26 9578 5961062 1 0.00% 0.00% 0.00% 0 IPC Periodic Tim 27 0 1 0 0.00% 0.00% 0.00% 0 IPC Managed Time 28 0 1 0 0.00% 0.00% 0.00% 0 IPC Seat TX Cont 29 8716 5961062 1 0.00% 0.00% 0.00% 0 IPC Deferred Por 30 0 1 0 0.00% 0.00% 0.00% 0 IPC Seat Manager 31 148 3 49333 0.00% 0.00% 0.00% 0 PrstVbl 32 0 1 0 0.00% 0.00% 0.00% 0 client_entity_se 33 0 1 0 0.00% 0.00% 0.00% 0 SERIAL A'detect 34 0 1 0 0.00% 0.00% 0.00% 0 ARP Snoop 35 12830 5961062 2 0.00% 0.00% 0.00% 0 Dynamic ARP Insp 36 9860 5961035 1 0.07% 0.00% 0.00% 0 GraphIt 37 0 1 0 0.00% 0.00% 0.00% 0 Critical Bkgnd 38 184739 699124 264 0.00% 0.00% 0.00% 0 Net Background 39 24758040 5967099 4149 0.39% 0.40% 0.40% 0 IDB Work 40 0 19 0 0.00% 0.00% 0.00% 0 Logger 41 14158 5961031 2 0.00% 0.00% 0.00% 0 TTY Background 42 20736 5990497 3 0.00% 0.00% 0.00% 0 Per-Second Jobs 43 5570567 159187 34994 0.00% 0.10% 0.06% 0 Per-minute Jobs 44 8 9 888 0.00% 0.00% 0.00% 0 IF-MGR control p 45 4 165 24 0.00% 0.00% 0.00% 0 IF-MGR event pro 46 0 1 0 0.00% 0.00% 0.00% 0 ISSU PROCESS IPC 47 0 1 0 0.00% 0.00% 0.00% 0 PrstVbl IPC Msg 48 0 2 0 0.00% 0.00% 0.00% 0 cpf_msg_holdq_pr 49 0 1 0 0.00% 0.00% 0.00% 0 cpf_msg_rcvq_pro 50 0 2 0 0.00% 0.00% 0.00% 0 IP Host Track HA 51 0 3 0 0.00% 0.00% 0.00% 0 ARP HA 52 0 1 0 0.00% 0.00% 0.00% 0 IP Admission HA 53 0 1 0 0.00% 0.00% 0.00% 0 DHCPC HA 54 0 1 0 0.00% 0.00% 0.00% 0 DHCPD HA 55 126133 12179969 10 0.07% 0.02% 0.02% 0 DHCPD Receive 56 0 1 0 0.00% 0.00% 0.00% 0 Network-rf Notif 57 145785581 548208384 265 4.95% 4.72% 4.70% 0 Cat4k Mgmt HiPri 58 200986261 302192877 665 52.63% 51.87% 52.14% 0 Cat4k Mgmt LoPri 59 10265 1389304 7 0.00% 0.00% 0.00% 0 Galios Reschedul 60 0 2 0 0.00% 0.00% 0.00% 0 IOS ACL Helper 61 0 1 0 0.00% 0.00% 0.00% 0 GalRedMsgProc 62 0 16 0 0.00% 0.00% 0.00% 0 RF Master Main T 63 4 5 800 0.00% 0.00% 0.00% 0 RF Master Status 64 0 139 0 0.00% 0.00% 0.00% 0 Net Input 65 1521245 1246567 1220 0.00% 0.01% 0.00% 0 Compute load avg 66 0 1 0 0.00% 0.00% 0.00% 0 RFS server proce 67 0 1 0 0.00% 0.00% 0.00% 0 RTTYS Process 68 0 1 0 0.00% 0.00% 0.00% 0 IPC Apps Task 69 5978 5965434 1 0.00% 0.00% 0.00% 0 RedStateMonitor 70 4 101 39 0.00% 0.00% 0.00% 0 BACK CHECK 71 0 1 0 0.00% 0.00% 0.00% 0 AggMgr Process 72 0 278 0 0.00% 0.00% 0.00% 0 Transport Port A 73 64514 1265356 50 0.00% 0.00% 0.00% 0 HC Counter Timer 74 0 1 0 0.00% 0.00% 0.00% 0 SFF8472 75 120406 997517 120 0.00% 0.00% 0.00% 0 EEM ED ND 76 0 2 0 0.00% 0.00% 0.00% 0 EEM ED Identity 77 0 3 0 0.00% 0.00% 0.00% 0 EEM ED MAT 78 0 2 0 0.00% 0.00% 0.00% 0 Ethernet OAM Pro 79 0 1 0 0.00% 0.00% 0.00% 0 PPPOE IA 80 0 2 0 0.00% 0.00% 0.00% 0 REP Topology cha 81 8 115 69 0.00% 0.00% 0.00% 0 Auth Manager 82 0 1 0 0.00% 0.00% 0.00% 0 CMD HANDLER 83 0 2 0 0.00% 0.00% 0.00% 0 Dot1x Mgr Proces 84 0 1 0 0.00% 0.00% 0.00% 0 MAB Framework 85 0 1 0 0.00% 0.00% 0.00% 0 AUTH POLICY Fram 86 0 1 0 0.00% 0.00% 0.00% 0 802.1x Webauth F 87 8 101 79 0.00% 0.00% 0.00% 0 802.1x switch 88 409738 3136863 130 0.00% 0.00% 0.00% 0 DTP Protocol 89 0 1 0 0.00% 0.00% 0.00% 0 EAP Framework 90 0 1 0 0.00% 0.00% 0.00% 0 EAP Test
4월 04 2018
MS 윈도우의 CLI에서 netsh 명령으로 IP 주소를 설정할 수 있으며, 방법은 아래와 같다.
netsh 명령으로 현재 IP주소와 인터페이스의 이름을 확인해본다.
아래에서 인터페이스 이름은 ‘이더넷’ 이며, ip주소를 설정하거나 변경할때 이 이름을 사용한다.
C:\Users\Works>netsh interface ipv4 show config
"이더넷" 인터페이스에 대한 구성
DHCP 사용: Yes
IP 주소: 192.168.0.2
서브넷 접두사: 192.168.0.0/24(마스크 255.255.255.0)
기본 게이트웨이: 192.168.0.1
게이트웨이 메트릭: 0
인터페이스 메트릭: 25
정적으로 구성된 DNS 서버: 8.8.8.8
다음 접미사로 등록: 주만
DHCP를 통해 구성된 WINS 서버: 없음
"Loopback Pseudo-Interface 1" 인터페이스에 대한 구성
DHCP 사용: No
IP 주소: 127.0.0.1
서브넷 접두사: 127.0.0.0/8(마스크 255.0.0.0)
인터페이스 메트릭: 75
정적으로 구성된 DNS 서버: 없음
다음 접미사로 등록: 없음
정적으로 구성된 WINS 서버: 없음
4월 03 2018
Hyper-V Linux Guest의 검사점(check point) 생성 오류
윈도우서버 2016 standard Hyper-v에서, 게스트 OS (리눅스 CentOS 6)의 검사점을 만들려고 할 때,아래 그림과 같이 오류가 발생했다.
3월 31 2018
장비: Cisco 4507에서
에러 메시지
Error Message C4K_CHASSIS-3-MUXBUFFERREADSUPERVISORSELECTIONFAILED: Failed to read linecard [dec] muxbuffer supervisor selection register
증상:
configuration 초기화.
I/O 보드 인식 안됨
https://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst4500/12-2/53SG/system/messages/sem_53sg/emsg.html#wp1352731
위 문서에 의하면,
Explanation The active supervisor tried to read alignment information for the switching module slot’s mux buffer from the chassis mux buffer module, but was unable to do so. This information is needed to make sure that switching module slot’s mux buffer is aligned towards the active supervisor engine.
Recommended Action If this message appears only once for a switching module, this could be a transient error and no action is required. If this message appears repeatedly (once every 5 minutes) on one or more switching modules please contact your technical support representative to replace the supervisor engine and chassis.
설명
Active Supervisor가 스위칭 슬롯의 멀티플렉서 버퍼에 대한 정렬 정보를 새시 멀티플렉서 버퍼 모듈에서 읽으려고 시도했지만 할수 없었다. 이 정보는스위칭 모듈 슬롯의 멀티플렉서 버퍼가 Active supervisor 엔진쪽으로 정렬되어 있는지 확인하는데 필요하다.
권장조치
메시지가 한번만 표시되면 일시적인 오류일 수 있으므로 별다른 조치가 필요하지 않다.
하나 이상의 스위칭 모듈에서 이 메시지가 반복적으로(5분에 한번 정도)나타나면 supervisor 엔진과 새시를 교체하라.