Étiquette : Solaris

Panic lors de l’installation d’Oracle RAC 12c sous Solaris (analyse)

Panic lors de l’installation d’Oracle RAC 12c sous Solaris (analyse)

Lors de l’installation d’Oracle RAC 12c sous Solaris, j’ai rencontré quelques petits soucis. A travers cet article, je vais expliquer la démarche que j’ai suivi pour diagnostiquer cet incident.

Le contexte est un peu particulier : j’utilise 2 VMs VirtualBox sous Solaris 11.3 pour les serveurs Oracle ainsi que l’image VirtualBox ZFS Appliance pour distribuer le stockage entre ces deux VMs (via le protocole iSCSI). La démarche d’analyse est beaucoup plus intéressante que le contexte. Ne vous focalisez pas dessus (pour le moment).

L’incident se produit de la manière suivante : le premier serveur du cluster Oracle RAC « panic » lors de l’exécution du script root.sh. Pour rappel ce script permet la configuration du cluster Oracle RAC.

L’analyse débute ci-dessous. Notez que j’utilise Solaris CAT.

CAT(/var/crash/2/vmcore.2/11X)> panic
panic on CPU 0
panic string:   forced crash dump initiated at user request
==== panic user (LWP_SYS) thread: 0xffffa10016511500  PID: 11187  on CPU: 0 ====
cmd: /u01/app/12.1.0/grid/bin/cssdagent
fmri: svc:/network/ssh:default
t_procp: 0xffffa1001837e300
   p_as: 0xffffa10019170900  size: 126853120  RSS: 28393472
      a_hat: 0xffffa10018c3a048
    cpuset: 0
   p_zone: 0xfffffffffc285c70 (global)
t_stk: 0xfffffffc8340cf00  sp: 0xfffffffc8340cd30  t_stkbase: 0xfffffffc83408000
t_pri: 110 (RT)  pctcpu: 0.001949
t_transience: 0  t_wkld_flags: 0
t_lwp: 0xffffa10019560100  t_tid: 15
   lwp_regs: 0xfffffffc8340cf00
   lwp_ap:   0xfffffffc8340cf10
   t_mstate: LMS_SYSTEM  ms_prev: LMS_USER
   ms_state_start: 0.000009355 seconds earlier
   ms_start: 1 minutes 10.879644595 seconds earlier
t_cpupart: 0xfffffffffc0e25d0(0)  last CPU: 0
idle: 800170590 hrticks (0.800170590s)
start: Mon Nov  7 12:16:10 2016
age: 71 seconds (1 minutes 11 seconds)
t_state:     TS_ONPROC
t_flag:      0x1800 (T_PANIC|T_LWPREUSE)
t_proc_flag: 0x100 (TP_MSACCT)
t_schedflag: 0x8003 (TS_LOAD|TS_DONT_SWAP) (missed bits 0x8000)
t_acflag:    3 (TA_NO_PROCESS_LOCK|TA_BATCH_TICKS)
p_flag:      0x4a004000 (SEXECED|SMSACCT|SAUTOLPG|SMSFORK)

pc:      unix:vpanic_common+0x13a:  addq   $0xf0,%rsp

unix:vpanic_common+0x13a()
unix:0xfffffffffb8a4810()
int genunix:kadmin+0x2b6((int)5, (int)1, (void *)0, (cred_t *)0xffffa10010f69558)
int genunix:uadmin+0x179((int)5, (int)1, (uintptr_t)0)
unix:_syscall_invoke+0x30()
-- switch to user thread's user stack --

Le « panic » est provoqué par le processus « cssdagent » via la commande Unix « uadmin ».

Après consultation de la documentation, le deamon « cssdagent » est en charge de vérifier l’état du cluster (voir deamons cssd) et fournit spécifiquement le service d’I/O fencing. En cas d’échec du deamon « ocssd.bin » (ou de ses agents cssdmonitor et cssdagent), le serveur effectue un « panic ».

Il est intéressant de voir l’avant dernier thread exécuté sur le serveur avant ce panic.

CAT(/var/crash/2/vmcore.2/11X)> sdump 0xffffa10016511500 kthread_t t_cpu 
   struct cpu *t_cpu = 0xfffffffffc0849e0 (unix(data):cpus+0)

CAT(/var/crash/2/vmcore.2/11X)> sdump 0xfffffffffc0849e0 cpu_t cpu_intr_thread
   kthread_t *cpu_intr_thread = 0xfffffffc800b9b40

CAT(/var/crash/2/vmcore.2/11X)> thread 0xfffffffc800b9b40
==== free thread: 0xfffffffc800b9b40  PID: 0  affinity CPU: 0  PIL: 2 ====
cmd: sched(unix:thread_create_intr)
kname: thread_create_intr
t_procp: 0xfffffffffc063270 (proc_sched)
   p_as: 0xfffffffffc064750 (kas)
   p_zone: 0xfffffffffc285c70 (global)
t_stk: 0xfffffffc800b9b30  sp: 0xfffffffc800b9a60  t_stkbase: 0xfffffffc800b3000
t_pri: 161 (SYS)  pctcpu: 15.889231
t_transience: 0  t_wkld_flags: 0
t_lwp: 0xffffa1001863a0c0
   lwp_regs: 0xfffffffc81729f00
   lwp_ap:   0xfffffffc81729f10
t_cpupart: 0xfffffffffc0e25d0(0)  last CPU: 0
idle: 30938061725 hrticks (30.938061725s)
interrupted (pinned) thread: 0xffffa10010eaf280
t_state:     TS_FREE
t_flag:      0x10009 (T_INTR_THREAD|T_TALLOCSTK|T_PUSHPAGE)
t_proc_flag: 0 (none set)
t_schedflag: 0x10003 (TS_LOAD|TS_DONT_SWAP) (missed bits 0x10000)
t_acflag:    4  (missed bits 0x4)
p_flag:      1 (SSYS)

pc:      unix:_resume_from_idle+0x130 resume_return:  addq   $0x8,%rsp

unix:_resume_from_idle+0x130 resume_return()
genunix(data):intr_queue+0()
-- end of free thread's stack --

Il s’agit du thread 0xffffa10010eaf280 (pinned).

CAT(/var/crash/2/vmcore.2/11X)> thread 0xffffa10010eaf280
==== user (LWP_SYS) thread: 0xffffa10010eaf280  PID: 11189 ====
cmd: /u01/app/12.1.0/grid/bin/ocssd.bin 
fmri: svc:/network/ssh:default
t_procp: 0xffffa1001837d2a0
   p_as: 0xffffa10019170040  size: 211288064  RSS: 63078400
      a_hat: 0xffffa10019d394a0
   p_zone: 0xfffffffffc285c70 (global)
t_stk: 0xfffffffc81729f00  sp: 0xfffffffc81729d40  t_stkbase: 0xfffffffc81725000
t_pri: 110 (RT)  pctcpu: 75.408707
t_transience: 0  t_wkld_flags: 0
t_lwp: 0xffffa1001863a0c0  t_tid: 13
   lwp_regs: 0xfffffffc81729f00
   lwp_ap:   0xfffffffc81729f10
   t_mstate: LMS_TRAP  ms_prev: LMS_USER
   ms_state_start: 0.000405357 seconds earlier
   ms_start: 1 minutes 11.314553986 seconds earlier
t_cpupart: 0xfffffffffc0e25d0(0)  last CPU: 0
idle: 405315 hrticks (0.000405315s)
start: Mon Nov  7 12:16:10 2016
age: 71 seconds (1 minutes 11 seconds)
t_waitrq: 0.000405315 seconds
t_state:     TS_RUN
t_flag:      0x1000 (T_LWPREUSE)
t_proc_flag: 0x100 (TP_MSACCT)
t_schedflag: 0x8013 (TS_LOAD|TS_DONT_SWAP|TS_SIGNALLED) (missed bits 0x8000)
t_acflag:    3 (TA_NO_PROCESS_LOCK|TA_BATCH_TICKS)
p_flag:      0x5a004000 (SEXECED|SMSACCT|SAUTOLPG|SNOCD|SMSFORK)

pc:      unix:_resume_from_idle+0x130 resume_return:  addq   $0x8,%rsp

unix:_resume_from_idle+0x130 resume_return()
unix:swtch - frame recycled
void unix:preempt+0xcb()
boolean_t unix:kpreempt+0x8e((int)0xffffffff)
int genunix:new_mstate+0x178((kthread_t *)0xffffa10010eaf280, (int)2)
void unix:trap+0x1ae((struct regs *)0xfffffffc81729f00, (caddr_t)0, (processorid_t)0)
-- trap data  rp: 0xfffffffc81729ed0
  trapno       0 (Divide error)
  %rfl         0 ()
  savfp 0xffff80ffbdb9a3a0
  savpc 0xffff80ffbdb9a388 (invalid text addr)

  %rbp                   2  %rsp                   0
  %rip  0x4b (invalid text addr)

  0%rdi 0xffff80ffbdb9a380  1%rsi 0xfffffffc81729f00  2%rdx 0xfffffffc81729f00
  3%rcx 0xfffffffffb800a47  4%r8                   0  5%r9  0xffff80ffadd4ea20

  %rax  0xffff80ffbdb9a820  %rbx           0x1a17090
  %r10            0xda94f8  %r11  0xffff80ffae1218c0  %r12               0x8c9
  %r13                   0  %r14  0xffff80ffbdb9a380  %r15  0xffff80ffbdb9a8c0

  %cs       0x4b (UCS_SEL)        %ds   0xffff80ffbdb9a388 (GDT unknown,KPL)
  %es   0xffff80ffbdb9a3a0 (GDT unknown,KPL)      %ss      0x400 (GDT unknown,KPL)
  %fs          0 (KFS_SEL)        %gs   0xdbb2b0 (GDT unknown,KPL)
  fsbase 0xff80ffbdb9a3a0ff
  gsbase 0xff80ffbdb9a3a0ff
-- error reading next frame @ 0xffff80ffbdb9a3a0 --

Ce qui est intéressant c’est qu’avant le panic du serveur, le dernier processus en cours d’exécution est le deamon « ocssd.bin ».

CAT(/var/crash/2/vmcore.2/11X)> proc 0xffffa1001837d2a0
       addr         PID    PPID   RUID/UID     size      RSS     swresv  lwpcnt command
================== ====== ====== ========== ========== ======== ======== ====== =====
0xffffa1001837d2a0  11189      1      54322  211288064 63078400 59850752     28 /u01/app/12.1.0/grid/bin/ocssd.bin 
        thread: 0xffffa1001111fb00  state: slp   wchan: 0xffffa1001111fcee  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa1000683d940  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa10011015680  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa100164dde00  state: slp   wchan: 0xffffa1001827770c  sobj: condition var (from portfs:port_getn+0x240)
        thread: 0xffffa100164f7dc0  state: slp   wchan: 0xffffa100182746ec  sobj: condition var (from portfs:port_getn+0x240)
        thread: 0xffffa100121e7480  state: slp   wchan: 0xffffa100121e766e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100121e3980  state: slp   wchan: 0xffffa100189656a4  sobj: condition var (from portfs:port_getn+0x240)
        thread: 0xffffa10010eb4480  state: slp   wchan: 0xffffa10018960dac  sobj: condition var (from portfs:port_getn+0x240)
        thread: 0xffffa100121e54c0  state: slp   wchan: 0xffffa100121e56ae  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100164f5500  state: slp   wchan: 0xffffa100164f56ee  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100164f8240  state: slp   wchan: 0xffffa100183886bc  sobj: condition var (from portfs:port_getn+0x240)
        thread: 0xffffa100164dd080  state: slp   wchan: 0xffffa100164dd26e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa10010eaf280  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa1001055cb40  state: slp   wchan: 0xffffa1001055cd2e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100121dab00  state: slp   wchan: 0xffffa100121dacee  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100121e2240  state: slp   wchan: 0xffffa100121e242e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100121e7000  state: slp   wchan: 0xffffa1001917004a  sobj: condition var (from kaio:aio_cleanup_thread+0x1c2)
        thread: 0xffffa1001055bdc0  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa1001621a200  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa100164e0240  state: slp   wchan: 0xffffa10017d0fe58  sobj: semaphore (from genunix:biowait+0x7a)
        thread: 0xffffa100164ed000  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa100164dd500  state: slp   wchan: 0xffffa10017d0ff50  sobj: semaphore (from genunix:biowait+0x7a)
        thread: 0xffffa100164f0280  state: run   wchan:               NULL  sobj: none
        thread: 0xffffa100164eab80  state: slp   wchan: 0xffffa100164ead6e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100164ec240  state: slp   wchan: 0xffffa100164ec42e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100164e6b40  state: slp   wchan: 0xffffa100164e6d2e  sobj: condition var (from genunix:lwp_park+0x157)
        thread: 0xffffa100164ecb40  state: slp   wchan: 0xffffa10018947af4  sobj: condition var (from portfs:port_getn+0x240)
        thread: 0xffffa100164f5080  state: run   wchan:               NULL  sobj: none

Une information importante apparait à l’affichage des thread liés au processus « ocssd.bin » : 2 thread sont en attente d’I/O (biowait). L’analyse des attentes I/O est la suivante :

CAT(/var/crash/2/vmcore.2/11X)> tlist -b 0xffffa100164e0240 biowait
thread: 0xffffa100164e0240  state: slp
  PID: 11189  cmd: /u01/app/12.1.0/grid/bin/ocssd.bin 
  idle: 28810211744 hrticks (28.810211744s)
buf @ 0xffffa10017d0fd98
   b_edev:   212,320(sd5,0)     b_blkno:   0x80011
   b_flags:  0x2200121 (BUSY|PHYS|WRITE|SHADOW|STARTED|PAGE_NOWAIT)
   b_addr:   0x1fb0000
   b_bcount: 512                b_bufsize: 0
   b_dip:    0xffffa1000761f6c8 sd#5 //P/XZ%@g600144f0908f3f600000581cac750001
   b_shadow: 0xffffa10019e47f80 (struct page **)
thread: 0xffffa100164dd500  state: slp
  PID: 11189  cmd: /u01/app/12.1.0/grid/bin/ocssd.bin 
  idle: 28810195310 hrticks (28.810195310s)
buf @ 0xffffa10017d0fe90
   b_edev:   212,320(sd5,0)     b_blkno:   0x80004
   b_flags:  0x2200061 (BUSY|PHYS|READ|SHADOW|STARTED|PAGE_NOWAIT)
   b_addr:   0x1fafa00
   b_bcount: 512                b_bufsize: 0
   b_dip:    0xffffa1000761f6c8 sd#5 //P/XZ%@g600144f0908f3f600000581cac750001
   b_shadow: 0xffffa10018c4ad70 (struct page **)                                                                            
  2 matching threads found
    in biowait()
threads in biowait() by device:

count   device (thread: max idle time)
    2   212,320(sd5,0) (0xffffa100164e0240: 1 hours 28 minutes 58.329491622 seconds)

L’analyse des thread en attente d’I/O révèle les informations suivantes :

  • Les thread sont bloqués depuis plus de 28 secondes (sémaphore)
  • Les thread sont bloqués sur le même device sd#5

Les informations sur le device sd#5 sont les suivantes.

sd5 @ 0xffffa10003566080(sd_lun)
    //P/XZ%@g600144f0908f3f600000581cac750001
    0xffffa1000761f6c8   name: scsiclass,00@g600144f0908f3f600000581cac750001   instance #: 5
      scsi device @ 0xffffa10010257298  hba_tran: 0xffffa10000088640
      target: 29336  lun: 37  sub_lun: 16 
      scsi inquiry data @ 0xffffa10010257658 :
        dtype: 0  qualifier: 0  removable: 0  
        ANSI version: 5  ECMA version: 0  ISO version: 0  length: 69 
        response format: 2  TERM I/O Proc msg: 0  async event notification: 0 
        scsi support:  
          soft rst: 0  cmdque: 1  linked cmds: 0  sync xfer: 0
          16 bit xfers: 0  32 bit xfers: 0  relative addr: 0 
        vendor id: SUN       product id: Sun Storage 7000
        revision: 1.0   serial #: 
      sd_lun @ 0xffffa10003566080, un_sd: 0xffffa10010257298
        throttle: 256, saved_throttle: 256, busy_throttle: 0

        un_rqs_bp: 0x0, un_rqs_pktp: 0x0 un_sense_isbusy: 0
        Last Request Sense Packet (using un_rqs_pktp):
        un_ncmds_in_driver: 2, un_ncmds_in_transport: 2
        open counts:
          layered (none)
          regular(char):  1
        Geometry is NOT valid
        Packet Flags for Tagged Queueing:
        FLAG_STAG - Run command as SIMPLE QUEUE tagged cmd
        Last pkt reason:
        CMD_CMPLT - no transport errors- normal completion

        State:
        SD_STATE_NORMAL
        Last state:
        SD_STATE_NORMAL
        SCSI State Change Translation: 
            No state change

        Reservation status:
        SD_RELEASE
[...]

Petit récapitulatif des informations collectées :

  1. Le « panic » a été provoqué par le « deamon cssdagent » (avec la commande uadmin)
  2. Le dernier processus actif avant le « panic » était le deamon « ocssd.bin »
  3. Le deamon « ocssd.bin » a 2 thread bloqués (+ 28 secondes) sur le device sd#5
  4. L’analyse du device sd#5 illustre deux commandes dans la queue d’exécution

 

Le fonctionnement du cluster Oracle RAC est le suivant : si un des serveurs du cluster n’accède plus au disque de vote pendant plus de 27 secondes (valeur de misscount, par défaut de 30 secondes, moins 3 secondes pour le temps du redémarrage) alors le mécanisme du cluster évacue ce serveur afin de garantir l’intégrité du système complet.

Dans notre cas le deamon « ocssd.bin » est en attente d’accès au disque de vote (sd#5) depuis plus de 28 secondes. Ce qui explique le panic du serveur.

Je reviendrai dans un prochain article pour décrire la suite de l’analyse.

 

Cas pratique de l’audit dans Solaris

Cas pratique de l’audit dans Solaris

Comme évoqué lors de mon précédent article, je vais détailler un cas pratique de configuration de l’audit. Le contexte technique est le suivant : enregistrer l’ensemble des exécutions provenant des utilisateurs. Le système Solaris (11.3) héberge des Zones non  Globales.

La configuration de l’audit dans les Zones non Globales s’effectue de deux manières. Soit la stratégie est opérée par la Zone Globale : la configuration est alors identique à chaque Zone non Globale, les enregistrements d’audit sont disponibles sur la Zone non Globale. Soit la stratégie est opérée pour chaque Zone non Globale : la configuration peut être adaptée à chaque environnement, les enregistrements d’audit sont disponibles sur chacun des environnements.

Un point important à spécifier, si vous exécutez des BrandZ (Solaris 10) sur la Zone Globale, la stratégie opérée par la Zone Globale ne fonctionnera pas pour les BrandZ. Seule la configuration par Zone non Globale fonctionnera dans ce contexte.

Dans ce cas pratique, j’applique la stratégie pour chaque Zone non Globale. Il faut donc ajouter la stratégie suivante sur la Zone Globale du système.

# auditconfig -setpolicy +perzone

Sur chaque Zone non Globale de ce système, le service d’audit doit être activé.

# audit -s
# auditconfig -getcond
audit condition = auditing

Le but est d’enregistrer l’ensemble des exécutions des utilisateurs. Pour obtenir des enregistrements pertinents, il est intéressant d’ajouter la stratégie argv (cela permet d’associer les arguments d’une commande). L’ajout de cette stratégie est à positionner dans chaque Zone non Globale. Sa mise en place dans la Zone Globale peut avoir sont intérêt notamment si certaines commandes (ou connexion) s’exécutent depuis celle-ci via zlogin(1M).

# auditconfig -setpolicy +argv

La stratégie d’audit sur la Zone Globale doit être la suivante.

# auditconfig -getpolicy
configured audit policies = argv,cnt,perzone
active audit policies = argv,cnt,perzone

La stratégie d’audit par Zone non Globale doit être la suivante.

# auditconfig -getpolicy
configured audit policies = argv,cnt
active audit policies = argv,cnt

La classe d’audit gérant les exécutions se nomme ex. Elle prend en compte tous les événements execve(2M) (incluant pfexec(1M) si celui est actif sur votre système).

0x0000000080000000:ex:exec
# auditrecord -c ex

execve
  system call execve               See execve(2)
  event ID    23                   AUE_EXECVE
  class       ps,ex                (0x0000000080100000)
      header
      path
      [attribute]                  omitted on error
      [exec_arguments]             output if argv policy is set
      [exec_environment]           output if arge policy is set
      subject
      [use_of_privilege]
      return

pfexec
  system call pfexec               See execve(2) with pfexec enabled
  event ID    116                  AUE_PFEXEC
  class       ps,ex,ua,as          (0x0000000080160000)
      header
      path                         pathname of the executable
      path                         pathname of working directory
      [privilege]                  privileges if the limit or inheritable                                     set are changed
      [privilege]                  privileges if the limit or inheritable
                                   set are changed
      [process]                    process if ruid, euid, rgid or egid is
                                   changed
      exec_arguments
      [exec_environment]           output if arge policy is set
      subject
      [use_of_privilege]
      return

On associe la classe d’audit « ex » à la classe d’audit « lo » (gestion des connexions utilisateurs) aussi bien pour les événements provenants d’utilisateurs que des événements provenant du système (événements attribuables et non-attribuables).

# auditconfig -setflags lo,ex
user default audit flags = ex,lo(0x80001000,0x80001000)

# auditconfig -setnaflags lo,ex
non-attributable audit flags = ex,lo(0x80001000,0x80001000)

Les classes d’audit activées sur la Zone Globale sont les suivantes.

# auditconfig -getnaflags -getflags
active non-attributable audit flags = ex,lo(0x80001000,0x80001000)
configured non-attributable audit flags = ex,lo(0x80001000,0x80001000)
active user default audit flags = ex,lo(0x80001000,0x80001000)
configured user default audit flags = ex,lo(0x80001000,0x80001000)

Les classes d’audit activées sur chaque Zone non Globale sont les suivantes.

# auditconfig -getnaflags -getflags
active non-attributable audit flags = ex,lo(0x80001000,0x80001000)
configured non-attributable audit flags = ex,lo(0x80001000,0x80001000)
active user default audit flags = ex,lo(0x80001000,0x80001000)
configured user default audit flags = ex,lo(0x80001000,0x80001000)

Pour appliquer les modifications des classes d’audit, il est nécessaire de l’indiquer au système et d’exécuter les commandes suivantes sur chaque environnement (sur la Zone Globale et sur toutes les Zones non Globales).

# auditconfig -conf
Configured 283 kernel events.

# auditconfig -aconf
Configured non-attributable event mask.

Par défaut, l’ensemble des enregistrements sont écrits via le plugin audit_binfile(5M). Un seul fichier est généré pour l’ensemble des enregistrements. A vous de voir selon votre activité, si vous devez limiter ce fichier selon sa taille ou la périodicité. J’opte souvent pour les deux.

# auditconfig -setplugin audit_binfile p_age=1d

# auditconfig -setplugin audit_binfile p_fsize=512M

# auditconfig -getplugin audit_binfile
Plugin: audit_binfile (active)
        Attributes: p_dir=/var/audit;p_minfree=1;p_fsize=512M;p_age=1d

Cette modification est à faire sur chaque environnement (sur Zone Globale et sur toutes les Zones non Globales). Pensez tout de même à mettre en place une suppression de ces fichiers (une fois qu’ils sont sauvegardés) sinon vous risquez de saturer votre pool ZFS.

# crontab –l root | grep audit
0 5 * * * find /var/share/audit -type f -mtime +4 -exec /usr/bin/rm {} \;

Il vous est maintenant possible de suivre l’activité des utilisateurs sur le(s) système(s). Par exemple, vous pouvez diagnostiquer facilement ce genre d’événement dans votre journal d’audit.

<record version="2" event="execve(2)" host="compile" iso8601="2016-09-04 16:31:31.235 +02:00">
<path>/usr/bin/rm</path>
<attribute mode="100555" uid="root" gid="bin" fsid="65538" nodeid="49437" device="18446744073709551615"/>
<exec_args><arg>rm</arg><arg>/etc/hosts
</arg></exec_args>
<subject audit-uid="bruno" uid="bruno" gid="grpadm" ruid="bruno" rgid="grpadm" pid="1062" sid="3492816039" tid="11705 136704 gw.homeunix.org"/>
<return errval="success" retval="0"/>
</record>

Configuration de l’audit dans Solaris

Configuration de l’audit dans Solaris

L’audit consiste à collecter des données sur l’utilisation des ressources système. Ces données, enregistrées sous forme d’événements, peuvent être utilisées pour déterminer la responsabilité quand aux actions survenues sur ce système.

Il y a un double avantage à activer l’audit sur les systèmes. D’un point de vue sécuritaire, cela ajoute notamment une brique complémentaire à votre « arsenal ». D’un point de vue exploitation, cela permet d’améliorer votre diagnostic, en traçant notamment l’ensemble des actions exécutées sur vos systèmes.

Chez plusieurs clients, l’activation de l’audit m’a permis d’analyser plus efficacement des événements survenus sur des serveurs sur lesquels j’opérais des actions.

Sans être exhaustif, il est important d’évoquer les concepts suivants :

  • La stratégie d’audit détermine les caractéristiques d’enregistrement d’audit,
  • Les événements (d’audit) sont regroupés en classe d’audit,
  • Les enregistrements d’audit sont collectés dans les journaux d’audit,
  • Les classes d’audit peuvent être collecter en cas de réussite, d’échec ou les deux,
  • Les classes d’audit sont modifiables (ajout de préfix par exemple),
  • Des nouvelles classes d’audit peuvent être créées (besoin spécifique),
  • Les événements attribuables proviennent des utilisateurs,
  • Les événements non attribuables proviennent soit du noyau (interruption) soit avant l’authentification d’un utilisateur,
  • Les événements synchrones sont associés à un processus dans le système.

La configuration de l’audit peut s’avérer complexe. C’est pourquoi l’étude de la configuration par défaut permet d’appréhender plus rapidement cette fonctionnalité offerte dans le système Solaris.

Let’s go !!

L’audit est configuré via un service SMF cependant pour piloter ce service il est préférable d’utiliser la commande audit(1M). Par défaut ce service est déjà activé dans Solaris, la commande auditconfig(1M) permet de le vérifier rapidement.

# auditconfig -getcond
audit condition = auditing

Dans le cas contraire, il suffit d’activer le service via la commande audit(1M).

# audit -s

La stratégie d’audit par défaut est « minimale » : afin de minimiser les exigences en matière de stockage et de réduire le nombre de demandes de traitement du système, la plupart des options de la stratégie d’audit ont donc été désactivées. Ce qui peut être judicieux lorsque la disponibilité du système est plus importante que la sécurité (attention votre RSSI dira certainement l’inverse).

# auditconfig -getpolicy
configured audit policies = cnt
active audit policies = cnt

Selon le système installé et vos besoins, la stratégie d’audit devra vraisemblablement  être adaptée. Par exemple dans un environnement exécutant des Zones non Globales (aka containers), il est judicieux de mettre en place une stratégie d’audit permettant d’enregistrer les événements de chaque Zone non Globale. La description des stratégies d’audit est consultable via l’aide mémoire de la commande auditconfig(1M).

Tout comme la stratégie d’audit, il n’y a qu’une seule classe d’audit configurée par défaut. Celle-ci enregistre uniquement les événements liés aux connexions des utilisateurs. Aussi bien pour les événements attribuables…

# auditconfig -getflags
active user default audit flags = lo(0x1000,0x1000)
configured user default audit flags = lo(0x1000,0x1000)

…que pour les événements non attribuables.

# auditconfig -getnaflags
active non-attributable audit flags = lo(0x1000,0x1000)
configured non-attributable audit flags = lo(0x1000,0x1000)

Les programmes pouvant faire l’objet d’un enregistrement liés aux connexions des utilisateurs sont consultables via la commande auditrecord(1M).

# auditrecord -c lo

Admin Server Authentication
  program     admin (various)      See SMC, WBEM, or AdminSuite
  event ID    6213                 AUE_admin_authenticate
  class       lo                   (0x0000000000001000)
      header
      subject
      [text]                       error message
      return
[...]

Il est aussi possible de vérifier à partir d’un programme que celui-ci est bien compris dans une classe d’audit. Par exemple pour vérifier si le programme « su » est lié aux connexions des utilisateurs il suffit saisir la commande suivante et de vérifier la classe d’audit.

# auditrecord -p su

su
  program     /usr/bin/su          See su(1M)
  event ID    6229                 AUE_role_logout
  class       lo                   (0x0000000000001000)
      header
      subject
      return
[...]

Les classes d’audit disponibles par défaut sont consultables directement dans le fichier audit_class. Ci-dessous une liste non exhaustif des classes d’audit configurés sur un système Solaris (version 11.3).

0x0000000000000100:nt:network
0x0000000000000200:ip:ipc
0x0000000000001000:lo:login or logout
0x0000000000008000:cy:cryptographic
0x0000000000100000:ps:process start/stop
0x0000000080000000:ex:exec

Par défaut, les journaux d’audit sont des fichiers binaires stockés sur le serveur (3 modes sont disponibles pour stocker ces journaux d’audit : en local, en remote ou via le service syslog). La configuration des ces 3 modes s’effectuent via les 3 plugins suivants.

# auditconfig -getplugin audit_binfile
Plugin: audit_binfile (active)
        Attributes: p_age=0h;p_dir=/var/audit;p_fsize=0;p_minfree=1

# auditconfig -getplugin audit_syslog
Plugin: audit_syslog (inactive)
        Attributes: p_flags=

# auditconfig -getplugin audit_remote
Plugin: audit_remote (inactive)
        Attributes: p_hosts=;p_retries=3;p_timeout=5

L’analyse des journaux d’audit (dans le cas de fichiers binaires) s’effectue via la commande praudit(1M) qu’il est judicieux de coupler avec la commande auditreduce(1M).

Par exemple, les informations concernant l’enregistrement d’une tentative de connexion root (via le programme su) sont les suivantes.

header,69,2,su,,compile,2016-08-29 18:27:57.063 +02:00
subject,bruno,root,root,root,root,2035,548799308,12281 136704 gw.homeunix.org
return,success,0

Les informations enregistrées pour chaque événements d’audit est défini par un ensemble de jetons d’audit. Chaque classe d’audit défini un certain nombre (modifiable) de jetons d’audit. Dans l’exemple ci-dessus, il y a 3 jetons d’audit pour cet enregistrement

  • header : marque le début d’un enregistrement d’audit)
  • subject : décrit un utilisateur qui exécute ou tente d’effectuer une opération
  • return : contient l’état de retour de l’appel système et la valeur de retour du processus

Pour obtenir le descriptif de chaque élément de chaque jeton d’audit, il suffit d’utiliser la commande praudit(1M).

# praudit -x 20160828220542.not_terminated.compile
[...]
<record version="2" event="su" host="compile" iso8601="2016-08-29 18:27:57.063 +02:00">
<subject audit-uid="bruno" uid="root" gid="root" ruid="root" rgid="root" pid="2035" sid="548799308" tid="12281 136704 gw.homeunix.org"/>
<return errval="success" retval="0"/>
</record>
[...]

A travers cet article, j’espère que vous vous êtes familiarisé avec cette fonctionnalité fort intéressante disponible dans Solaris. Dans un prochain article, j’aborderai la configuration de l’audit pour un système hébergeant des Zones non Globales en utilisant des classes d’audit complémentaires.

 

 

J’ai perdu mon DNS

J’ai perdu mon DNS

Je ne vais pas vous parler d’un phénomène paranormal bien qu’au premier abord cela m’a paru assez étrange.

Lors de l’initialisation d’un cluster Oracle Rac (12c) dans des Kernel Zone Solaris (11.3), la configuration DNS mise en place (via le service smf dns/client) disparaissait étrangement. J’ai accusé à tort le processus d’initialisation d’Oracle Rac en cherchant en vain ce qui pouvait provoquer ce changement de configuration DNS. J’imagine les sourires de mes collègues d’Oracle quand j’ai posé la question sur les listes de support interne !? Je suis passé pour un fou… Quoique.

Il y a bien évidement une réponse technique à cette erreur. Solaris 11 utilise des profils de configuration réseau (Network Configuration Profil – NCP) selon deux modes : manuel ou automatique.

Le choix du mode s’effectue lors de l’installation du système Solaris. Si NCP utilise le mode automatique, le protocole DHCP est activé sur l’une des interfaces réseau du système. Les éléments de configuration suivants adresse IP, route par défaut et serveurs DNS sont alors obtenus par le service DHCP. La perte des paramètres DNS provenait donc de cette mauvaise configuration du profil NCP.

Pour vérifier votre configuration NCP, il suffit de saisir la commande suivante :

# netadm list
Comme vous pouvez le voir ci-dessous la configuration automatique est activée :
# netadm list -x Automatic
TYPE        PROFILE        STATE          AUXILIARY STATE
ncp         Automatic      online         active
ncu:phys    net0           online         interface/link is up
ncu:ip      net0           online         interface/link is up
loc         Automatic      online         active
Par défaut le mode automatique permet la configuration du service DNS :
# netcfg list loc automatic
loc:Automatic
        activation-mode                 system
        enabled                         false
        nameservices                    dns
        nameservices-config-file        "/etc/nsswitch.dns"
        dns-nameservice-configsrc       dhcp

Pourquoi ce mode automatique ? Le mode automatique a été principalement mis en œuvre pour simplifier la configuration réseau des ordinateurs portables. Ce mode ne convient absolument pas à des serveurs comme vous avez pu le lire. La modification du mode automatique en mode manuel a fixé définitivement mon erreur.

Je vous invite à lire (ou plutôt relire) l’excellent article de Andrew Walton concernant ce sujet.