(Sap BO user list exctraction with Restful Web Service)

Sap Business Objects ortamında kullanıcı listesi ResftFul Web Service SDK (Python dilinde) almak için aşağıdaki kod kullanılabilir.

#!/usr/bin/python
# -*- coding: utf-8 -*-



import sys
reload(sys)
sys.setdefaultencoding('utf8')



import requests, json, re

baseurl = 'http://hostname_ip:port/biprws' # change hostname ip port, example: 192.168.56.101:6405

headerJson = {'accept': 'application/json'}

r = requests.get(baseurl+'/logon/long', headers=headerJson)

headerJson2 = {'accept': 'application/json', 'content-type': 'application/json'}

postDataJson = '{"userName":"Administrator","password":"PassWD","auth":"secEnterprise"}' # change password

r = requests.post(baseurl+'/logon/long', headers=headerJson2, data=postDataJson)

sapBoLogonToken = '"' + json.loads(r.text)['logonToken'] + '"'

headerJson3 = {'accept': 'application/json', 'X-SAP-LogonToken': sapBoLogonToken}



looperPage = 1
looperPageSize = 50

r = requests.get(baseurl+'/v1/users?page='+str(looperPage)+'&pagesize='+str(looperPageSize), headers=headerJson3)
parsedJson = json.loads(r.text)

userList = []
while len(parsedJson["entries"]) == looperPageSize:
  userList.extend( parsedJson["entries"] )
  looperPage += 1
  r = requests.get(baseurl+'/v1/users?page='+str(looperPage)+'&pagesize='+str(looperPageSize), headers=headerJson3)
  parsedJson = json.loads(r.text)



# rest log off
headerJson4 = {'accept': 'application/json', 'content-type': 'application/json', 'X-SAP-LogonToken': sapBoLogonToken}
r = requests.post(baseurl+'/logoff', headers=headerJson4)



f = open('./user_list.csv','w')

f.write("user_id,user_name,user_fullname\n")
for uli in userList:
  f.write(uli["id"]+","+uli["name"]+","+uli["fullname"]+"\n")

"""
# maybe needed for some users detection
f.write("user_id,user_name,user_name_length,user_fullname,user_fullname_length,reg_exp_flag\n")
for uli in userList:
  if ( len(re.findall("[a-zA-Z]{2}[0-9]{4}",uli["name"])) > 0 ):
    reg_exp_flag = "1"
  else:
    reg_exp_flag = "0"
  f.write(uli["id"]+","+uli["name"]+","+str(len(uli["name"]))+","+uli["fullname"]+","+str(len(uli["fullname"]))+","+reg_exp_flag+"\n")
# reg_exp_flag=1, user_fullname_length<>0, user_name_length=6
"""

f.close()

Dosya olarak indirmek için: re_cmc_user_list.py

Sap Business Objects platformunun uygulama servislerinin bellek kullanımını takip etmek için yazdığım Windows Batch script aşağıdadır. (taskman.bat) Bat dosyası saatlik olarak zamanlanarak (schedule) proseslerin bellek kullanımları arşivlenebilir. Üretim ortamlarına doğrudan (işletim sistemi seviyesinde) erişimin olmadığı durumlarda da servis belleklerine erişim amaçlı kullanılabilir.

@echo off

set hour=%time:~0,2%
if "%hour:~0,1%" == " " set hour=0%hour:~1,1%
rem echo hour=%hour%
set min=%time:~3,2%
if "%min:~0,1%" == " " set min=0%min:~1,1%
rem echo min=%min%
set secs=%time:~6,2%
if "%secs:~0,1%" == " " set secs=0%secs:~1,1%
rem echo secs=%secs%

set year=%date:~10,4%
rem echo year=%year%
set month=%date:~4,2%
rem echo month=%month%
set day=%date:~7,2%
rem echo day=%day%

set datetimef=%year%%month%%day%_%hour%%min%%secs%

tasklist > D:\tasklist\taskman_output_%datetimef%.txt

Sap Business Objects ortamında Webi rapor sorgularının çıkarılması için yazdığım önceki yazımda raporların id’lerine (si_id) sıralı parçalar halinde Restful Web Service üzerinden ( http://10.1.2.3:6405/biprws/raylight/v1/documents?offset=200&limit=50 ) erişiliyordu. Bu durumda Webi rapor adetlerinin çok fazla olduğu üretim (production) ortamlarında BO Enterprise veritabanına çok karmaşık Sql sorguları gönderdiği için veritabanı sunucusunu çok olumsuz etkileyebiliyor. Örneğimizde veritabanı Oracle ve üretilen sorgunun where ifadesinde binlerce karşılaştırma yapılıyor, Oracle’a özel analitik fonksiyonlar kullanılmıyor, tüm veritabanlarında çalışabilecek çok uzun ve karmaşık Ansii Sql üretiliyor. Sonuç olarak rapor id’lerini Web Servis üzerinden değil de Admin Tools (Query Builder) üzerinden aşağıdaki sorgu ile metin dosyasına yazıp o dosyadaki id’lerin sorgularını çıkarma yoluna gidiyoruz. (Extract Report Sql by Sap BO RestFul Web Service Sdk and Python Request Json 2)

select si_id
from ci_infoobjects
where si_kind = 'Webi'

import requests
import json
import codecs

def restlogin( baseurl, u, p, logontype ):
  headerJson = {'accept': 'application/json'}
  r = requests.get(baseurl+'/logon/long', headers=headerJson)
  headerJson2 = {'accept': 'application/json', 'content-type': 'application/json'}
  postDataJson = '{"userName":"'+u+'","password":"'+p+'","auth":"'+logontype+'"}'
  r = requests.post(baseurl+'/logon/long', headers=headerJson2, data=postDataJson)
  logontoken = '"' + json.loads(r.text)['logonToken'] + '"'
  return logontoken

def restlogoff( logontoken ):
  headerJson4 = {'accept': 'application/json', 'content-type': 'application/json', 'X-SAP-LogonToken': logontoken}
  r = requests.post(baseurl+'/logoff', headers=headerJson4)

def reportNameToString( rn ):
  if type(rn) is int:
    return str(rn)
  else:
    return rn

def getReportSqls( i ):
  sql = ''
  r = requests.get(baseurl+'/raylight/v1/documents/'+str(i["id"]), headers=headerJson3)
  if r.status_code == 200:
    r = requests.get(baseurl+'/raylight/v1/documents/'+str(i["id"])+'/dataproviders', headers=headerJson3)
    if r.status_code == 200:
      parsedJsonDP = json.loads(r.text)
      if type(parsedJsonDP['dataproviders']) is not str and type(parsedJsonDP['dataproviders']) is not unicode and type(parsedJsonDP['dataproviders']['dataprovider']) is not str and type(parsedJsonDP['dataproviders']['dataprovider']) is not unicode:
        if type(parsedJsonDP['dataproviders']['dataprovider']) is dict:
          if 'dataSourceType' in parsedJsonDP['dataproviders']['dataprovider'].keys() and parsedJsonDP['dataproviders']['dataprovider']['dataSourceType'][0:2] == "un":
            r = requests.get(baseurl+'/raylight/v1/documents/'+str(i["id"])+'/dataproviders/'+str(parsedJsonDP['dataproviders']['dataprovider']['id']), headers=headerJson3)
            if r.status_code == 200 and 'query' in json.loads(r.text)['dataprovider'].keys():
              sql += '\n' + json.loads(r.text)['dataprovider']['query'] + '\n'
        else:
          for j in parsedJsonDP['dataproviders']['dataprovider']:
            if 'dataSourceType' in j.keys() and j['dataSourceType'][0:2] == "un":
              r = requests.get(baseurl+'/raylight/v1/documents/'+str(i["id"])+'/dataproviders/'+str(j['id']), headers=headerJson3)
              if 'query' in json.loads(r.text)['dataprovider'].keys():
                sql += '\n' + json.loads(r.text)['dataprovider']['query'] + '\n'
  return sql



baseurl = "http://10.1.2.3:6405/biprws"
uname = "Administrator"
pword = "PassWD"
logontype = "secEnterprise"

logontoken = restlogin(baseurl, uname, pword, logontype)

headerJson3 = {'accept': 'application/json', 'X-SAP-LogonToken': logontoken}

f = codecs.open('C:/sqllist.txt', 'w', encoding='utf8')



f2 = open('C:/si_id.txt','r')
si_id_list = f2.read().split('\n') # [:-1]

print "bas 1"

for j in si_id_list:
  print "for: " + str(j)
  r = requests.get(baseurl+'/raylight/v1/documents/'+str(j), headers=headerJson3)
  if r.status_code == 200:
    i = json.loads(r.text)['document']
    sql = getReportSqls(i);
    f.write('\nsi_id:' + str(i["id"]) + '\nsi_name:' + reportNameToString(i["name"]) + '\n' + sql)

print "son 1"

f.close()

restlogoff( logontoken )