Python - глазами DBA

(Описание модуля cx_Oracle)

Попов О.Б.
opopov@yandex.ru
г.Самара,май-август 2003 года

Содержание

• Почему собственно python
• Часть I. Выполняем простой запрос
• Часть II.Запросы с параметрами
• Часть III.Анонимные блоки PL/SQL
• Ссылки
• Листинги

Почему собственно python.

Администраторы БД очень часто нуждаются в инструментах для автоматизации разной рутинной работы, например: загрузка, преобразования данных в разного рода форматы или сбор и анализ различной статистики.Для меня в свое время такой палочкой-выручалочкой стал perl.

Через некоторое время я набрел на python.Вот все что я могу сказать после 1 года знакомства:
Это практичный и полезный инструмент.

Несколько слов об инструментах.Вариантов на самом деле немного: 1)гремучая смесь из разных утилит командной строки (bash+awk+tar+...), 2)языки сценариев(perl,tcl/tk... ), 3)классические языки программирования(С,C++)

Первый вариант наиболее часто применяется администраторами.По крайней мере мой собственный опыт говорит о том, что иногда удается получить неплохое решение, если только задача не слишком сложна.

Третий вариант позволяет получить великолепное решение при значительных затратах сил и времени на программирование,отладку и тестирование кода.А если их нет?

Золотой серединой очевидно является вариант номер 2.

К языкам сценариев по функциональным возможностям приближается java, поскольку фирма Oracle(к моему большому сожалению )взяла главный курс на использование языка java везде,где это только возможно, теперь java работает в контексте ядра Oracle и в принципе может быть использована как инструмент администратора.

Проблемы я вижу следующие:
-слишком сложные API,плохая читабельность кода
-отсутствие встроенных современных типов данных,
- крайняя медлительность выполнения,
-необходимость обновлять программы с Oracle Metalink.
- Java API имеет плохую обратную совместимость с предыдущими версиями
-java -это не собственная разработка Oracle corp., а технология , лицензированная у Sun , которая кое-что лицензировала еще у нескольких фирм.

Недостатки применения java с RDBMS Oracle проявились особенно отчетливо в следущем эпизоде:на компьютерах с процессорами Pentium IV, отказался запускатьcя Oracle Universal Installer(речь идет о Oracle 8.1.7), написанный на Java . Причина оказалась в JIT compiler, который Sun лицензировал у Symantec. Понятно почему, фирма Oracle длительное время не могла решить эту проблему. Пользователи Oracle решали ее самостоятельно -путем удаления одной dll. Не предсталяю,что бы делал я в этой (и многих других)ситуации без интернета и духа открытости пользователей Oracle-администраторов, программистов...

С perl обычно все намного лучше.Дух открытости (движение Open Source и лицензия GPL) позволил Perl прогрессировать с космической скоростью:
-огромное количество великолепных библиотек,
-встроенные структуры данных-списки,hash-таблицы
-существование многочисленных книг, списков рассылки и просто энтузиастов значительно облегчают жизнь профессионалу.

Несмотря на массу положительных свойств, Perl имеет imho ряд существенных недостатков:
-крайне запутанный и к тому же подверженный изменениям синтаксис.
-значительная интеграция с юниксообразными ОС.
-не очень удачные средства поддержки OOP

Первое затрудняет сопровождение (даже собственных) программ.А второе ограничивает сферу применимости языка на других платформах.

И здесь важно отметить, что разработчики python в значительной степени учли достоинства и недостатки различных языков программирования и в результате появился язык программирования, который почти не содержит в себе экзотических конструкций и позволяет использовать почти все известные на сегодня методы создания программ.

Справедливости ради нужно заметить, что python отнюдь не является чем то  уникальным, мне известен еще один язык программирования с похожим функционалом - ruby.Этот язык несколько моложе чем python и для серьезного промышленного применения он еще, похоже не готов.Не все в порядке с документацией и набор библиотек совсем невелик. Ruby довольно популярен среди американских студентов, поэтому, возможно у него впереди  яркая судьба.

Достоинства языка python

Python можно охарактеризовать в нескольких словах следующим образом:
многоплатформенный язык сценариев с динамической типизацией,встроенными структурами данных и поддержкой трех парадигм программирования-процедурной,объектной, функциональной.

• Многоплатформенность и масштабируемость-работает на большинстве известных программно-аппаратных платформ от PDA до CRAY и IBM 390
• Гармоничная архитектура языка:
  • Простой и удобный для понимания логики програм синтаксис
  • Встроенные структуры данных-списки, кортежи,словари
  • Огромное количество библиотек:
    -XML парсеры
    -GUI(Win32,GTK/GNOME,KDE/QT,TK,FOX,WXWindows)
    - Сетевые протоколы
    - Разработка Web приложений
    
  • Переносимость кода между различными платформами
  • Мощные интерфейсы к конкретным ОС(особенно к Linux/Unix и win32)
  • Поддержка разных стилей программирования-процедурного,объектного,функционального
  • Встроенная поддержка Unicode и множества национальных кодировок
    (включая 5 русских)
  • Возможность писать самодокументированные программы и автоматическая генерация документации на модули.

С чем реально сталкивается программист(а админитстратор является таковым часто, но понемногу ) при использовании python.Это простой и ясный синтаксис. Я ловлю себя часто на мысли,что просмотр чужого кода зачастую не требует значительного напряжения.И здесь помогает то, что отступы являются частью синтаксиса и определяют вложенность операторов.

Библиотеки зачастую имеют очень лаконичную документацию, но этого достаточно так как API очень выразительны и внятны. Отрадным явлением в мире питона, является тот факт, что очень многие библиотеки были разработаны после того, как были согласованы спецификации на конкретные API.Одной из таких спецификаций является спецификация на Python Database API 2.0. В соответствии с этой спецификацией разрабатываются модули для доступа к конкретным СУБД.

К сожалению сам стандарт(как в свое время и cпецификация на ODBC) не может учесть все специфические особенности конкретной СУБД, так как фирмы-производители СУБД, используют свои фирменные расширения как средство в конкуретной борьбе. Поэтому перенос кода с одной платформы на другую все-таки очень трудно сделать безболезненным, если только перед разработчиками не ставилась задача писать приложения, предназначенное для работы с различными SQL серверами.

Сам процес кодирования и тестирования достаточно комфортен.Здесь помогает качественная диагностика ошибок.Оттестированные модули очень легко расширять и складывать из них приложения.

Для работы с RDBMS Oracle существует несколько различных модулей для Python, использующих разные механизмы:

• ODBC(Win32,Linux)
• DCOM(Win32)
• PERL_DBI(Win32,Linux,Solaris,HP-UX,AIX)
• NATIVE API (Win32,Linux,Solaris,HP-UX,AIX)

Более подробную информацию Вы можете найти на www.python.org.

Часть I. Выполняем простой запрос.

Я предпочитаю использовать модуль cx_Oracle, который был проверен мною в ОС NT и Linux(автор-Anthony Tuininga утверждает что он работает в Solaris и похоже, на всех юниксообразных ОС должен также работать ).В основном этот модуль следует спецификации Python Database API 2.0 и поддерживает работу с RDBMS Oracle версий 8.1-9.xx.

Модуль написан на языке С, что обеспечивает быструю обработку данных и позволяет использовать все достоинства языка Python.

Для быстрого погружения в предмет я приведу фрагменты кода, демонстрирующего основные приемы использования модуля.

try:
    import cx_Oracle
except ImportError,info:
    print "Import Error:",info
    sys.exit()
if cx_Oracle.version<'3.0':
    print "Very old version of cx_Oracle :",cx_Oracle.version
    sys.exit()
	

В этом фрагменте демонстрируется безопасная загрузка модуля cx_Oracle и проверка версии. Надеюсь, элегантность синтаксиса все-таки заметили :-)

Далее создадим экземпляр класса connect, именно этот объект и обеспечивает взаимодействие с сервером Oracle

try:
    my_connection=cx_Oracle.connect('system/manager@test_db')
except cx_Oracle.DatabaseError,info:
    print "Logon  Error:",info
    exit(0)

Теперь создаем курсор и выполняем запрос:

    
my_cursor=my_connection.cursor()
try:
    my_cursor.execute("""
    SELECT OWNER,SEGMENT_TYPE,TABLESPACE_NAME,SUM(BLOCKS)SIZE_BLOCKS,
    COUNT(*) SIZE_EXTENTS FROM DBA_EXTENTS
    GROUP BY OWNER,SEGMENT_TYPE,TABLESPACE_NAME
    """)
except cx_Oracle.DatabaseError,info:
    print "SQL Error:",info
    exit(0)

Динамическая типизация и поддержка сложных структур данных позволяет легко обработать результаты SQL запроса. В результате вызова my_cursor.fetchall() возращается список записей,каждая из которых явлеяется кортежем(неизменяемым списком) полей разного типа. Если вы знакомы с PL/SQL, то тогда цикл по списку записей будет очевидным:

for record in my_cursor.fetchall():
	<обработка записи record,
	record содержит кортеж из полей текущей записи>

Существует еще более любопытная возможность "разобрать" текущую запись по полям:

for OWNER,SEGMENT_TYPE,TABLESPACE_NAME,SIZE_BLOCKS,SIZE_EXTENTS in my_cursor.fetchall():
	<теперь можно обращаться к переменным, содержащим значения 
	одноименных полей курсора>

Печатаем результат на stdout. Замечу здесь, что my_cursor.description возвращает описание столбцов запроса в виде списка кортежей. Для каждого столбца возвращаются следующие данные:(name, type_code, display_size, internal_size, precision, scale, null_ok). Далее следует форматированный вывод на stdout( почти как printf в языке C).

print
print 'Database:',my_connection.tnsentry
print 
print "Used space by owner, object type, tablespace "
print "----------------------------------------------------------------------------------"
title_mask=('%-16s','%-16s','%-16s','%-8s','%-8s')
i=0
for column_description in my_cursor.description:
    print title_mask[i]%column_description[0],
    i=1+i
print ''
print "----------------------------------------------------------------------------------"
row_mask='%-16s %-16s %-16s %8.0f %8.0f '
for record in my_cursor.fetchall():
	print row_mask%record                  

В результате мы увидим что-то вроде:

Database: testdb

Used space by owner, object type, tablespace 
--------------------------------------------------------------------------------

OWNER            SEGMENT_TYPE     TABLESPACE_NAME  SIZE_BLOCKS SIZE_EXTENTS 
--------------------------------------------------------------------------------

ADU2             INDEX            USERS                 784       25 
ADU2             TABLE            USERS                 512       24 
ADUGKS           INDEX            DEVELOP_DATA          984      123 
ADUGKS           TABLE            DEVELOP_DATA          664       83 
ADUGPA           INDEX            USERS                 784       25 
ADUGPA           TABLE            USERS                 496       23 
AGNKS_SG         INDEX            USERS                 352       22 
AGNKS_SG         TABLE            USERS                 240       15 
ATU              INDEX            USERS                3968      244 
ATU              TABLE            DEVELOP_DATA            8        1 
ATU              TABLE            USERS                2688      160 
ATU1             INDEX            DEVELOP_DATA         1600      200 
ATU1             INDEX            USERS                 608       38 
ATU1             TABLE            DEVELOP_DATA         1032      129 
ATU1             TABLE            USERS                 544       34 
BUX              INDEX            DEVELOP_DATA           64        8 
BUX              TABLE            DEVELOP_DATA         1736      217 
DISP             INDEX            USERS                 400       25 
DISP             TABLE            USERS                 528       33 
EPE              INDEX            USERS                  80        5 
EPE              TABLE            USERS                  48        3 
EXZ              INDEX            USERS                1088       61 
EXZ              TABLE            DEVELOP_DATA            8        1 
EXZ              TABLE            USERS                 832       41 

Часть II. Запросы с параметрами.

Согласно спецификации Python Database API 2.0, для выполнения запросов с параметрами каждый модуль должен реализовывать переменную paramstyle, которая определяет каким образом будут передаваться параметры запросов. Текущая версия cx_Oracle(3.0) поддерживает режим 'named', то есть в модуле установлена переменная cx_Oracle.paramstyle='named' и можно создавать конструкции в запросах в виде:

select *  from all_users where USERNAME LIKE :S

При этом связывание параметров запроса со значениями можно можно выполнить двумя способами:

• Именованный параметeр метода execute:

  cursor2.execute("select *  from all_users where USERNAME LIKE :S ",S='S%') 

• Словарь {':переменная':значение,...}

  cursor2.execute("select *  from all_users where USERNAME LIKE :S ",{':S':'S%'})

Часть III. Анонимные блоки PL/SQL

Несмотря на существавания стандартов на язык SQL, реальные потребности администратора часто требуют использования нестандартных средств сервера(более того, написать приложение, работающее с сервером на стандартном SQL возможно только для весьма тривиальных приложений ), для Oracle таким нестандартным, но очень удобным механизмом является возможность исполнения анонимных блоков PL/SQL. Модуль сx_Oracle реализует этот механизм, который естественно не описан в спецификации Python Database API 2.0 .

Чтобы связать переменные блока PL/SQL c переменными языка PYTHON, в модуле сx_Oracle реализован класс var.Эекземпляр можно создать следующим образом:

var=my_cursor.var(cx_Oracle.DATETIME) 

Конструктор my_cursor.var(...) в качестве параметра требует указать тип создаваемой переменной. Варианты:

• BINARY
• DATETIME
• FIXEDCHAR
• LONGBINARY
• LONGSTRING
• NUMBER
• ROWID
• STRING

var=my_cursor.var(cx_Oracle.DATETIME) 
try:
    my_cursor.execute("""begin
    SELECT SYSDATE INTO :p_Value from dual;
    end;""",p_Value = var)
    
except cx_Oracle.DatabaseError,info:
    print "SQL Error:",info
    exit(0)

Очевидно, что теперь var содержит текущее время сервера.Доступ к значениям переменной выполняется с помощью метода var.getvalue():

CDATE=var.getvalue()
print 'Date: %02u/%02u/%4u'%(CDATE.day,CDATE.month,CDATE.year)
print 'Time: %02u:%02u:%02u'%(CDATE.hour,CDATE.minute,CDATE.second)

Этот пример демонстрирует также и форматирование даты и времени для экземпляра var. В результате напечатается нечто вроде:

Date: 12/05/2003
Time: 16:42:54

Всвязи с тем, что работа с типами времени и даты внутри сервера Oracle реализованы особенным образом ( независимо от ОС), модуль сx_Oracle реализует следующие функции для для преобразования значений дат и времени :

• Date( year, month, day)
• DateFromTicks( ticks)
• Time( hour, minute, second)
• TimeFromTicks( ticks)
• Timestamp( year, month, day, hour, minute, second)
• TimestampFromTicks( ticks)

var=my_cursor.var(cx_Oracle.DATETIME)
var.setvalue(0,cx_Oracle.Date( 2002, 02,12))
CDATE=var.getvalue()
print 'Date: %02u/%02u/%4u'%(CDATE.day,CDATE.month,CDATE.year)
print 'Time: %02u:%02u:%02u'%(CDATE.hour,CDATE.minute,CDATE.second)

Результат будет следующий:

Date: 12/02/2002
Time: 00:00:00

Ссылки

cx_Oracle-Python extension module that allows access to Oracle
Author: Anthony Tuininga http://computronix.com/utilities.shtml

Python Database API specification Python http://www.python.org/topics/database/DatabaseAPI-2.0.html

Листинги

Листинг 1.
Выполняем простой запрос

""
cx_Oracle demo
simple query
"""
__AUTHOR__='POPOV O.'
__COPYRIGHT__='POPOV O. 2002 Samara, Russia'

from sys import exit

try:
    import cx_Oracle
except ImportError,info:
    print "Import Error:",info
    sys.exit()
    
if cx_Oracle.version<'3.0':
    print "Very old version of cx_Oracle :",cx_Oracle.version
    sys.exit()

try:
    my_connection=cx_Oracle.connect('system/gasdba@sqlmt')
except cx_Oracle.DatabaseError,info:
    print "Logon  Error:",info
    exit(0)
    
my_cursor=my_connection.cursor()
try:
    my_cursor.execute("""
    SELECT OWNER,SEGMENT_TYPE,TABLESPACE_NAME,SUM(BLOCKS)SIZE_BLOCKS,
    COUNT(*) SIZE_EXTENTS FROM DBA_EXTENTS
    GROUP BY OWNER,SEGMENT_TYPE,TABLESPACE_NAME
    """)
except cx_Oracle.DatabaseError,info:
    print "SQL Error:",info
    exit(0)
    
print
print 'Database:',my_connection.tnsentry
print 
print "Used space by owner, object type, tablespace "
print "-----------------------------------------------------------"
title_mask=('%-16s','%-16s','%-16s','%-8s','%-8s')
i=0
for column_description in my_cursor.description:
    print title_mask[i]%column_description[0],
    i=1+i
print ''
print "------------------------------------------------------------"
row_mask='%-16s %-16s %-16s %8.0f %8.0f '
for record in my_cursor.fetchall():
	print row_mask%record
for column_description in my_cursor.description:
    print column_description

Листинг 2.

---

Запрос с параметрами

""
cx_Oracle demo
query with parameters
"""
__AUTHOR__='POPOV O.'
__COPYRIGHT__='POPOV O. 2002 Samara, Russia'

from sys import exit

try:
    import cx_Oracle
except ImportError,info:
    print "Import Error:",info
    sys.exit()
    
if cx_Oracle.version<'3.0':
    print "Very old version of cx_Oracle :",cx_Oracle.version
    sys.exit()

try:
    my_connection=cx_Oracle.connect('system/manager@test_db')
except cx_Oracle.DatabaseError,info:
    print "Logon  Error:",info
    exit(0)
    
my_cursor=my_connection.cursor()
try:
    my_cursor.execute("""
    SELECT OWNER,SEGMENT_TYPE,TABLESPACE_NAME,SUM(BLOCKS)SIZE_BLOCKS,
    COUNT(*) SIZE_EXTENTS FROM DBA_EXTENTS
        WHERE OWNER LIKE :S
    GROUP BY OWNER,SEGMENT_TYPE,TABLESPACE_NAME
    """,S='SYS%')
except cx_Oracle.DatabaseError,info:
    print "SQL Error:",info
    exit(0)
    
print
print 'Database:',my_connection.tnsentry
print 
print "Used space by owner, object type, tablespace "
print "-----------------------------------------------------------"
title_mask=('%-16s','%-16s','%-16s','%-8s','%-8s')
i=0
for column_description in my_cursor.description:
    print title_mask[i]%column_description[0],
    i=1+i
print ''
print "------------------------------------------------------------"
row_mask='%-16s %-16s %-16s %8.0f %8.0f '
for record in my_cursor.fetchall():
	print row_mask%record