CftClub.ru
Клуб специалистов ЦФТ-Банк

Загрузка файлов из РКЦ

 
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Oracle DBA
Предыдущая тема :: Следующая тема  
Автор Сообщение
Evgenii
Участник
Неподтвержденный


Вступление в Клуб: 11.01.2012
СообщениеЧт Авг 15, 2013 12:10   Загрузка файлов из РКЦ Ответить с цитатой
Полезность: Нет оценки
Быть может кто-либо сталкивался с медленной работой операции импорта файлов из расчетного центра.

Появилась следующая проблема при загрузке файлов из расчетного центра:
имеется один офис со своим доменом, в котором находится собственно сам сервер БД и есть доп.офис в другом городе, ну и собственно со своим доменом. Скорость работы с базой данных, в принципе, ничем не отличается, т.е. при работе в другом домене никаких зависаний БД и долгой работы форм, представлений и операций не наблюдается. Однако загрузка файла из расчетного центра в доп офисе идет в течении 30 минут, в о время, как тот же самый файл в центральном офисе (или даже с большим количеством данных) импортируется за 1 минуту. Для импорта, что в одном, что в другом офисе файлы с помощью samba подкладываются в соответствующие папки на сервер БД. Тут проблем не возникает, но вот, когда пользователь уже из ИБСО выполняет операцию импорта и происходит замедление работы...
Alexsey
Эксперт
МЕГА БАНК


Вступление в Клуб: 06.09.2007
СообщениеЧт Авг 15, 2013 12:44   Re: Загрузка файлов из РКЦ Ответить с цитатой
Полезность: Нет оценки
Evgenii пишет:
Быть может кто-либо сталкивался с медленной работой операции импорта файлов из расчетного центра.

Появилась следующая проблема при загрузке файлов из расчетного центра:
имеется один офис со своим доменом, в котором находится собственно сам сервер БД и есть доп.офис в другом городе, ну и собственно со своим доменом. Скорость работы с базой данных, в принципе, ничем не отличается, т.е. при работе в другом домене никаких зависаний БД и долгой работы форм, представлений и операций не наблюдается. Однако загрузка файла из расчетного центра в доп офисе идет в течении 30 минут, в о время, как тот же самый файл в центральном офисе (или даже с большим количеством данных) импортируется за 1 минуту. Для импорта, что в одном, что в другом офисе файлы с помощью samba подкладываются в соответствующие папки на сервер БД. Тут проблем не возникает, но вот, когда пользователь уже из ИБСО выполняет операцию импорта и происходит замедление работы...

В момент импорта пользователем филиала файл уже находится на сервере БД? Если нет, то смотрите в строну каналов связи.
_________________
всегда есть как минимум 2 выхода
Evgenii
Участник
Неподтвержденный


Вступление в Клуб: 11.01.2012
СообщениеЧт Авг 15, 2013 12:46    Ответить с цитатой
Полезность: Нет оценки
Да, его на сервер, в нужную папку заранее подкладывают
Alexsey
Эксперт
МЕГА БАНК


Вступление в Клуб: 06.09.2007
СообщениеЧт Авг 15, 2013 12:51    Ответить с цитатой
Полезность: Нет оценки
по пользователем головного банка этот файл с такой же скоростью заливается? Это можно поверить с помощью учетки с видимостью филиалов. Так же следует сравнить настройки продукта Расчетный центр, для филиала и головного банка. В справочнике включения отладки посмотреть, нет ли там какой включенной отладки на транспортных библиотеках УФЕБС, а так же посмотреть в расширениях на действия выполняемые при импорте, создании документов РЦ в филиале.
_________________
всегда есть как минимум 2 выхода
Serj
Профи
ОИКБ Русь


Вступление в Клуб: 02.08.2007
СообщениеЧт Авг 15, 2013 13:45    Ответить с цитатой
Полезность: Нет оценки
Трассировку сессии с событиями ожидания, снять и смотреть где узкое место
alx
Участник - экстремал
Финансовый стандарт
Совладелец


Вступление в Клуб: 29.06.2007
СообщениеПт Авг 16, 2013 10:15    Ответить с цитатой
Полезность: Нет оценки
переполненных папок, типа архив, темп, ин, на сервере нет? с большим количеством файлов. появлялась такая же беда, когда количество файлов в какой-то папке переваливало за неск. тысяч. насколько помню, в импорте есть проверка на существование файла с таким именем и соответственно поиск по каталогам.
Alexsey
Эксперт
МЕГА БАНК


Вступление в Клуб: 06.09.2007
СообщениеПт Авг 16, 2013 11:02    Ответить с цитатой
Полезность: Нет оценки
Попробуйте почистить папку errors в филиале, т.к. в одна из переменных, анализирующая этот каталог, размером всего 32к и может привести к невозможности импорта. Т.к. файл предварительно копируется именно в этот каталог и разбор ведется так же здесь. По окончании импорта без ошибок файл перемещается в архивные каталоги
_________________
всегда есть как минимум 2 выхода
Evgenii
Участник
Неподтвержденный


Вступление в Клуб: 11.01.2012
СообщениеПт Авг 16, 2013 12:06    Ответить с цитатой
Полезность: Нет оценки
Пробовали чистить файлы и много чего еще. Вот что в итоге получили:
из под одного и того же пользователя одни и те же файлы долго загружаются как в филиале так и в центральном офисе (перед этим очищали полностью все папки на сервере). Попробовали эти же файлы загрузить на тестовом сервере (сам сервер идентичен, за исключением памяти, ее меньше; база на нем просто скопирована с боевой). На тестовом сервере под этим же пользователем эти же файлы грузятся в несколько секунд. Насколько поняли очень долго проходит парсинг на сервере файлов филиала. Сейчас пробуем копать в сторону библиотек xml. Может быть с ними что-то.
Alexsey
Эксперт
МЕГА БАНК


Вступление в Клуб: 06.09.2007
СообщениеПт Авг 16, 2013 13:25    Ответить с цитатой
Полезность: Нет оценки
Evgenii пишет:
Пробовали чистить файлы и много чего еще. Вот что в итоге получили:
из под одного и того же пользователя одни и те же файлы долго загружаются как в филиале так и в центральном офисе (перед этим очищали полностью все папки на сервере). Попробовали эти же файлы загрузить на тестовом сервере (сам сервер идентичен, за исключением памяти, ее меньше; база на нем просто скопирована с боевой). На тестовом сервере под этим же пользователем эти же файлы грузятся в несколько секунд. Насколько поняли очень долго проходит парсинг на сервере файлов филиала. Сейчас пробуем копать в сторону библиотек xml. Может быть с ними что-то.

Библиотеки XML регистрировали в ORACLE?
_________________
всегда есть как минимум 2 выхода
Evgenii
Участник
Неподтвержденный


Вступление в Клуб: 11.01.2012
СообщениеПт Авг 16, 2013 13:38    Ответить с цитатой
Полезность: Нет оценки
Alexsey пишет:

Библиотеки XML регистрировали в ORACLE?

Ну сами библиотеки нам предоставляла техподдержка оракловая, насколько я помню. Сейчас нет тех, кто этим занимался, поэтому сложно сказать точно...
Нашел еще, что dbms_registry.status('XDB') статус invalid. Он используется данной подсистемой? Может ли как то влиять?
Serj
Профи
ОИКБ Русь


Вступление в Клуб: 02.08.2007
СообщениеПн Авг 19, 2013 05:01    Ответить с цитатой
Полезность: Нет оценки
XDB - используется в качестве парсера как замена Xerces, если статус компонента в реестре Oracle Invalid - его возможно переустановить

Код:

cd $ORACLE_HOME/rdbms/admin
$ sqlplus / as sysdba
 @catnoqm.sql

shutdown immediate
startup

@catqm xdb sysaux temp YES
-- xdb is the password for XML Database repository schema
-- sysaux is the default tablespace for XML Database repository schema.
-- temp is the default temporary tablespace for XML Database repository schema.
-- YES is for using secure files for xdb$resource
---From IBSO!!!
grant execute on XDB.dbms_xmldom to ibs with grant option;
grant execute on XDB.dbms_xmlparser to ibs with grant option;

create or replace synonym ibs.dbms_xmldom for XDB.dbms_xmldom;
create or replace synonym ibs.dbms_xmlparser for XDB.dbms_xmlparser;
Перекомпилировать из администратора словаря данных операцию [RUNTIME].[XML_DB]
Serj
Профи
ОИКБ Русь


Вступление в Клуб: 02.08.2007
СообщениеПн Авг 19, 2013 05:09    Ответить с цитатой
Полезность: Нет оценки
Evgenii пишет:
Нашел еще, что dbms_registry.status('XDB') статус invalid. Он используется данной подсистемой? Может ли как то влиять?
- не валидный статус на скорость влиять не должен, Oracle XML DB используется в РЦ, в частности для формирования и разбора xml-файлов УФЭБС. Выше я предлагал сделать трассировку проблемной сесси с событиями ожидания- это позволит увидеть наиболее узкое место и разобраться уже с ним.
Evgenii
Участник
Неподтвержденный


Вступление в Клуб: 11.01.2012
СообщениеСр Авг 21, 2013 07:16    Ответить с цитатой
Полезность: Нет оценки
Serj пишет:
Evgenii пишет:
Нашел еще, что dbms_registry.status('XDB') статус invalid. Он используется данной подсистемой? Может ли как то влиять?
- не валидный статус на скорость влиять не должен, Oracle XML DB используется в РЦ, в частности для формирования и разбора xml-файлов УФЭБС. Выше я предлагал сделать трассировку проблемной сесси с событиями ожидания- это позволит увидеть наиболее узкое место и разобраться уже с ним.

Наконец таки получилось сделать трассировку проблемной сессии. Не могли бы Вы подсказать, как правильно в ней разобраться? Я вижу ,что в самом трейсе большинство строк отводится на "HS message to agent". Используя OraSrp сделал отчет на основе трассировки. В отчете увидел, что везде либо 100% либо 99% времени выполнения отводилось на BEGIN IBS.Z$U$431.P(:1,:2,:3); END;
Первый раз сталкиваюсь с трассировками, поэтому пока сложно сделать правильный разбор.
Serj
Профи
ОИКБ Русь


Вступление в Клуб: 02.08.2007
СообщениеСр Авг 21, 2013 08:25    Ответить с цитатой
Полезность: Нет оценки
Обычно пользую tkprof, orasrp примерно аналогично - http://docs.oracle.com/cd/B10500_01/server.920/a96533/sqltrace.htm - смысл в том что каждый шаг(запрос) всей трассы, показан с событиями времени и отведеными на каждый шаг затратами - смотрим на что ушло больше времени и пытаемся починить, у Кэри Миллсап была книга по настройке производительности по трэйсам проблемных мест, довольно не новая но актуальная, ссылки под рукой нет Sad

Лучше обработать tkprof и если в итоге будет в топах - HS message to agent - тут есть совет -
http://www.sql.ru/forum/1038423/ociextprocgetenv
Показать сообщения:   
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Oracle DBA Часовой пояс: GMT + 3
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Рейтинг@Mail.ru