CftClub.ru
Клуб специалистов ЦФТ-Банк

ФИАС на 15.2
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10
 
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение
Предыдущая тема :: Следующая тема  
Автор Сообщение
OlegFB
Участник - экстремал


Вступление в Клуб: 11.07.2007
СообщениеСр Дек 07, 2016 11:30    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
OlegFB пишет:

Угу. Именно такое решение мне и ЦФТ-шники предложили.


Прогрузили ФИАС ? Сколько времени ушло?
У мну на тесте вообще Опа,

1) первые 3е суток грузил вылетела проблема с длинной. Пофиксил во временной - запустил уже сразу 2й этап (ИМПОРТ),

2) спустя ещё 2е суток получил
ORA-01555: слишком старый снимок: сегмент отката номер 23 по имени "_SYSSMU23_4285875587$" слишком мал

3) увеличил alter system set undo_retention=7200 (было 900) - запустил по новой с Импорта - в течении часа свалилась из за констрейнтов т.к. такие ИД уже есть Crying or Very sad

Т.е. всё базе каюк? А на бою если оступился - то труп? Сапёр ошибается только дважды Laughing
Как корректно закончить/почистить импорт предыдущий?


Перед полным импортом нужно выполнить нормализацию справочника.
7 Нормализация адресных справочников
Режим: "Банковские продукты" → "Нормализация данных (служебный)"
Операции: "Адрес. Нормализация адресных справочников"
см. доку...

У меня импорт занимает несколько часов ночью в 14 потоков
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеСр Дек 07, 2016 11:40    Ответить с цитатой
Полезность: Нет оценки
Да это всё проделал. Несколько часов с начала до конца? Shocked

Можете для примера пару хар-к сервака? Процессор, Оперативка, память? Чтобы понять дело в серваке или настройках оракла.

А то ЦФТшники нам втюкали эти серваки за немало денег, а ФИАС загружается почти неделю.
OlegFB
Участник - экстремал


Вступление в Клуб: 11.07.2007
СообщениеЧт Дек 08, 2016 07:44    Ответить с цитатой
Полезность: 1
yaffil пишет:
Да это всё проделал. Несколько часов с начала до конца? Shocked

Можете для примера пару хар-к сервака? Процессор, Оперативка, память? Чтобы понять дело в серваке или настройках оракла.

А то ЦФТшники нам втюкали эти серваки за немало денег, а ФИАС загружается почти неделю.


Я не участвовал в выборе железа. Но шеф говорит, что те сервера, которые нам предложили ЦФТ-шники были слабее самого слабого сервера из имеющихся в банке. Поэтому он отказался их брать и купил у наших поставщиков то, что посчитал более подходящим. Банк у нас небольшой, денег на ИТ нет, так что это явно не супер-сервер.
2 10-ядерных процессора 2.3Гц, 96Гб RAM, база лежит на СХД на SSD-дисках (22 000 iops)

Вчера запустил полный импорт (справочник от 28/11/2016) в рабочее время, поэтому только в 6 потоков (всего под оракл отдано 14 ядер)
Импорт данных во временные таблицы занял 5ч. 40 мин.
Если пускать на ночь во все 14 потоков, то всё будет быстрее в два раза (с хвостиком)

Импорт из временных таблиц занял всего 25 минут в 4-е потока, соответственно в 14-ть потоков влетит всё за 8 минут

Вот голова и хвост лога загрузки во временные таблицы:

Код:

17:41:41 Начало импорта справочника ФИАС - полная БД ФИАС
17:41:50 [06/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
         [05/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
         Загрузка типов адресных объектов из файла "SOCRBASE.DBF"...
         Завершена загрузка адресообразующих объектов. Загружено записей: 391
         
         Загрузка признаков владений из файла "ESTSTAT.DBF"...
         Загрузка признаков строений из файла "STRSTAT.DBF"...
         Завершена загрузка признаков владений. Загружено записей: 5
         Завершена загрузка признаков строений. Загружено записей: 5
         
         [01/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
17:41:50 [04/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
         [02/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
         [03/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...

...

23:20:36 [01/06] Загружен файл интервалов домов "HOUSEINT.DBF. Загружено записей: 787
         [01/06] Время загрузки файлов домов :     18313.14(сек)
         [01/06] Загрузка объектов для удаления из файла "DADDROBJ.DBF"...
         [01/06] Загружен файл объектов для удаления "DADDROBJ.DBF. Загружено записей: 154
         [01/06] Загрузка объектов для удаления из файла "DHOUSE.DBF"...
         [01/06] Загружен файл объектов для удаления "DHOUSE.DBF. Загружено записей: 131
         [01/06] Загрузка объектов для удаления из файла "DHOUSINT.DBF"...
         [01/06] Загружен файл объектов для удаления "DHOUSINT.DBF. Загружено записей: 0
         [01/06] Время загрузки объектов для удаления :         0.40(сек)
         
         [01/06] Загрузка завершена
         Выполнение операции завершено.


Вот голова и хвост лога импорта из временных таблиц:

Код:

08:55:44 Начало импорта справочника ФИАС - полная БД ФИАС от 28/11/2016
08:55:53 Сбор статистики для структуры "Адрес. Импорт адресных данных ФИАС" (FIAS_ADDR_IMP)...
08:56:09 Сбор статистики для структуры "Адрес. Импорт данных домов ФИАС" (FIAS_HOUSE_IMP)...
08:59:30 Импорт типов адресных объектов...
             Загружен кэш справочника "Адрес. Типы адресных объектов"

...

                 [02/04] Добавление домов для региона  91
09:20:14             [02/04] Добавлено записей: 80 для региона  91

OlegFB
Участник - экстремал


Вступление в Клуб: 11.07.2007
СообщениеЧт Дек 08, 2016 08:22    Ответить с цитатой
Полезность: Нет оценки
2 минуты ушло на импорт дельты за 01/12/2016
Показать сообщения:   
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10
Страница 10 из 10

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Рейтинг@Mail.ru