CftClub.ru
Клуб специалистов ЦФТ-Банк

ФИАС на 15.2
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10  След.
 
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение
Предыдущая тема :: Следующая тема  
Автор Сообщение
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Май 22, 2015 09:05    Ответить с цитатой
Полезность: Нет оценки
nobel пишет:
поделюсь своим опытом в решении данной проблемы.в мае как и у всех были проблемы с подгрузкой дельты ФИАС.запрашивали информацию по данному вопросу.сначала ЦФТ сослались на ФИАс что они накосячили и у них не уникальны данные и влепили консультацию со временем.Потом признали все таки свою ошибку и убрали часы и написали что решится в ближайших дополнениях.
После перехода на версию 15.3 и установки дополнений пробовал снова подгрузить дельту но он ругался на города федерального значения(Севастополь,Питер и прочие подобные) и еще были ошибки по дубликатам населенных пунктов/улиц.Решил данную проблем по простому-просто удалить лишние дубликаты(по городам федерального значения удалил регион а город оставил).После этого дельта подгрузилась нормально.
Начал анализировать адреса-в частности улиц без привязки к населенным пунктам.Около 686 тыс записей.

Решил теперь обновить полностью ФИАС на тесте.Обычную схему пробовали "Подгрузка во временные->Обработка в боевые таблицы".Во время подгрузки возникала ошибка только в том что не хватало памяти под индексы(8 ГБ добавили).После этого без каких либо ошибок все подгрузилось.Во время обработки возникла ошибка тоже в памяти но только по данным уже(если не ошибаюсь T_USR).После добавления 4 ГБ все нормально закончилось.Были ошибки не критического характера-например по москве ругался что не уникальны записи или во время удаления данных тоже были не уникальны записи.В общей сложности вся подгрузка ФИАС заняла три дня.
Решил после подгрузки проверить сколько же объектор по улицам с пустыми города?Оказалось что стало 9 тыс.Почти в 70 раз уменьшилось.
Как обычно всегда подгружали дельту с момента перехода на ФИАС(это было в прошлом году) и все строго последовательно по датам выпуска.Но видимо ЦФТ оптимизировали свой код в марте после того как появились дубликаты домов.




На третьи сутки загрузки операция остановилась по ошибке... как раз I_USER, всё именно так как писал nobel


06:20:33 [03/04] Добавлено записей: 4702
06:21:07 [03/04] Добавление домов для региона 42
06:40:35 [01/04] Произошла ошибка при импорте справочника ФИАС:

ORA-01654: невозможно увеличить индекс IBS.Z#IX_Z#HOUSES_REF8 до 1024 в разделе I_USR
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 1529
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 2153
06:46:19 [04/04] Добавлено записей: 20376
06:49:19 [04/04] Добавление домов для региона 40
07:18:57 [02/04] Произошла ошибка при импорте справочника ФИАС:

ORA-01654: невозможно увеличить индекс IBS.IDX_Z#HOUSES_HOUSEGUID до 1024 в разделе I_USR
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 1529
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 2153
Ошибка при выполнении потока 02/04 :ORA-01654: невозможно увеличить индекс IBS.IDX_Z#HOUSES_HOUSEGUID до 1024 в разделе I_USR
07:19:03 [03/04] Произошла ошибка при импорте справочника ФИАС:

ORA-01654: невозможно увеличить индекс IBS.IDX_Z#HOUSES_HOUSEGUID до 1024 в разделе I_USR
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 1529
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 2153
Ошибка при выполнении потока 03/04 :ORA-01654: невозможно увеличить индекс IBS.IDX_Z#HOUSES_HOUSEGUID до 1024 в разделе I_USR
07:23:09 [04/04] Произошла ошибка при импорте справочника ФИАС:

ORA-01654: невозможно увеличить индекс IBS.IDX_Z#HOUSES_HOUSEGUID до 1024 в разделе I_USR
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 1529
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS_759118867", line 2153
Ошибка при выполнении потока 04/04 :ORA-01654: невозможно увеличить индекс IBS.IDX_Z#HOUSES_HOUSEGUID до 1024 в разделе I_USR
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Май 22, 2015 09:29    Ответить с цитатой
Полезность: 1
Увеличьте тэйбл спейс. Это не ЦФТ шная ошибка. У вас сервак никакой походу, даже на моем стрёмненьком сутки импорт длился во временные таблицы + сутки на разбор.

ORA-01654
unable to extend index string.string by string in tablespace string

Cause: Failed to allocate an extent of the required number of blocks for an index segment in the tablespace indicated.

Action: Use ALTER TABLESPACE ADD DATAFILE statement to add one or more files to the tablespace indicated.
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Май 22, 2015 09:36    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Увеличьте тэйбл спейс. Это не ЦФТ шная ошибка. У вас сервак никакой походу, даже на моем стрёмненьком сутки импорт длился во временные таблицы + сутки на разбор.

ORA-01654
unable to extend index string.string by string in tablespace string

Cause: Failed to allocate an extent of the required number of blocks for an index segment in the tablespace indicated.

Action: Use ALTER TABLESPACE ADD DATAFILE statement to add one or more files to the tablespace indicated.


А есть возможность привести пример команды, которая это делает (не синтаксис а именно готовая команда), ранее с этим не сталкивался просто
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Май 22, 2015 10:02    Ответить с цитатой
Полезность: Нет оценки
Я, к сожелению, не в курсах по поводу команд. Я не Ораклист. Ораклиста у нас нет, у нас аутсорт по нужде, поэтому тоже не могу спросить у аутсорта, а то нам счёт выставят Smile
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Май 22, 2015 10:04    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Я, к сожелению, не в курсах по поводу команд. Я не Ораклист. Ораклиста у нас нет, у нас аутсорт по нужде, поэтому тоже не могу спросить у аутсорта, а то нам счёт выставят Smile


))) Ладно, пойду тогда до нашего ORACLEиста дойду ...

Отпишусь как победил
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Май 22, 2015 10:45    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Я, к сожелению, не в курсах по поводу команд. Я не Ораклист. Ораклиста у нас нет, у нас аутсорт по нужде, поэтому тоже не могу спросить у аутсорта, а то нам счёт выставят Smile


ORACLEист скормил схеме такую "наку"

ALTER TABLESPACE I_USR ADD DATAFILE '/db1/oradata/cftdev/i_usr07.dbf'
SIZE 100M REUSE AUTOEXTEND ON NEXT 10M MAXSIZE 8G

Запускаю повторную закачку... Могу предположить, что результат будет известен только к понедельнику...
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Май 22, 2015 11:06    Ответить с цитатой
Полезность: Нет оценки
Ораклист с самого начала должен был сделать REUSE AUTOEXTEND, тогда бы он автоматически расширился и не надо было бы ещё 3 дня ждать Smile

Я бы порекомендовал вам к нему ещё по приставать. 3 дня только на загрузку во временные - это ахтунг как много, надо оптимизировать ораклу. Вам ещё предстоит после загрузки разбор, т.е. ещё 3 дня судя по вашей скорости
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПт Май 29, 2015 14:43    Ответить с цитатой
Полезность: Нет оценки
В версии 15.1.15 поправили Фиас:
22/05/2015 METH FIAS_ADDR_IMP FIAS_IMPORT_LIB Библиотека для импорта ФИАС RP0263994 Учетное ядро Клиенты В запросе выборки домов для обновления/добавления дополнено условия определения адресного объекта, к которому относится дом: исключены копии экземпляров городов федерального значения. Скорректированы отладочные сообщения.
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Май 29, 2015 15:28    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Конкретно в 78м ничего не пересекается видимо всё плохо и где то в одном из 95 других файлах пересеклось.

Есть счастливчики, кто на ФИАС перешел с полным импортом?


У меня такая же ситуация, и тоже на 78ом... хотя ораклом все двойные записи убрал через end_date
egor_spb
Участник - экстремал


Вступление в Клуб: 28.09.2007
СообщениеЧт Июн 04, 2015 09:36    Ответить с цитатой
Полезность: Нет оценки
У меня на тестовой базе загрузка полной базы ФИАС прошла успешно.
Версия 15.2, дополнение 6. Запускал в 4 потока. Загрузка во временные таблицы около 15 часов, потом еще около 20 обновление справочников.

Хочу спросить, а как бы теперь наиболее безболезненно сделать это на рабочей базе?
Дело в том, что во время и первой и второй фазы работать на базе практически невозможно - например, завершение дня вместо 2-х минут заняло 2 часа. Т.е. можно ли задать загрузке какой-нибудь самый низкий приоритет, чтобы можно было при этом работать?
Или же, наоборот, как-то сократить время загрузки до 8 часов для каждой фазы и провести их за две ночи?
Дает ли выигрыш во времени, если загрузить во временные таблицы на тестовой базе, а из нее по dblink закачать на рабочую?
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеЧт Июн 04, 2015 09:41    Ответить с цитатой
Полезность: Нет оценки
egor_spb пишет:
У меня на тестовой базе загрузка полной базы ФИАС прошла успешно.
Версия 15.2, дополнение 6. Запускал в 4 потока. Загрузка во временные таблицы около 15 часов, потом еще около 20 обновление справочников.

Хочу спросить, а как бы теперь наиболее безболезненно сделать это на рабочей базе?
Дело в том, что во время и первой и второй фазы работать на базе практически невозможно - например, завершение дня вместо 2-х минут заняло 2 часа. Т.е. можно ли задать загрузке какой-нибудь самый низкий приоритет, чтобы можно было при этом работать?
Или же, наоборот, как-то сократить время загрузки до 8 часов для каждой фазы и провести их за две ночи?
Дает ли выигрыш во времени, если загрузить во временные таблицы на тестовой базе, а из нее по dblink закачать на рабочую?



Мы на рабочую в воскресенье наказываем... У нас окно с субботы 10 вечера до 5 утра понедельника...
А вообще на рабочей сервак почетче... Работать будет быстрее

Если таких окон нет, тогда в 2 захода: 1 во временные; 2 в рабочие... Как то так
egor_spb
Участник - экстремал


Вступление в Клуб: 28.09.2007
СообщениеЧт Июн 04, 2015 11:08    Ответить с цитатой
Полезность: Нет оценки
Матвеев Евгений пишет:
egor_spb пишет:
У меня на тестовой базе загрузка полной базы ФИАС прошла успешно.
Версия 15.2, дополнение 6. Запускал в 4 потока. Загрузка во временные таблицы около 15 часов, потом еще около 20 обновление справочников.

Хочу спросить, а как бы теперь наиболее безболезненно сделать это на рабочей базе?
Дело в том, что во время и первой и второй фазы работать на базе практически невозможно - например, завершение дня вместо 2-х минут заняло 2 часа. Т.е. можно ли задать загрузке какой-нибудь самый низкий приоритет, чтобы можно было при этом работать?
Или же, наоборот, как-то сократить время загрузки до 8 часов для каждой фазы и провести их за две ночи?
Дает ли выигрыш во времени, если загрузить во временные таблицы на тестовой базе, а из нее по dblink закачать на рабочую?



Мы на рабочую в воскресенье наказываем... У нас окно с субботы 10 вечера до 5 утра понедельника...
А вообще на рабочей сервак почетче... Работать будет быстрее

Если таких окон нет, тогда в 2 захода: 1 во временные; 2 в рабочие... Как то так


У нас есть круглосуточные доп офисы, пару ночей они могут потерпеть, конечно, но вот днем - все должно работать.
На рабочей сервер по-шустрее, но генерация логов может процесс притормаживать.
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеЧт Июн 04, 2015 11:34    Ответить с цитатой
Полезность: Нет оценки
У меня на тестовой больше 20 часов занимало полная установка, а на рабочей за 8 часов поставилось.
egor_spb
Участник - экстремал


Вступление в Клуб: 28.09.2007
СообщениеЧт Июн 04, 2015 12:01    Ответить с цитатой
Полезность: Нет оценки
Pupil пишет:
У меня на тестовой больше 20 часов занимало полная установка, а на рабочей за 8 часов поставилось.


А сколько потоков запускали?
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеЧт Июн 04, 2015 12:46    Ответить с цитатой
Полезность: Нет оценки
4
Показать сообщения:   
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10  След.
Страница 7 из 10

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Рейтинг@Mail.ru