CftClub.ru
Клуб специалистов ЦФТ-Банк

ФИАС на 15.2
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10  След.
 
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение
Предыдущая тема :: Следующая тема  
Автор Сообщение
svn
Профи


Вступление в Клуб: 04.02.2008
СообщениеПт Апр 24, 2015 14:58    Ответить с цитатой
Полезность: Нет оценки
перешли ещё в том году - грузилось примерно сутки
проблема в том что сейчас в новых версиях после "нормализации" не грузятся дельты - хотя до марта всё работало как часы
поддержка говорит нужно заново перегружать полную версию
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Апр 24, 2015 15:11    Ответить с цитатой
Полезность: Нет оценки
Что такое дельты? И что значит заново, если мы в первый раз грузим, только, что скаченный, свеженький полный FIAS
svn
Профи


Вступление в Клуб: 04.02.2008
СообщениеПт Апр 24, 2015 15:31    Ответить с цитатой
Полезность: Нет оценки
дельты - это инкрементальное обновление ФИАС, после установки полной базы можно грузить только их - в отличии от КЛАДРа который только целиком обновлялся
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Апр 24, 2015 15:37    Ответить с цитатой
Полезность: Нет оценки
Понятно - не наш случай Smile
Ещё видится вариант - отключить констреинт на таблице Z#FIAS_HOUSE_IMP, импортировать только во временную и посмотреть какие ИД по каким регионам задвоились (там видно какой регион).

Код:
select count(id), ID from Z#FIAS_HOUSE_IMP
group by id
order by 1 desc


Затем select * по этому ИД от туда же
timochev
Эксперт


Вступление в Клуб: 02.07.2007
СообщениеПт Апр 24, 2015 16:40    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Есть счастливчики, кто на ФИАС перешел с полным импортом?

Что имеется в виду?
Мы перешли на ФИАС на версии 14.6. Сначала естественно полный, затем дельты.
Вы сейчас первый раз грузите полный или стали перегружать после нормализации?

при импорте дельт наблюдаются ошибки вида:
Цитата:
Обновление ссылок на "Новое наменование"...
11:12:00 Не найдена ссылка "Новое наименование" в типе "STREET" для объекта "Рабочая" (ID=1029991261)
Не найдена ссылка "Новое наименование" в типе "STREET" для объекта "Новостройки" (ID=1420268981)
Не найдена ссылка "Новое наименование" в типе "STREET" для объекта "Им Хутаева С." (ID=1803979507)
Не найдена ссылка "Новое наименование" в типе "STREET" для объекта "Шоссейная 12-я" (ID=1803979521)
Не найдена ссылка "Новое наименование" в типе "STREET" для объекта "Гидротехник" (ID=4651626477)
Не найдена ссылка "Новое наименование" в типе "STREET" для объекта "Полевая" (ID=6420569447)


по этому факту нашел проблему в формировании самих инкрементальных обновлений. Написал письмо в ФНС, но они молчат
Цитата:
Поясните, пожалуйста, почему систематически в обновлениях ФИАС
(fias_delta_dbf.rar) для некоторых устаревших объектов указывается
значение NEXTID, но самого объекта с соответствующим значением AOID не
существует?
Это ошибки составления обновлений ФИАС?

Например, из обновления ФИАС от 30.03.15 для объекта "Шоссейная 12-я"
(AOID=ca7cca37-1cb2-4ecf-a193-03bef4120b51) указан
NEXTID=4967cf3f-7f84-4f71-887d-2206f42bba7e.
Объект с AOID=4967cf3f-7f84-4f71-887d-2206f42bba7e не найден ни в
обновлении от 30.03.15, ни в предыдущих.
Хотя в полном справочнике ФИАС от 30.03.15 объект "Им Ю.Каламова"
AOID=4967cf3f-7f84-4f71-887d-2206f42bba7e уже имеется.

Данное несоответствие вызывает ошибки при импорте обновлений ФИАС в
используемую автоматизированную банковскую систему.
Прошу разъяснить описанное несоответствие.
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Апр 24, 2015 16:45    Ответить с цитатой
Полезность: Нет оценки
Первый (с КЛАДРа переходим). Как положено нормализация - затем импорт. У меня версия 15.1, но проблем тот же самый что и на 15.2 у коллеги
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПт Апр 24, 2015 16:46    Ответить с цитатой
Полезность: Нет оценки
Да первый раз загружал после запуска операции Адрес. Нормализация адресных справочников
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПт Апр 24, 2015 16:48    Ответить с цитатой
Полезность: Нет оценки
Кстати на 14.6 пробовал ранее, ошибок не было но тогда не поставили а с 15.1 и с 15.2 ошибки....
timochev
Эксперт


Вступление в Клуб: 02.07.2007
СообщениеПт Апр 24, 2015 16:57    Ответить с цитатой
Полезность: Нет оценки
Pupil пишет:

Произошла ошибка при импорте справочника ФИАС:

ORA-00001: нарушено ограничение уникальности (IBS.IDX_Z#HOUSES_HOUSEID)
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS2104922474", line 1715
ORA-06512: на "IBS.Z$FIAS_ADDR_IMP_FIAS2104922474", line 2360


Странно с учетом того, что ЦФТ в доке пишет:
Цитата:
если в файлах HOUSEnn.dbf, HOUSEINT.dbf имеются записи c одинаковыми значениями "Уникальный идентификатор записи дома" (HOUSEID), выполняется загрузка сведений только об одной из таких записей.
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПт Апр 24, 2015 17:19    Ответить с цитатой
Полезность: Нет оценки
Согласен с вами тоже обращал на это внимание...
timochev
Эксперт


Вступление в Клуб: 02.07.2007
СообщениеПт Апр 24, 2015 18:12    Ответить с цитатой
Полезность: Нет оценки
Версия первая.
ЦФТ проверку на дубли реализуют в запросе:
Код:
         select x(...
         )
         in q_house
         where not exists (select y(y) in ::[HOUSES] where y.[HOUSEGUID] = x.[HOUSEGUID])
            and   x.[REGION_NUM] = region
            and &mod$stream(utils.hash_value(x.[HOUSEID]))
         );

Но запрос выполняется в многопотоковом режиме. В разных потоках одновременно могут вставляться записи с одинаковыми HOUSEGUID, и вышеуказанный подзапрос здесь не поможет, т.к. транзакции могут быть не закончены.

Версия вторая.
Еще обратил внимание, что в подзапросе ищутся дубли по HOUSEGUID, а в доке упомянуто HOUSEID. Уникальный индекс IDX_Z#HOUSES_HOUSEID именно по полю C_HOUSEID. Получается какое-то несоответствие реализации с документацией.

Ошибка происходит на втором этапе (при импорте из временных таблиц в справочники)? Тогда предлагаю запустить только импорт во временные таблицы, чтобы после этого поискать в таблице Z#FIAS_HOUSE_IMP дубли.
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПт Апр 24, 2015 22:30    Ответить с цитатой
Полезность: Нет оценки
Констреинт именно на временной таблице, так, что проблем именно на первом этапе при импорте
timochev
Эксперт


Вступление в Клуб: 02.07.2007
СообщениеСб Апр 25, 2015 23:44    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Констреинт именно на временной таблице, так, что проблем именно на первом этапе при импорте

Временная таблица домов - Z#FIAS_HOUSE_IMP.
Констрейнт, который упомянут выше
Код:
ORA-00001: нарушено ограничение уникальности (IBS.IDX_Z#HOUSES_HOUSEID)
относится к таблице Z#HOUSES, которая уже не временная.
Также строка 2160 (из стека ошибки) библиотеки FIAS_ADDR_IMP.FIAS_IMPORT_LIB относится ко второй части импорта.

У Вас другая ошибка и другой стек?
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеВс Апр 26, 2015 11:12    Ответить с цитатой
Полезность: Нет оценки
Тогда плохо. Но все равно надо разделять на 2 этапа
1. Грузить временные и проверять дубли
2. Импортить дальше, но тут без отладки не разберёшься, надо дебагить, как минимум, чтобы узнать на какой записи валится.
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеПн Апр 27, 2015 09:36    Ответить с цитатой
Полезность: Нет оценки
Код:
select count(*) from Z#FIAS_HOUSE_IMP where exists(select '1' from HOUSE_FIAS where HOUSE_FIAS.houseid=Z#FIAS_HOUSE_IMP.id)


Проблема именно на этапе импорта во временные (у меня только такая галка стояла). После ошибки (на 77 регионе) почистил записи в Z#FIAS_HOUSE_IMP с 77 регионом. Загрузил файл 77 региона как есть в свою таблицу HOUSE_FIAS.
Может я чего то не догоняю но такой селект не должен ничего выдавать? А выдает 32923 записи и все в 50 регионе. Т.е. в МО входят очень много домов из МСК
Показать сообщения:   
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10  След.
Страница 2 из 10

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Рейтинг@Mail.ru