CftClub.ru
Клуб специалистов ЦФТ-Банк

ФИАС на 15.2
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10  След.
 
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение
Предыдущая тема :: Следующая тема  
Автор Сообщение
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Июн 05, 2015 17:38    Ответить с цитатой
Полезность: Нет оценки
В итоге с N - ой попытки ФИАС загружен
Версия схемы 15.1.15
ФИАС убрал дубли из 50 региона с 77, установкой END_DATE прошлой датой
Тестовый сервер 8 core, грузилось в 8 потоков
Время полной загрузки ~ 10 часов
12:42:29 Начало импорта справочника ФИАС - полная БД ФИАС
22:15:33 Выполнение операции завершено.

Большое количество повторных загрузок из за нехватки места
Как то так
nobel
Профи


Вступление в Клуб: 28.09.2011
СообщениеЧт Июн 11, 2015 13:48    Ответить с цитатой
Полезность: Нет оценки
Как раньше писал по этому поводу так у нас и получилось.
Закачали во временные таблицы ЦФТ ФИАС.Оттыду админ перегнал на боевую схему во временные таблицы ЦФТ(их около 5-6 таблиц всего) и на боевой схеме запустили обработку(в рабочее время).В два потока запускали и заняло по времени меньше 4 часов.
Только обнаружился один косяк-дублирование городов.Например город Самара 2 и более записи.Есть одна запись с заполненным КЛАДР и пустым ФИАС,несколько от БИКов и 1 и более от ФИАС.И что странного все записи как раз подвязаны к населенному пункту с КЛАДР но без ФИАС и стоит признак что "устаревший" и без нового наименования.Когда смотришь в клиенте и данный город город красным.Тут либо свою функцию писать по переброске ссылок либо ручками перебрасывать.

У меня еще возник вопрос-кто как решает проблему с подгрузкой БИКов(в части появления "новых" адресов оттуда-например наподобие ЧЕЛЯБИНСК 40)?
egor_spb
Участник - экстремал


Вступление в Клуб: 28.09.2007
СообщениеПн Июн 15, 2015 09:02    Ответить с цитатой
Полезность: Нет оценки
Матвеев Евгений пишет:
В итоге с N - ой попытки ФИАС загружен
Версия схемы 15.1.15
ФИАС убрал дубли из 50 региона с 77, установкой END_DATE прошлой датой
Тестовый сервер 8 core, грузилось в 8 потоков
Время полной загрузки ~ 10 часов
12:42:29 Начало импорта справочника ФИАС - полная БД ФИАС
22:15:33 Выполнение операции завершено.

Большое количество повторных загрузок из за нехватки места
Как то так


На выходных в 2 стадии загрузил ФИАС на рабочей базе.
Сервер с двумя четырехядерными Xeon-ами. Грузил ночами в 6 потоков.
Первая стадия 9 часов, вторая - почти 13 часов. Работать при
этом было практически невозможно. Сейчас пытаюсь проверить корректность загрузки.
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеВт Июн 16, 2015 08:20    Ответить с цитатой
Полезность: Нет оценки
egor_spb пишет:
Матвеев Евгений пишет:
В итоге с N - ой попытки ФИАС загружен
Версия схемы 15.1.15
ФИАС убрал дубли из 50 региона с 77, установкой END_DATE прошлой датой
Тестовый сервер 8 core, грузилось в 8 потоков
Время полной загрузки ~ 10 часов
12:42:29 Начало импорта справочника ФИАС - полная БД ФИАС
22:15:33 Выполнение операции завершено.

Большое количество повторных загрузок из за нехватки места
Как то так


На выходных в 2 стадии загрузил ФИАС на рабочей базе.
Сервер с двумя четырехядерными Xeon-ами. Грузил ночами в 6 потоков.
Первая стадия 9 часов, вторая - почти 13 часов. Работать при
этом было практически невозможно. Сейчас пытаюсь проверить корректность загрузки.


Егор, какова методика проверки корректности загрузки?
(кроме чтения логов)
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеВт Июн 16, 2015 08:25    Ответить с цитатой
Полезность: Нет оценки
Судя по логам у Вас пропущены дубли по 77 региону по отношению к 50 региону
Я так полагаю речь может идти о "Новой Москве"
Поэтому мы исключили дубли не из 77, а из 50
Обратите на это внимание

07:03:31 [03/06] Загружен файл домов "HOUSE67.DBF. Загружено записей: 23897
[03/06] Загрузка домов из файла "HOUSE68.DBF"...
[02/06] Загружен файл домов "HOUSE77.DBF. Загружено записей: 30139, пропущено: 5442
[02/06] Загрузка домов из файла "HOUSE78.DBF"...
egor_spb
Участник - экстремал


Вступление в Клуб: 28.09.2007
СообщениеВт Июн 16, 2015 17:46    Ответить с цитатой
Полезность: Нет оценки
Матвеев Евгений пишет:
Судя по логам у Вас пропущены дубли по 77 региону по отношению к 50 региону
Я так полагаю речь может идти о "Новой Москве"
Поэтому мы исключили дубли не из 77, а из 50
Обратите на это внимание

07:03:31 [03/06] Загружен файл домов "HOUSE67.DBF. Загружено записей: 23897
[03/06] Загрузка домов из файла "HOUSE68.DBF"...
[02/06] Загружен файл домов "HOUSE77.DBF. Загружено записей: 30139, пропущено: 5442
[02/06] Загрузка домов из файла "HOUSE78.DBF"...


Да, пропуски домов в порядке обработки, т.е. у вас более правильное отнесение домов к регионам. Но для Питера это не очень критично....
Проверяю улицы, не привязанные к населенным пунктам, количество объектов без кода ФИАС и т.п.
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПн Июн 22, 2015 09:27    Ответить с цитатой
Полезность: Нет оценки
yaffil пишет:
Конкретно в 78м ничего не пересекается видимо всё плохо и где то в одном из 95 других файлах пересеклось.

Есть счастливчики, кто на ФИАС перешел с полным импортом?


Я перешел с полным импортом(рабочая схем, а полная загрузка заняла 6 часов в 16 потоков - заполнение временных + из временных в рабочие + сопоставить с ОКАТО)
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПт Окт 09, 2015 15:41    Ответить с цитатой
Полезность: Нет оценки
Добрый день, скажите а если была ранее установлена база данных ФИАС полная, но от какого числа по дате файла не определишь точно, в документации сказано что после полной БД необходимо последовательно ставить обновления, так вот не могу определить от какого числа ставить обновления Sad
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПт Окт 09, 2015 15:59    Ответить с цитатой
Полезность: Нет оценки
В файле fias_DBF.Rar есть метка времени
Мне кажется что только так. ..
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПн Окт 12, 2015 09:24    Ответить с цитатой
Полезность: Нет оценки
На тестовой пытался импортить база данных ФИАС полную, в 2 шага: импорт во временные таблицы
Загрузка из временных таблиц
В итоге обломилось на втором шаге, делал на тестовой(LOG и ошибка во вложении)
Версия 15.3.14
Матвеев Евгений
Профи


Вступление в Клуб: 31.01.2012
СообщениеПн Окт 12, 2015 14:33    Ответить с цитатой
Полезность: Нет оценки
Pupil пишет:
На тестовой пытался импортить база данных ФИАС полную, в 2 шага: импорт во временные таблицы
Загрузка из временных таблиц
В итоге обломилось на втором шаге, делал на тестовой(LOG и ошибка во вложении)
Версия 15.3.14


Была такая же ерунда, с двойными записями боролся с помощью Visual Fox Pro и поля enddate
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеВт Окт 13, 2015 10:54    Ответить с цитатой
Полезность: Нет оценки
Это ваще темный лес, странно почему элементарно дистрибутивно не работает, все время какие то ошибки, сейчас посмотрел Историю изменения в версии 15.5 какие-то изменения внесли надо протестить будет.
Pupil
Участник - экстремал


Вступление в Клуб: 27.02.2014
СообщениеПн Окт 26, 2015 10:04    Ответить с цитатой
Полезность: Нет оценки
Из ЦФТ ответ
Добрый день!

Предположительно, у Вас есть записи в адресном справочнике с одинаковым AOID.
Выполните операцию "Банковские продукты" → "Нормализация данных (служебный)" → "Адрес. Нормализация адресных справочников" с установленным признаком "неуникальные по глобальному идентификатору" и
после этого выполните импорт полного ФИАС повторно.
Проверил импортнулся.
SlyFly
Участник


Вступление в Клуб: 06.07.2016
СообщениеСр Июл 06, 2016 05:17    Ответить с цитатой
Полезность: Нет оценки
Добрый день!
Коллеги у нас не было до сих пор перехода с КЛАДР на ФИАС, сейчас поставили такую задачу. Может у кого-то сохранилась документация по переходу????
yaffil
Профи


Вступление в Клуб: 18.08.2011
СообщениеСр Июл 06, 2016 17:35    Ответить с цитатой
Полезность: Нет оценки
Глава 1-02-10 (Основы учетного ядра Хранение Адресов).pdf

5.1 Выполнение первого импорта классификатора ФИАС
Показать сообщения:   
Ответить на тему    Клуб специалистов ЦФТ-Банк (IBSO) -> Настройка и сопровождение Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10  След.
Страница 8 из 10

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Рейтинг@Mail.ru