Механизмы инкрементальной выгрузки
На страницу 1, 2, 3 След.
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
maslov
Участник со стажем
Вступление в Клуб: 19.05.2009
|
 Ср Окт 07, 2009 17:54 Механизмы инкрементальной выгрузки |
 |
Полезность: Нет оценки
|
Добрый день!
Подскажите, есть ли в ЦФТ какие-либо поля в "ядре", которые позволяют определить, что запись более свежая. Например, дата ввода нового клиента, дата ввода документа и т.п.
Покопавшись я нашёл лишь поле "ID", которое присутствует во всех таблицах. Как часто оно сбрасывается, если сбрасывается? Может быть есть ещё что-то?
Задача, например, необходимо выгрузить документы, но при этом только новые или изменившиеся? Но интересует общий механизм, а не в привязке к реквизитам документов.
_________________
Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
 |
IBSO
Профи
Вступление в Клуб: 20.08.2009
|
| Ср Окт 07, 2009 18:50 |
|
Полезность: Нет оценки
|
нету такого стандартного ...к сожалению.  ...Куча способов можно придумать... например, расширение на операцию Изменить придумать и вносить туда дату и время (счетчик или еще что), а потом выгружать только те, которые попали в выборку и т .д.
Последний раз редактировалось: IBSO (Ср Окт 07, 2009 18:54), всего редактировалось 1 раз |
|
|
maslov
Участник со стажем
Вступление в Клуб: 19.05.2009
|
| Ср Окт 07, 2009 18:51 |
|
Полезность: Нет оценки
|
| IBSO пишет: | | нету такого стандартного ...к сожалению. |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"?
_________________
Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
|
IBSO
Профи
Вступление в Клуб: 20.08.2009
|
| Ср Окт 07, 2009 18:54 |
|
Полезность: Нет оценки
|
| maslov пишет: | | IBSO пишет: | | нету такого стандартного ...к сожалению. |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
Ну да... |
|
|
maslov
Участник со стажем
Вступление в Клуб: 19.05.2009
|
| Ср Окт 07, 2009 18:56 |
|
Полезность: Нет оценки
|
| IBSO пишет: | | maslov пишет: | | IBSO пишет: | | нету такого стандартного ...к сожалению. |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
Ну да... |
Эхх...
_________________
Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
|
Ghost
Профи
Вступление в Клуб: 24.11.2007
|
| Ср Окт 07, 2009 18:59 |
|
Полезность: Нет оценки
|
| maslov пишет: | | IBSO пишет: | | нету такого стандартного ...к сожалению. |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
А как давно вы читали регламент локальных доработок?  Добавить реквизит в существующий ТБП это скорее всего будет дистрибутивная доработка, и ЦФТ попросит за это немаленькую денюжку. |
|
|
maslov
Участник со стажем
Вступление в Клуб: 19.05.2009
|
| Ср Окт 07, 2009 19:02 |
|
Полезность: Нет оценки
|
| Ghost пишет: | | maslov пишет: | | IBSO пишет: | | нету такого стандартного ...к сожалению. |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
А как давно вы читали регламент локальных доработок? Добавить реквизит в существующий ТБП это скорее всего будет дистрибутивная доработка, и ЦФТ попросит за это немаленькую денюжку. |
Ну а какие есть варианты? Если это необходимо? Локальная как я понимаю не "прокатит", так как будут правиться все операции?
_________________
Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
|
IBSO
Профи
Вступление в Клуб: 20.08.2009
|
| Ср Окт 07, 2009 19:07 |
|
Полезность: Нет оценки
|
| Ghost пишет: | | maslov пишет: | | IBSO пишет: | | нету такого стандартного ...к сожалению. |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
А как давно вы читали регламент локальных доработок? Добавить реквизит в существующий ТБП это скорее всего будет дистрибутивная доработка, и ЦФТ попросит за это немаленькую денюжку. |
Нет...Можно бесплатно добавлять и платить не надо. делай сколько хочешь. Если не хотите локальный реквизит, то локальный справочник...Это то уж точно можно бесплатно |
|
|
dbmaslov
Профи
Вступление в Клуб: 11.07.2007
|
| Ср Окт 07, 2009 21:42 |
|
Полезность: Нет оценки
|
странно что у новых банков возникают какие то потребности мягко говоря, странные.....Андрей поясните необходимость плиз?
вопрос номер два: кто вас внедряет? ЦФТ или сами? |
|
|
Vovidez
Профи
Вступление в Клуб: 27.09.2007
|
| Чт Окт 08, 2009 05:02 Re: Механизмы инкрементальной выгрузки |
|
Полезность: Нет оценки
|
| maslov пишет: | | Покопавшись я нашёл лишь поле "ID", которое присутствует во всех таблицах. Как часто оно сбрасывается, если сбрасывается? |
ID во всех таблицах (кроме некоторых специфических ядерных) - это уникальный код записи в рамках всей БД. Соответственно, если Вы по одной таблице отсортируете записи по ID, то получите тот порядок, в котором записи заводились. ID не "Сбрасывается", а формируется посредством инкрементации глобальной последовательности SEQ_ID.
При анализе ID Вы сможете понять какая запись была добавлена в таблицу позже, если же старая запись update'илась, то ID у нее будет тот же самый... А запись, получается, "свежее" (опять же зависит от определения критериев "свежести")... В ТЯ 7.1 введены еще 2 поля в таблицы - SN и SU... Инкрементируются при изменении записи... так называемый, механизм логических блокировок... Почитайте изменения к ТЯ 7.1... Может поможет для достижения Ваших целей... |
|
|
korobenkov
Участник
Вступление в Клуб: 29.09.2009
|
| Чт Окт 08, 2009 05:53 Re: Механизмы инкрементальной выгрузки |
|
Полезность: Нет оценки
|
| Vovidez пишет: |
ID во всех таблицах (кроме некоторых специфических ядерных) - это уникальный код записи в рамках всей БД. Соответственно, если Вы по одной таблице отсортируете записи по ID, то получите тот порядок, в котором записи заводились. ID не "Сбрасывается", а формируется посредством инкрементации глобальной последовательности SEQ_ID.
|
+1
Новые записи только по инкременту ID
Updейты отловить - тяжко очень, единого механизма нету.
Так что на каждом продукте - свой подход. |
|
|
maslov
Участник со стажем
Вступление в Клуб: 19.05.2009
|
| Чт Окт 08, 2009 08:57 |
|
Полезность: Нет оценки
|
| dbmaslov пишет: | странно что у новых банков возникают какие то потребности мягко говоря, странные.....Андрей поясните необходимость плиз?
вопрос номер два: кто вас внедряет? ЦФТ или сами? |
1. Внедряет(будет внедрять) ЦФТ
2. Не понимаю, что в этом странного? Если мы хотим делать срезы для хранилища только новых и изменившихся данных. Если с новыми понятно, то с изменившимися пока решения нет
Вообще говоря, конечная цель - это формирование блоков данных для хранилища минимального объёма.
_________________
Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
|
Ghost
Профи
Вступление в Клуб: 24.11.2007
|
| Чт Окт 08, 2009 09:01 |
|
Полезность: Нет оценки
|
| IBSO пишет: |
Нет...Можно бесплатно добавлять и платить не надо. делай сколько хочешь. Если не хотите локальный реквизит, то локальный справочник...Это то уж точно можно бесплатно |
Пункт регламента 4.2.2.2 "Примечание 4: Запрещено добавление любых реквизитов в ТБП, ранее их не содержавших."
Хотя еще раз перечитав регламент еще больше запутался, такое впечатление, что его писали несколько человек и потом никто не вычитывал и не приводил единой концепции... Куча противоречащих друг другу пунктов...
"4.2.2.2 Новые реквизиты любого типа, новые операции и новые представления в ТБП, входящих в основной выпуск, или в ТБП, созданные в соответствии с пунктом 2.2.1., с учетом ограничений, описанных в Примечании 1 и Примечании 2 к данному пункту."
Гы... Пункта 2.2.1 в регламенте нету  |
|
|
Ghost
Профи
Вступление в Клуб: 24.11.2007
|
| Чт Окт 08, 2009 09:44 |
|
Полезность: Нет оценки
|
| maslov пишет: |
Вообще говоря, конечная цель - это формирование блоков данных для хранилища минимального объёма. |
А вы уже определились какие данные нужны для хранилица? А то какой-то беспредметный разговор |
|
|
maslov
Участник со стажем
Вступление в Клуб: 19.05.2009
|
| Чт Окт 08, 2009 10:04 |
|
Полезность: Нет оценки
|
| Ghost пишет: | | maslov пишет: |
Вообще говоря, конечная цель - это формирование блоков данных для хранилища минимального объёма. |
А вы уже определились какие данные нужны для хранилица? А то какой-то беспредметный разговор |
Кредиты, документы и т.п. Я могу всё перечислить, но разве это поможет? Я понял, что общего механизма нет и его нужно либо делать, либо как-то "выкручиваться" иначе.
p.s.: мы пока только проводим анализ, ЦФТ у нас ещё не работает.
_________________
Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
|
О проекте
Поиск
Отзывы
Регистрация
Вход
