Механизмы инкрементальной выгрузки
На страницу 1, 2, 3 След.
|
Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
maslov Участник со стажем
Вступление в Клуб: 19.05.2009
|
Ср Окт 07, 2009 17:54  Механизмы инкрементальной выгрузки |
|
Полезность: Нет оценки
|
Добрый день!
Подскажите, есть ли в ЦФТ какие-либо поля в "ядре", которые позволяют определить, что запись более свежая. Например, дата ввода нового клиента, дата ввода документа и т.п.
Покопавшись я нашёл лишь поле "ID", которое присутствует во всех таблицах. Как часто оно сбрасывается, если сбрасывается? Может быть есть ещё что-то?
Задача, например, необходимо выгрузить документы, но при этом только новые или изменившиеся? Но интересует общий механизм, а не в привязке к реквизитам документов. _________________ Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
![](templates/subSilver/images/spacer.gif) |
IBSO Профи
Вступление в Клуб: 20.08.2009
|
Ср Окт 07, 2009 18:50   |
|
Полезность: Нет оценки
|
нету такого стандартного ...к сожалению. ...Куча способов можно придумать... например, расширение на операцию Изменить придумать и вносить туда дату и время (счетчик или еще что), а потом выгружать только те, которые попали в выборку и т .д.
Последний раз редактировалось: IBSO (Ср Окт 07, 2009 18:54), всего редактировалось 1 раз |
|
![](templates/subSilver/images/spacer.gif) |
maslov Участник со стажем
Вступление в Клуб: 19.05.2009
|
Ср Окт 07, 2009 18:51   |
|
Полезность: Нет оценки
|
IBSO пишет: | нету такого стандартного ...к сожалению. ![Sad](images/smiles/icon_sad.gif) |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? _________________ Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
![](templates/subSilver/images/spacer.gif) |
IBSO Профи
Вступление в Клуб: 20.08.2009
|
Ср Окт 07, 2009 18:54   |
|
Полезность: Нет оценки
|
maslov пишет: | IBSO пишет: | нету такого стандартного ...к сожалению. ![Sad](images/smiles/icon_sad.gif) |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
Ну да... |
|
![](templates/subSilver/images/spacer.gif) |
maslov Участник со стажем
Вступление в Клуб: 19.05.2009
|
Ср Окт 07, 2009 18:56   |
|
Полезность: Нет оценки
|
IBSO пишет: | maslov пишет: | IBSO пишет: | нету такого стандартного ...к сожалению. ![Sad](images/smiles/icon_sad.gif) |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
Ну да... |
Эхх... _________________ Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
![](templates/subSilver/images/spacer.gif) |
Ghost Профи
Вступление в Клуб: 24.11.2007
|
Ср Окт 07, 2009 18:59   |
|
Полезность: Нет оценки
|
maslov пишет: | IBSO пишет: | нету такого стандартного ...к сожалению. ![Sad](images/smiles/icon_sad.gif) |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
А как давно вы читали регламент локальных доработок? Добавить реквизит в существующий ТБП это скорее всего будет дистрибутивная доработка, и ЦФТ попросит за это немаленькую денюжку. |
|
![](templates/subSilver/images/spacer.gif) |
maslov Участник со стажем
Вступление в Клуб: 19.05.2009
|
Ср Окт 07, 2009 19:02   |
|
Полезность: Нет оценки
|
Ghost пишет: | maslov пишет: | IBSO пишет: | нету такого стандартного ...к сожалению. ![Sad](images/smiles/icon_sad.gif) |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
А как давно вы читали регламент локальных доработок? Добавить реквизит в существующий ТБП это скорее всего будет дистрибутивная доработка, и ЦФТ попросит за это немаленькую денюжку. |
Ну а какие есть варианты? Если это необходимо? Локальная как я понимаю не "прокатит", так как будут правиться все операции? _________________ Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
![](templates/subSilver/images/spacer.gif) |
IBSO Профи
Вступление в Клуб: 20.08.2009
|
Ср Окт 07, 2009 19:07   |
|
Полезность: Нет оценки
|
Ghost пишет: | maslov пишет: | IBSO пишет: | нету такого стандартного ...к сожалению. ![Sad](images/smiles/icon_sad.gif) |
То есть, правильно ли я понимаю, что необходимо делать в каждой требующейся сущности свои реквизиты "инкрементации"? |
А как давно вы читали регламент локальных доработок? Добавить реквизит в существующий ТБП это скорее всего будет дистрибутивная доработка, и ЦФТ попросит за это немаленькую денюжку. |
Нет...Можно бесплатно добавлять и платить не надо. делай сколько хочешь. Если не хотите локальный реквизит, то локальный справочник...Это то уж точно можно бесплатно ![Smile](images/smiles/icon_smile.gif) |
|
![](templates/subSilver/images/spacer.gif) |
dbmaslov Профи
Вступление в Клуб: 11.07.2007
|
Ср Окт 07, 2009 21:42   |
|
Полезность: Нет оценки
|
странно что у новых банков возникают какие то потребности мягко говоря, странные.....Андрей поясните необходимость плиз?
вопрос номер два: кто вас внедряет? ЦФТ или сами? |
|
![](templates/subSilver/images/spacer.gif) |
Vovidez Профи
Вступление в Клуб: 27.09.2007
|
Чт Окт 08, 2009 05:02  Re: Механизмы инкрементальной выгрузки |
|
Полезность: Нет оценки
|
maslov пишет: | Покопавшись я нашёл лишь поле "ID", которое присутствует во всех таблицах. Как часто оно сбрасывается, если сбрасывается? |
ID во всех таблицах (кроме некоторых специфических ядерных) - это уникальный код записи в рамках всей БД. Соответственно, если Вы по одной таблице отсортируете записи по ID, то получите тот порядок, в котором записи заводились. ID не "Сбрасывается", а формируется посредством инкрементации глобальной последовательности SEQ_ID.
При анализе ID Вы сможете понять какая запись была добавлена в таблицу позже, если же старая запись update'илась, то ID у нее будет тот же самый... А запись, получается, "свежее" (опять же зависит от определения критериев "свежести")... В ТЯ 7.1 введены еще 2 поля в таблицы - SN и SU... Инкрементируются при изменении записи... так называемый, механизм логических блокировок... Почитайте изменения к ТЯ 7.1... Может поможет для достижения Ваших целей... |
|
![](templates/subSilver/images/spacer.gif) |
korobenkov Участник
Вступление в Клуб: 29.09.2009
|
Чт Окт 08, 2009 05:53  Re: Механизмы инкрементальной выгрузки |
|
Полезность: Нет оценки
|
Vovidez пишет: |
ID во всех таблицах (кроме некоторых специфических ядерных) - это уникальный код записи в рамках всей БД. Соответственно, если Вы по одной таблице отсортируете записи по ID, то получите тот порядок, в котором записи заводились. ID не "Сбрасывается", а формируется посредством инкрементации глобальной последовательности SEQ_ID.
|
+1
Новые записи только по инкременту ID
Updейты отловить - тяжко очень, единого механизма нету.
Так что на каждом продукте - свой подход. |
|
![](templates/subSilver/images/spacer.gif) |
maslov Участник со стажем
Вступление в Клуб: 19.05.2009
|
Чт Окт 08, 2009 08:57   |
|
Полезность: Нет оценки
|
dbmaslov пишет: | странно что у новых банков возникают какие то потребности мягко говоря, странные.....Андрей поясните необходимость плиз?
вопрос номер два: кто вас внедряет? ЦФТ или сами? |
1. Внедряет(будет внедрять) ЦФТ
2. Не понимаю, что в этом странного? Если мы хотим делать срезы для хранилища только новых и изменившихся данных. Если с новыми понятно, то с изменившимися пока решения нет
Вообще говоря, конечная цель - это формирование блоков данных для хранилища минимального объёма. _________________ Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
![](templates/subSilver/images/spacer.gif) |
Ghost Профи
Вступление в Клуб: 24.11.2007
|
Чт Окт 08, 2009 09:01   |
|
Полезность: Нет оценки
|
IBSO пишет: |
Нет...Можно бесплатно добавлять и платить не надо. делай сколько хочешь. Если не хотите локальный реквизит, то локальный справочник...Это то уж точно можно бесплатно ![Smile](images/smiles/icon_smile.gif) |
Пункт регламента 4.2.2.2 "Примечание 4: Запрещено добавление любых реквизитов в ТБП, ранее их не содержавших."
Хотя еще раз перечитав регламент еще больше запутался, такое впечатление, что его писали несколько человек и потом никто не вычитывал и не приводил единой концепции... Куча противоречащих друг другу пунктов...
"4.2.2.2 Новые реквизиты любого типа, новые операции и новые представления в ТБП, входящих в основной выпуск, или в ТБП, созданные в соответствии с пунктом 2.2.1., с учетом ограничений, описанных в Примечании 1 и Примечании 2 к данному пункту."
Гы... Пункта 2.2.1 в регламенте нету ![Laughing](images/smiles/icon_lol.gif) |
|
![](templates/subSilver/images/spacer.gif) |
Ghost Профи
Вступление в Клуб: 24.11.2007
|
Чт Окт 08, 2009 09:44   |
|
Полезность: Нет оценки
|
maslov пишет: |
Вообще говоря, конечная цель - это формирование блоков данных для хранилища минимального объёма. |
А вы уже определились какие данные нужны для хранилица? А то какой-то беспредметный разговор |
|
![](templates/subSilver/images/spacer.gif) |
maslov Участник со стажем
Вступление в Клуб: 19.05.2009
|
Чт Окт 08, 2009 10:04   |
|
Полезность: Нет оценки
|
Ghost пишет: | maslov пишет: |
Вообще говоря, конечная цель - это формирование блоков данных для хранилища минимального объёма. |
А вы уже определились какие данные нужны для хранилица? А то какой-то беспредметный разговор |
Кредиты, документы и т.п. Я могу всё перечислить, но разве это поможет? Я понял, что общего механизма нет и его нужно либо делать, либо как-то "выкручиваться" иначе.
p.s.: мы пока только проводим анализ, ЦФТ у нас ещё не работает. _________________ Maslov Andrey Aleksandrovich
Senior Architect of Department of the system architecture OJSC «Nordea Bank» |
|
![](templates/subSilver/images/spacer.gif) |
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
|
|